![点击分享此内容可以赚币 分享](/master/images/share_but.png)
DB14∕T 2938-2023 能源监管服务数字化平台数据支撑技术要求(山西省).pdf
《DB14∕T 2938-2023 能源监管服务数字化平台数据支撑技术要求(山西省).pdf》由会员分享,可在线阅读,更多相关《DB14∕T 2938-2023 能源监管服务数字化平台数据支撑技术要求(山西省).pdf(14页珍藏版)》请在咨信网上搜索。
1、ICS 35.240.99 CCS F 07 14 山西省地方标准 DB14/T 29382023 能源监管服务数字化平台 数据支撑技术要求 Digital platform for energy regulatory servicesTechnical requirements for data support 2023-12-26 发布 2024-03-25 实施 山西省市场监督管理局 发 布 DB14/T 29382023 I 目 次 前言.II 1 范围.1 2 规范性引用文件.1 3 术语和定义.1 4 缩略语.2 5 数据支撑处理流程.2 6 数据存储与分析.3 7 数据治理.7
2、8 数据发布.9 参考文献.10 DB14/T 29382023 II 前 言 本文件按照GB/T 1.12020标准化工作导则 第1部分:标准化文件的结构和起草规则的规定起草。本文件由山西省能源局提出、组织实施和监督检查。山西省市场监督管理局对标准的组织实施情况进行监督检查。本文件由山西省能源标准化技术委员会归口。本文件起草单位:山西大数据产业发展有限公司、华为技术有限公司、山西省能源发展中心。本文件主要起草人:张永森、孙宇彤、崔国栋、王茂盛、阳军、侯秉让、杜青、邵国荣、兰世忠、杨海鹏、赵芮、王晓宇、杨杰、宋兰兰、贾灏然、吉凤鸣、刘耀宏、刘泱、康杰、王艳、李峰。DB14/T 29382023
3、 1 能源监管服务数字化平台 数据支撑技术要求 1 范围 本文件规定了能源监管服务数字化平台的数据支撑处理流程以及数据支撑相关的数据存储与分析、数据治理、数据发布等方面的技术要求。本文件适用于能源监管服务数字化平台的建设及实施工作。2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件,仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。GB/T 352952017 信息技术 大数据 术语 GB/T 37721 信息技术 大数据分析系统功能要求 GB/T 37722 信息技术 大数据存储与处理系统功
4、能要求 GB/T 406852021 信息技术服务 数据资产 管理要求 DB14/T 29362023 能源监管服务数字化平台 通用要求 DB14/T 29392023 能源监管服务数字化平台 数据采集要求 DB14/T 29402023 能源监管服务数字化平台 数据发布规范 3 术语和定义 GB/T 35295-2017、GB/T 40685-2021、DB14/T 2936-2023 确立的以及界定的术语和定义适用于本文件。3.1 能源监管服务数字化平台 Digital platform for energy regulatory services 在自动化、信息化、智能化等相关技术的支撑
5、下,对能源领域相关信息进行采集、整合、分析,并进行充分应用,有效实施全过程动态监管,并能为能源企业、产业链上下游企业等提供智能化服务的数字化智慧平台。来源:DB14/T 2936-2023,3.1 3.2 数据资产 data asset 合法拥有或者控制的,能够进行计量的,为组织带来经济和社会价值的数据资源。来源:GB/T 40685-2021,3.1 3.2 数据仓库 data warehouse 在数据准备之后用于永久性存储数据的数据库。来源:GB/T 35295-2017,2.1.35 3.3 DB14/T 29382023 2 数据湖 data lake 一种在系统或存储库中以自然格式
6、存储数据的方法。4 缩略语 下列缩略语适用于本文件。ACID:原子性、一致性、隔离性、持久性(Atomicity、Consistency、Isolation、Durability)API:应用程序编程接口(Application Programming Interface)CPU:中央处理器(Central Processing Unit)DDL:数据定义语言(Data Definition Language)IoT:物联网(Internet of Things)Jar:Java平台上的归档文件格式(Java Archive)JSON:Java脚本对象描述(JavaScript Object
7、Notation)MD5:信息摘要算法(Message-Digest Algorithm)MPI:消息传递窗口(Message Passing Interface)MR:分布式运算框架(Map Reduce)SLA:服务等级协议(Service Level Agreement)SQL:结构化查询语言(Structured Query Language)XML:可扩展标记语言(Extensible Markup Language)5 数据支撑处理流程 5.1 应基于能源监管服务需求,按照 DB14/T 29362023 对数据支撑的要求,将能源监管服务相关数据,统一存储并进行数据分析,然后通过
8、API 发布或数据资产发布方式,实现数据资产在各组织机构或监管部门的共享,数据支撑处理流程应符合图 1 的要求。图 1 能源监管服务数字化平台数据支撑处理流程图 5.2 能源监管服务数字化平台应根据监管服务需要,采集各个系统的数据,数据采集内容及数据采集方式应符合 DB14/T 29392023 的要求。5.3 能源监管服务采集的数据进行预处理之后,应传输到云平台集中存储,并建立统一数据湖,实现能源生产经营数据、能源安全监管数据、能耗数据等数据统一存储,需要提供能源监管服务的数据存DB14/T 29382023 3 储能力,数据存储方式包括但不限于分布式文件存储、数据湖存储、分布式数据仓库、时
9、序数据库等,并符合 GB/T 37722 的要求。5.4 能源监管服务数字化平台应实现数据治理,提供数据集成、规范设计、数据开发、数据质量、数据资产、数据安全、数据服务等功能,基于能源监管服务需要,整理并生成数据资产,包括但不限于贴源层、整合/明细层、主题链接层、集市层,并通过数据发布,开放给上层不同应用系统或共享交换平台调用。5.5 能源监管服务数字化平台应提供数据分析能力,支撑能源监管服务各主题库、专题库和指标的生成,数据分析能力包括但不限于批处理分析、流处理分析、流批一体融合分析、交互分析、搜索分析、事件分析、虚拟测点计算分析、时序分析等,并符合 GB/T 37721 和 GB/T 37
10、722 的要求。5.6 能源监管服务数字化平台应满足能源监管服务的数据发布需求,数据发布的流程及发布的数据内容符合 DB14/T 29402023 的要求,数据发布方式应满足本文件的技术要求。5.7 能源监管服务数字化平台应优先选择符合国家自主可控和安全可信相关要求的全栈自主创新技术。6 数据存储与分析 6.1 数据存储 6.1.1 分布式文件存储 结合能源监管服务需求,通过分布式文件存储,用于存储能源监管服务文件数据,分布式文件存储要求如下:a)应提供文件的上传、下载、读写、复制、移动、删除、访问控制等功能;b)应提供容错机制和系统高可用机制,包括数据块的备份、系统宕机恢复、灾备恢复等功能;
11、c)应提供文件块的完整性校验和同步功能,保证数据的完整性与一致性;d)应提供存储模块的弹性扩展功能,支持存储节点的扩缩容;e)应提供文件系统级别的数据压缩和加解密功能;f)应提供快速检索功能,支持数据资源的统一检索、编目、增加和删除操作;g)应提供文件的搜索、批量操作、回收站、快照等功能;h)宜提供小文件合并成大文件集中存储的功能;i)宜提供存储资源隔离能力,能够通过盘配置目录的存储空间及文件数量实现逻辑隔离;j)宜提供元数据的快速迁移功能,能够复制目录级文件元数据信息实现元数据快速迁移。6.1.2 数据湖存储 结合能源监管服务需求,通过数据湖存储,提供分布式文件系统之上的ACID数据库能力,
12、支持数据的高效更新、增量查询等能力,数据湖存储要求如下:a)应提供结构化数据的分布式存储机制,实现数据存储的可扩展性;b)应提供多样化的API接口满足各类上层应用的使用需求;c)应提供一种高效的数据组织格式,实现历史数据的高效更新、快速删除能力;d)应提供湖内结构化数据的事务能力,以保证数据的一致性、完整性;e)应提供湖内数据的增量查询能力,支持实时数据分析;f)应提供自动化的小文件合并能力,自动管理文件大小和布局,以优化数据访问速度;g)应提供自动化的历史数据清理能力,以防止数据过度膨胀影响影响文件系统健壮性;h)应支持多样化的计算引擎和存储引擎,能够平滑的在引擎之间迁移;DB14/T 29
13、382023 4 i)应支持流批融合的计算能力,实现同一个作业内完成批量、增量的数据处理能力。6.1.3 分布式数据仓库 结合能源监管服务需求,通过分布式数据仓库,提供数据集市能力,用于存储能源监管服务经过数据治理之后的主题联接层和指标等数据,分布式数据仓库要求如下:a)应提供基于无共享的分布式大规模全并行处理的关系型数据库;b)应提供满足SQL语法,包括存储过程、自定义函数、序列、触发器等高级语法功能;c)应提供保障全局强一致性事务能力,可以针对单表和多表并发插入、更新、删除等操作 d)应提供以表为单位的行、列存储引擎,用户可指定表的存储格式,满足不同场景业务需要;e)应提供自适应压缩算法,
14、支持可调整压缩级别,压缩级别越高,压缩能力越强;f)应提供在线弹性伸缩功能,扩容过程中数据持续可查询;g)应提供多租户管理功能,租户间CPU、内存、IO等资源隔离,相互不干扰;h)应提供图形化安装部署、补丁升级、扩容缩容、备份恢复、巡检告警、事件管理、日志管理、参数设置、集群启停、节点替换等集群管理功能;i)应提供图形化主机监控、数据库监控、性能监控、TOP SQL、会话监控、作业监控等集群监控平台;j)应提供图形化故障诊断(慢主机)、性能优化、SQL熔断、SQL诊断、负荷分析报告功能;k)宜提供范围、列表等分区功能,分区键支持整型、字符型、时间型等数据类型;l)宜提供行存、列存表B-Tree
15、索引功能,支持函数/表达式索引,提供查询性能。6.1.4 时序数据库 结合能源监管服务需求,针对IoT数据,时序数据库要求如下:a)应支持按存储组方式对数据进行管理;b)应支持数据按照时间维度分级存储管理;c)应支持分钟级弹性伸缩;d)应支持高性能多维聚合查询;e)应支持亿级时间线。6.2 数据分析 6.2.1 批处理分析 结合能源监管服务需求,通过批处理分析功能,用于实现高性能的离线批处理作业运行,批处理分析要求如下:a)应支持多种数据类型的离线分析,包括结构化和非结构化数据;b)应支持离线计算任务进度与状态的实时上报;c)应支持多节点离线任务的联动执行;d)应提供多种语言的API,以满足不
16、同应用的开发需求;e)应支持作业调度;f)应支持分散-聚集的处理方式;g)应支持批处理计算框架运行在分布式资源管理之上;h)应支持SQL、函数式编程、图计算等方式处理数据;i)应支持在线查看任务运行日志;j)应支持任务内部子任务的失败重试,以及当运行节点出现异常时能够恢复计算结果。DB14/T 29382023 5 6.2.2 流处理分析 结合能源监管服务需求,通过流处理分析功能,实现能源监管服务IT数据实时处理能力,流处理分析要求如下:a)应支持多种数据源中获得实时流数据,完成高吞吐、低延时的实时计算,并将结果输出到消息队列或者进行持久化;b)应提供用户级别的访问控制功能,支持对消息处理任务
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- DB14T 2938-2023 能源监管服务数字化平台数据支撑技术要求山西省 DB14 2938 2023 能源 监管 服务 数字化 平台 数据 支撑 技术 要求 山西省
![提示](https://www.zixin.com.cn/images/bang_tan.gif)
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【曲****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【曲****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。