DB14-T2938-2023能源监管服务数字化平台数据支撑技术要求.docx

《DB14-T2938-2023能源监管服务数字化平台数据支撑技术要求.docx》由会员分享，可在线阅读，更多相关《DB14-T2938-2023能源监管服务数字化平台数据支撑技术要求.docx（16页珍藏版）》请在优知文库上搜索。

1、ICS35.240.99CCSF07DBl4方标准DB14/T29382023能源监管服务数字化平台数据支撑技术要求DigitalplatformforenergyregulatoryservicesTechnicalrequirementsfordatasupport2023 - 12-26 发布2024-03-25实施山西省市场监督管理局发布目次前言Il1范围12规范性引用文件13术语和定义14缩略语25数据支撑处理流程26数据存储与分析37数据治理78数据发布9参考文献10本文件按照GB/T1.1-2020标准化工作导则第1部分：标准化文件的结构和起草规则的规定起草。本文件由山西省能源局

2、提出、组织实施和监督检查。山西省市场监督管理局对标准的组织实施情况进行监督检查。本文件由山西省能源标准化技术委员会归口。本文件起草单位：山西大数据产业发展有限公司、华为技术有限公司、山西省能源发展中心。本文件主要起草人：张永森、孙宇彤、承国栋J瑾盛、阳军、侯秉让、杜青、邵国荣、兰世忠、能源监管服务数字化平台数据支撑技术要求本文件规定了能源监管服务数字化平台的数据支撑处理流程以及数据支撑相关的数据存储与分析、数据治理、数据发布等方面的技术要求。本文件适用于能源监管服务数字化平台的建设及实施工作。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件

3、，仅该日期对应的版本适用于本文件；森日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。%、GB/T37722信息技术大数据存储与处理系统功能要求GB/T40685-2021信息技术服务数据资产管理要求DB14T2936-2023能源监管服务数字化平台通用要求DB14f2939-2023能源监管服务数字化平台数据采集要求DB14/T2940-2023能源监管服务数字化平台数据发布规范3术语和定义GB/T35295-2017、GB/T10685-2021.DB14/T2936-2023确立的以及界定的术语和定义适用于本文件。1z31能源监管服务数字化平台Digitalplatformfo

4、renergyregulatoryservices在自动化、信息化、智能化等相关技术的支撑卜对能源领域相关信息进行采集、整合、分析，并进行充分应用，有效实猛全过程动态监管；并能为能源企业、方业链上下游企业等提供智能化服务的数字化智慧平台。O来源：DBl4/T2936-2023,3.1数据资产dataasset合法拥有或者控制的，能够进行计量的，为组织带来经济和社会价值的数据资源。来源：GB/T40685-2021,3.1数据仓库datawarehouse在数据准备之后用于永久性存储数据的数据库。来源：GB/T35295-2017,2.1.353.3DB14T29382023数据湖datalak

5、e一种在系统或存储库中以自然格式存储数据的方法。4缩略语下列缩略语适用于本文件。ACID：原子性、一致性、隔离性、持久性(Atomicity、ConsistencyIsolation、Durability)API：应用程序编程接口(APPliCationProgrammingInterface)CPU：中央处理器(CentralProcessingUnit)DDL：数据定义语言(DataDefinitionLanguage)loT：物联网(InternetofThings)Jar：JaVa平台上的归档文件格式(JaVaArchive)JSON：JaVa脚本对象描述(JaVaSCriPtObje

6、ctNotation)MD5：信息摘要算法(MeSSage-DigeStAlgorithm)MPI：消息传递窗口(MessagePassingInterface)MR：分布式运算框架(MapReduce)SLA：服务等级协议(ServiceLevelAgreement)SQL：结构化查询语言(StrUetUredQueryLanguage)XML：可扩展标记语言(EXtenSibleMarkupLanguage)5数据支撑处理流程5.1 应基于能源监管服务需求，按照DB14/T2936-2023对数据支撑的要求，将能源监管服务相关数据，统一存储并进行数据分析，然后通过APl发布或数据资产发布方

7、式，实现数据资产在各组织机构或监管部门的共享，数据支撑处理流程应符合图1的要求。图1能源监管服务数字化平台数据支撑处理流程图5.2 能源监管服务数字化平台应根据监管服务需要，采集各个系统的数据，数据采集内容及数据采集方式应符合DB14/T29392023的要求。5.3 能源监管服务采集的数据进行预处理之后，应传输到云平台集中存储，并建立统一数据湖，实现能源生产经营数据、能源安全监管数据、能耗数据等数据统一存储，需要提供能源监管服务的数据存储能力，数据存储方式包括但不限于分布式文件存储、数据湖存储、分布式数据仓库、时序数据库 等，并符合GB/T 37722的要求。5.4 能源监管服务数字化平台应

8、实现数据治理，提供数据集成、规范设计、数据开发、数据质量、数 据资产、数据安全、数据服务等功能，基于能源监管服务需要，整理并生成数据资产，包括但不限于 贴源层、整合/明细层、主题链接层、集市层，并通过数据发布，开放给上层不同应用系统或共享交换 平台调用。5.5 能源监管服务数字化平台应提供数据分析能力，支撑能源监管服务各主题库、专题库和指标的生 成，数据分析能力包括但不限于批处理分析、流处理分析、流批一体融合分析、交互分析、搜索分 析、事件分析、虚拟测点计算分析、时序分析等，并符合GB/T 37721和GB/T 37722的要求。5.6 能源监管服务数字化平台应满足能源监管服务的数据发布需求，

9、数据发布的流程及发布的数据内容符合DB14/T 29402023的要求，数超与布方式应满足本文件的技术要求。5.7 能源监管服务数字化平年应优先选择符合国家自主可隹和安全可信相关要求的全栈自主创新技 术。6数据存储与分析6.1.1分布式文件存储6.1数据存储结合能源监管服务需求，通过分布式文件存储，要求如下：f RJ /a）应提供文件的上传、下载、读写、复制、移动、删除、访问控制等功能：b）应提供容错机制和系统高可用机制，包括数据块的备份、系统宕机恢复、灾备恢复等功能;c) d) e) f) g) h) i) J)应提供文件块的完整性校验和同步功能，保证数据的完整性与一致性;g应提供存储模块的

10、弹性扩展功能，支持存储节点的扩缩容；应提供文件系统级别的数据压缩和加解密功能：应提供快速检索功能，支持数据资源的统一检索、编目、增加和删除操作：应提供支件的搜索、批量操作、回收站、快照等功能；宜提供小文件合并成大文件集中存储的功能；宜提供存储资源隔离能力，能够通过盘配置目录的存储空间及文件数量实现逻辑隔离； 宜提供元数据的快速迁移功能，能够复制目录级文件元数据信息实现元数据快速迁移。6. 1.2数据湖存储结合能源监管服务需求，通过数据湖存储，提供分布式文件系统之上的AeID数据库能力，支持数据的高效更新、增量查询等能力，数据湖存储要求如下：a）应提供结构化数据的分布式存储机制，实现数据存储的可

11、扩展性；b）应提供多样化的APl接口满足各类上层应用的使用需求；c）应提供一种高效的数据组织格式，实现历史数据的高效更新、快速删除能力；d）应提供湖内结构化数据的事务能力，以保证数据的一致性、完整性；e）应提供湖内数据的增量查询能力，支持实时数据分析；f）应提供自动化的小文件合并能力，自动管理文件大小和布局，以优化数据访问速度；g）应提供自动化的历史数据清理能力，以防止数据过度膨胀影响影响文件系统健壮性；h）应支持多样化的计算引擎和存储引擎，能够平滑的在引擎之间迁移；DB14T29382023i）应支持流批融合的计算能力，实现同一个作业内完成批量、增量的数据处理能力。6.1.3 分布式数据仓库

12、结合能源监管服务需求，通过分布式数据仓库，提供数据集市能力，用于存储能源监管服务经过数据治理之后的主题联接层和指标等数据，分布式数据仓库要求如下：a）应提供基于无共享的分布式大规模全并行处理的关系型数据库；b）应提供满足SQL语法，包括存储过程、自定义函数、序列、触发器等高级语法功能；c）应提供保障全局强一致性事务能力，可以针对单表和多表并发插入、更新、删除等操作d）应提供以表为单位的行、列存储引擎，用户可指定表的存储格式，满足不同场景业务需要；e）应提供自适应压缩算法，支持可调整压缩级别，压缩级别越高，压缩能力越强；f）应提供在线弹性伸缩功能，扩容过程中数据持续可查询；g）应提供多租户管理功

13、能，租户间CPU、内存、IO等资源隔离，相互不干扰；h）应提供图形化安装部署、补丁升级、扩容缩容、备份恢复、巡检告警、事件管理、日志管理、参数设置、集群启停、节点替换等集群管理功能；i）应提供图形化主机监控、数据库监控、性能监控、TOPSQL、会话监控、作业监控等集群监控平台；j）应提供图形化故障诊断（慢主机）、性能优化、SQL熔断、SQL诊断、负荷分析报告功能；k）宜提供范围、列表等分区功能，分区键支持整型、字符型、时间型等数据类型；1）宜提供行存、列存表B-Tree索引功能，支持函数/表达式索引，提供查询性能。6.1.4 时序数据库结合能源监管服务需求，针对1。T数据，时序数据库要求如下：

14、a）应支持按存储组方式对数据进行管理；b）应支持数据按照时间维度分级存储管理；c）应支持分钟级弹性伸缩；d）应支持高性能多维聚合查询；e）应支持亿级时间线。6.2数据分析6. 2.1批处理分析结合能源监管服务需求，通过批处理分析功能，用于实现高性能的离线批处理作业运行，批处理分析要求如下：a）应支持多种数据类型的离线分析，包括结构化和非结构化数据；b）应支持离线计算任务进度与状态的实时上报；c）应支持多节点离线任务的联动执行；d）应提供多种语言的API,以满足不同应用的开发需求；e）应支持作业调度；f）应支持分散-聚集的处理方式；g）应支持批处理计算框架运行在分布式资源管理之上；h）应支持SQ

15、L、函数式编程、图计算等方式处理数据；i）应支持在线查看任务运行日志；j）应支持任务内部子任务的失败重试，以及当运行节点出现异常时能够恢复计算结果。7. 2.2流处理分析结合能源监管服务需求，通过流处理分析功能，实现能源监管服务IT数据实时处理能力，流处理分析要求如下:a）应支持多种数据源中获得实时流数据，完成高吞吐、低延时的实时计算，并将结果输出到消息队列或者进行持久化；b）应提供用户级别的访问控制功能，支持对消息处理任务进行创建、浏览、终止、激活、去激活等操作，并对用户级别操作记录审计日志；c）应支持采用滑动窗口的方式实时分析任务，时间窗口大小可任意调节；d）应支持容错机制，在出现故障的情况下，系统具备恢复中间计算结果重试失败任务的能力；e）宜支持直接读取前置任务计算结果作为数据源的方式来编排作业，实现复杂作业拆分的同时保证计算的实时性。8. 2.3流批一体融合分f结合能源监管服务需求，通过流批底融合分析功能,可执行批处理作业和流处理作业，实现能源监管服务