TGDMA4-2018科技大数据平台数据仓库开发指南编制说明.docx

《TGDMA4-2018科技大数据平台数据仓库开发指南编制说明.docx》由会员分享，可在线阅读，更多相关《TGDMA4-2018科技大数据平台数据仓库开发指南编制说明.docx（7页珍藏版）》请在优知文库上搜索。

1、科技大数据平台数据仓库开发指南团体标准编制说明科技大数据平台数据仓库开发指南标准起草小组科技大数据平台数据仓库开发指南团体标准编制说明一、基本背景党中央、国务院高度重视大数据技术产业创新发展。2015年8月，国务院印发的促进大数据发展行动纲要（国发201550号）（以下简称纲要）要求稳步推动公共数据资源开放，加快建设国家政府数据统一开放平台。2018年1月23日中央全面深化改革领导小组第二次会议会议审议通过科学数据管理办法，强化、加深各级科技主管部门对科学数据是国家科技创新发展和经济社会发展的重要基础性战略资源，是信息时代传播速度最快、影响面最宽、开发利用潜力最大的科技资源这一认识。为推动我省

2、大数据发展和应用，加快建设数据强省，省政府陆续出台了广东省人民政府办公厅关于印发广东省促进大数据发展行动计划（2016-2020年）的通知（粤府办201629号）明确广东要建立“用数据说话、用数据决策、用数据管理、用数据创新”的管理机制，提升政府经济管理和社会治理能力，促进大数据产业创新发展，推动我省经济发展动力转换、结构优化和转型升级。2015年底，国家科技部启动国家科技管理信息系统互联互通工作，广东省科技厅作为其试点单位之一，成为全省科技数据上报以及国家科技数据服务下放的枢纽,该项工作将为我厅共享国家科技部和全省科技系统数据提供全面、及时、有效的科技数据服务。与此同时，广东省网上办事大厅、

3、电子政务数据交换平台和大数据开放共享工作进一步推进。结合我厅所建设的科技大数据平台工作持续推进，我们编写了广东省科技大数据平台数据仓库开发指南。二、编制思路和原则本标准编制的基本思路是：以行政审批的有关国家标准、企业标准为基础，按照GB/T1.2009给出的规则起草，规定了广东省科技厅大数据平台（下文简称“科技厅”）数据仓库开发过程中各环节应遵循的流程及标准，供科技厅基于数据仓库的信息中心负责人及相应开发/运维厂商共同使用。三、编制过程（一）成立标准起草小组，制定工作方案自2018年1月起，广东精点数据科技股份有限公司提出提出本标准，在广东工业大学的牵头下，成立了广东金科信息网络中心有限责任公

4、司、广东金科信息网络中心有限责任公司、广东精点数据科技股份有限公司、广东省科技创新监测研究中心等单位专业人员组成本标准的起草小组，制订工作方案。明确目标要求、工作思路、人员分工和工作进度等，开始标准的起草工作。（二）收集相关资料，开展调研起草小组针对本标准中要求、源数据层、中间层、应用层等方面的问题，进行了相关资料的收集整理工作，检索了有关国家标准、行业标准，查阅了大量有关的资料，并对这些标准和资料进行了系统的研究分析。为了解实际情况，借鉴己有的经验，起草小组展开了一系列的调研。（三）标准起草起草小组在收集资料和实地调研基础上，经过深入的分析研究，并联系咨询行业内专家，确定了本标准的结构框架，

5、进行标准的编写，并进行多次内部研讨和修改，于4月形成了标准征求意见讨论稿。（四）标准研讨4月底，省科技厅工作人员与标准起草人员对本标准进行逐条详细研讨。（五）标准审定5月初，起草小组根据专家提出的意见和建议，对标准送审稿进行的修改完善，形成了标准报批稿。四、主要内容本标准总体思路是规定了科技厅数据仓库开发过程中各环节的要求和规范，包括数据仓库的架构、设计、开发、运维以及交付等阶段所应遵循的流程及标准，确保数据仓库开发的正常进行。1、范围本标准主要涉及数据仓库实施流程中数据仓库设计中技术设计相关工作、数据仓库开发、及数据仓库运维与开发相关的内容。本标准主要包含如下内容:数据仓库开发组织架构及对应

6、人员职责；数据仓库实施各阶段的流程及标准。2、总则科技厅数据仓库是科技厅企业级数据平台，整合科技厅相关业务系统源数据的基础上，为从属的数据集市及分析统计、数据挖掘等应用提供基础数据支持，因此数据仓库是展示科技厅数据资产及开展数据服务的基础核心。数据仓库建设成功与否主要体现在是否能有一个全面、稳定、集中的数据环境，继承各种数据源系统的数据视图，向上提供各种分析应用，是表达及沟通业务及其规则的媒介。因为构建统一标准的数据仓库是数据仓库建设必须遵循的基本原则之一。为了指导及规范数据仓库的建设，加强数据管理，特设计数据仓库的开发规范，用于约束数据仓库实施方（开发/运维）的具体开发行为，保障数据仓库的技

7、术环境统一。3、目标形成一套统一的科技厅数据仓库开发标准，指导各数据仓库相关实施方此基础上完善和扩展数据仓库建设，为科技厅数据仓库统一建设提供进一步技术保障;通过设计数据仓库开发标准，规范及增强数据仓库管控力度，保障数据仓库的管控人员管控到位，为数据仓库统一建设以及今后数据服务开展奠定基础，保隙数据仓库建设工作具有可持续发展的能力。4、数据仓库架构本章对于数据仓库架构中的层次和相应的实施流程进行了相应的规定，详细的规划了各个层次的工作。5、数据仓库设计本章对于数据仓库的设计阶段进行了相应的规划，对于设计中的概念模型、逻辑模型、物理模型及其命名规范形成了相应的规范。6、数据仓库开发本章对于数据仓

8、库的开发阶段所涉及的代码标准、测试标准、迁移部署以及相应的命名标准进行了详细的说明，确保开发的正确性，提高开发的效率，保证设计与程序的一致性。7、数据仓库运维本章就数据仓库的开发阶段所需的需求变更和异常处理进行了规范，保证数据仓库的运行和维护的正常有序进行，对系统的稳定性提供有力保障。8、数据仓库交付本章对数据仓库交付阶段所需的文件和材料进行了总结和归纳，规定了各开发小组对接的交付文档。五、标准特点科技大数据平台数据仓库开发指南的编写，从标准化、规范化角度对我省科技数据平台数据仓库的各阶段的实施提出了明确要求，它适用于本省科技厅。将科技大数据平台数据仓库开发纳入我省企业标准，有利于提高省科技厅

9、行政数据仓库开发的效率和规范性。数据仓库开发组织：（一）组织架构数据仓库开发共涉及5种角色：数据仓库架构组、ETL架构师、项目监理、模型设计员、开发人员、测试人员。5种角色详细说明：数据仓库架构组:要求对科技厅数据仓库整体情况了解，具有项目管理能力，1-2人；ETL架构组：具有数据仓库实施5年以上经验，具有开发管理能力，2人；模型设计组：具有数据仓库模型设计3年以上经验，人员数量根据实际项目情况而定；开发组:具有数据仓库开发2年以上经验，人员数量根据实际项目情况而定；测试组:具有数据仓库测试2年以上经验,人员数量根据实际项目情况而定。（二）人员职责数据仓库实施过程中，不同的角色承担不同的职责，

10、负责相应的具体工作：1、信息部数据负责人：D制定数据仓库管控标准及流程；2）制定数据仓库整体的发展蓝图及实施策略，指导数据仓库实施工作开展；3）负责协调数据仓库与其他业务部门之间数据资源服务沟通。2、数据仓库架构组职责：1）负责整个数据仓库项目计划及推进，把控项目关键里程碑完成，对项目进行管控；2）向信息管理部数据管理人员汇报项目进度、困难及项目所需外部支持等；3）对数据消费方提交的数据需求进行审核，保证技术合理性、与数据中心总体技术架构的统一、一致；4）为配合各上层应用分析实施，统一调配数据仓库开发相关资源；5）协调各开发团队间的沟通、合作，组织不同团队间的联系会议。3、ETL架构组职责：1

11、）设计并测试数据仓库ETL调度，生产环境的调度时间窗口安排，负责异常处理工作等；2）负责掌握整体开发进度及开发质量，对程序进行版本控制管理；3）维护、管理、分配生产环境的各类资源，统一管理生产环境的更新；4）培训各团队主要成员，使各团队成员理解、掌握开发平台及相关文档模版的使用原则与方法，督促开发人员按照开发标准进行开发。4、模型设计组职责：1）主要负责概念模型及逻辑模型搭建。2）确认数据源的基本情况，设计、实施及维护ODS、数据仓库的数据模型；数据仓库模型设计应考虑主题间关系，设计符合科技厅的数据仓库架构设计规范的数据模型；3）在上层应用业务数据顾问的协助下，明确从ODS区至数据仓库区数据间

12、的映射关系及数据流转逻辑；4）明确模型中每个字段的业务含义，并填写相应的业务元数据管理文档，提交元数据管理组进行元数据维护。5、开发组职责：1）根据模型设计组提交的数据模型，结合实际数据库产品特点，设计物理模型，并在开发、生产环境中搭建该模型;2）依照数据仓库开发标准进行开发实施，负责撰写、维护ETL详细设计文档；3）根据实际开发需求结合数据库情况，与模型设计员协调，对数据模型进行适当调整；4）根据测试组提交的测试文档修复相应的程序问题；5）部分成员会担负未来数据仓库运维工作，按照数据仓库架构师安排,参与实际数据仓库异常处理事务。6、测试组职责：根据模型设计员的ETL详细设计，撰写相应的测试文档，按照测试文档内容对程序进行详细测试，完成并提交相应的测试文档，直到程序完成测试通过。六、结语如前所述，本标准主要涉及数据仓库实施流程中数据仓库设计中技术设计相关工作、数据仓库开发、及数据仓库运维与开发相关的内容。本标准规定了广东省科技厅大数据平台（下文简称“科技厅”）数据仓库开发过程中各环节应遵循的流程及标准，供科技厅基于数据仓库的信息中心负责人及相应开发/运维厂商共同使用。