XX区一体化智能化公共数据平台20XX年度运维及数据服务项目采购需求.docx

《XX区一体化智能化公共数据平台20XX年度运维及数据服务项目采购需求.docx》由会员分享，可在线阅读，更多相关《XX区一体化智能化公共数据平台20XX年度运维及数据服务项目采购需求.docx（20页珍藏版）》请在优知文库上搜索。

1、XX区一体化智能化公共数据平台20XX年度运维及数据服务项目采购需求1 .运维目标根据XX省一体化智能化公共数据平台建设方案要求，以一体化智能化公共数据平台县（市、区）综合评价指标为优化细则，按照“以用促建、共建共享”的原则，在现有XX区一体化智能化公共数据平台基础上,进一步构建健壮稳定、集约高效、自主可控、安全可信、开放兼容的一体化智能化公共数据平台，进一步推进全市数据归集、数据治理、数据共享等工作。为省市县三级的重点应用提供更为全面可靠的数据支撑服务，打造全市乃至全省领先的数据资源体系。2 .运维内容2.1 数据归集（中心库）服务将归集到前置库中的数据同步到数据治理平台（中心库）进行集中处

2、理。2.1.1 库表数据归集将各局办前置机上的数据归集到数据中台的中心前置机内。针对局办业务系统建设的数据需求，梳理其提出的数据资源目录，进行数据再归集工作。2.1.2数据内交换配置数据内交换任务，将数据从前置机上归集至公共数据平台内。具备智能数据传输能力，在业务系统不做任何改变、无需业务系统开发商配合的情况下，实现跨系统数据获取和传输。2.L3非结构化数据归集根据资源编目信息，支持多种形式归集非结构化数据资源。平台两种形式的非结构化数据归集途径。2.2数据标准维护服务依托本地构建的数据标准子系统，根据数据目录动态维护的数据项，更新XX区本地数据标准，包括数据元、业务对象、代码集、数据标准库的

3、新增和更新维护。并参照XX省大数据发展管理局关于印发XX省公共数据治理工作细则的通知（X数局发（2019）1号），针对XX区范围内的数据，持续开展数据治理服务。2.2.1数据标准继承基于数据标准模块的功能，实现XX市到XX区的数据标准继承和落地。例如已构建的工业企业、人口、法人等业务对象。目前XX市公共大数据平台已具备30000多数据元,2700多个业务对象和200多条验证规则。XX区基于XX最新数据标准体系，完成数据元、业务对象、代码集、验证规则的继承。依赖数据标准模块的功能，实现XX市到XX区的数据标准继承和落地。例如已构建的工业企业、人口、法人等业务对象，和已配置的基于此类业务对象包含的

4、验证规则。2.2.2配置数据元根据省市最新数据标准体系共享数据资源情况,配置数据元。包括业务分类、数据元的标识码、字段名、字段中文名、数据格式。依据XX最新数据标准体系共享数据资源情况，根据XX区本地业务系统和数据情况，配置数据元。包括业务分类、数据元的标识码、字段名、字段中文名、数据格式。2.2.3配置业务对象根据省市新数据标准体系共享数据资源情况,配置业务对象。包括业务分类、业务对象的标识码、名称、分类、版本、组成的数据元。依据XX最新数据标准体系共享数据资源情况，根据XX区本地业务系统和数据情况，配置业务对象。包括业务分类、业务对象的标识码、名称、分类、版本、组成的数据元。2.2.4配置

5、代码集根据省市最新数据标准体系共享数据资源情况,配置代码集。包括业务分类、代码集的标识码、名称、版本、关联的数据元和代码集属性值。依据XX最新数据标准体系共享数据资源情况，根据XX区本地业务系统和数据情况，配置代码集。包括.业务分类、代码集的标识码、名称、版本、关联的数据元和代码集属性值。2.2.5配置数据标准库根据省市最新数据标准体系共享数据资源情况，通过选择业务对象进行组合的方式，配置数据表，并构建数据标准库。此外，配置数据库名称、表名、表别名、索引、是否加密、加密方式等。依据XX最新数据标准体系共享数据资源情况，根据XX区本地业务系统和数据情况，通过选择业务对象进行组合的方式，配置数据表

6、，并构建数据标准库。其他配置包括数据库名称、表名、表别名、索引、是否加密、加密方式等。2.3数据治理服务针对XX区数据，持续开展已归集数据的数据治理服务，协助部门问题数据推进整改、走完工单整改流程、落实问题工单整改完成情况，实现数据问题工单及时处理修正。2.3.1数据质量检测服务建立数据质量检测机制，基于清洗任务的运行筛选出问题数据。对经过质量检测后，存在质量问题的数据表，进行问题数据检测。汇总当前存在数据质量问题的数据表，清晰呈现数据表名称、数源部门、检测字段、校验规则、字段值等数据问题信息。2.3.2数据质量评分服务对各单位的数据质量进行评估报告。2.3.2.1绩效评估根据数据质量规则管理

7、要求，采用与数据质量评价指标框架一致的评分准则,从规范性、完整性、准确性、一致性、时效性、可访问性角度，计算各部门数据质量评价得分，为下属单位数据治理绩效评分提供依据。2.3.2.2质量报告提供数据质量检测评分结果，自动产出数据质量报告，以统一格式，直观展示数据质量检测结果，包括质量报告检索、下载。2.3.2.3质量统计面向全量数据，分析评估数据质量的整体情况，供异常数据分析、错误数据占比分析。2.3.3数据问题反馈服务建立问题反馈机制，形成工单形式的问题处理、问题跟踪、问题评估，实现对问题数据的闭环管理。建立问题反馈机制，形成工单形式的问题处理、问题跟踪、问题评估，实现对问题数据的闭环管理；

8、进行工单派发后的处理、统计和进度跟踪工作，并提供多种形式的数据补偿方式。发现数据质量问题之后，应将问题准确的反馈给数源部门，从源头解决数据质量问题。问题处理工单由数据应用部门、管理部门发起，经管理部门审核通过后，由数源部门进行质量整改，并将完成情况反馈给应用部门和管理部门。平台对各部门工单的处理情况、响应情况进行多维度分析统计。2.3.3.1工单派发数据应用部门和管理部门均可新建工单，派发后流转至数据管理部门进行审核。2.3.3.2工单审核各部门派发的数据治理工单需由数据管理部门统一审核，若工单审批通过,则有数源部门整改数据；若不通过，则将审核意见反馈至工单派发部门。2.3.3.3工单处理数源

9、部门接收工单后，需尽快确认工单，明确数据质量问题，在规定时间内对问题进行处理，并反馈处理结果。2.3.4清洗规则更新服务结合实际情况对数据清洗规则进行不断迭代优化，根据业务要求细化清洗颗粒度，降低问题数据误判率，提高数据质量问题的识别率，提升数据治理质量效果，并及时将经过治理的数据进行使用。数据治理团队可在规则管理模块下，可以上传数据质量规则相关政策文件，定义质量规则类别、质量问题类别，编制数据质量规则，并为平台内的数据表、字段配置已定义的质量规则。2.3.4.1编制准备用户在政策库添加编制规则所需要的政策依据，在规则分类下添加不同规则的类别，在问题分类下添加问题类别。2.3.4.2规则编制在

10、规则编制中阶段，新增规则并选择规则分类及问题分类，并按照是否政策规则选定政策。2.3.4.3规则应用在应用阶段，选定需要实施数据治理的数据表，为其配置数据质量规则，完成整个规则管理流程。2.3.5人口库（低保人员水费减免）数据服务为低保人员水费减免应用提供数据服务，提供贫困人员和低保人员相关数据的专题数据归集、数据治理、数据转换、数据按月更新并进行数据共享。支撑水务集团投资公司为减低收入家庭的负担，对贫困户和低保户每户每月10吨以内的免费政策的应用。2. 3.5.1数据归集在现有公共数据平台的基础上，基于数据编目与数据归集成果，整合低保人员信息和水务集团水费信息。包括收入、低保信息等数据的归集

11、，并按月更新数据。3. 3.5.2数据治理对低保人员水费减免应用涉及的数据进行治理，通过数据清洗对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性，从而保证数据的质量。数据清洗的任务是过滤那些不符合要求的数据，将过滤的结果交给数据管理部门，确认是否过滤掉还是由数据管理部门修正之后再进行抽取。不符合要求的数据主要是有残缺数据、错误数据、重复数据三大类。通用数据清洗要对残缺数据、错误数据、重复数据做处理。4. 3.5.3数据转换数据转换模块将从源数据源获取的数据，按照业务需求和目的数据源要求，转换形式。1 .不一致数据转换：这个过程是一个整合的过程，将不同业务系

12、统的相同类型的数据统一，比如同一个业户在运管系统的编码是XX0001,而在另一系统中编码是YY0001,这样在抽取过来之后统一转换成一个编码。2 .数据粒度的转换：业务系统一般存储非常明细的数据，而数据仓库中数据是用来分析的，有可能需要不同粒度的数据。一般情况下，会将业务系统数据按照数据仓库粒度进行聚合。3 .规则的计算：不同的应用有不同的业务规则、数据指标，这些指标有的时候不是简单的加加减减就能完成，需要在ETL中将这些数据指标计算好了之后存储在数据仓库中，以供分析使用。4 .规范化数据格式：实现字段格式约束定义，对于数据源中时间、数值、字符等数据转换成规定格式。5 .字典转换如在将系统A中

13、的表AA同步到系统B中的表BB,两个表字段存在差异，则系统会根据设置的字段名称转换规则进行字段名称格式转换。同理，若两者对统一属性的表示方式不一致，如在系统A中的表AA中的性别表示方式为（“男”，“女”），则在系统B中的表BB中的性别表示方式为（“M，W”）。6 .大小写转换对字段进行大小写转换。2.3.5.4数据更新提供数据按月更新服务，包括收入、低保信息、水费信息等数据。2.3.6人口库（新生类别认定）数据服务为新生类别认定算法模型提供数据服务，整合不动产信息、户籍信息等，对该类数据进行归集、治理、数据转换、共享。协助判断学生是否为该学区的一类生/二类生/三类生/四类生。2.3.6.1数据

14、归集在现有公共数据平台的基础上，基于数据编目与数据归集成果，整合不动产登记处房产信息和公安户籍信息。包括新生户口簿、出生证、父母房产所有权证、父母结婚证、父母身份证、离婚证和判决书等数据的归集，并按月更新数据。2.3.6.2数据治理对新生类别认定算法模型涉及的数据进行治理，通过数据清洗对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性，从而保证数据的质量。数据清洗的任务是过滤那些不符合要求的数据，将过滤的结果交给数据管理部门，确认是否过滤掉还是由数据管理部门修正之后再进行抽取。不符合要求的数据主要是有残缺数据、错误数据、重复数据三大类。通用数据清洗要对残缺数

15、据、错误数据、重复数据做处理。2. 3.6.3数据转换数据转换模块将从源数据源获取的数据，按照业务需求和目的数据源要求，转换形式。1 .不一致数据转换：这个过程是一个整合的过程，将不同业务系统的相同类型的数据统一，比如同一个业户在运管系统的编码是XXOOOl,而在另一系统中编码是YY0001,这样在抽取过来之后统一转换成一个编码。2 .数据粒度的转换：业务系统一般存储非常明细的数据，而数据仓库中数据是用来分析的，有可能需要不同粒度的数据。一般情况下，会将业务系统数据按照数据仓库粒度进行聚合。3 .规则的计算：不同的应用有不同的业务规则、数据指标，这些指标有的时候不是简单的加加减减就能完成，需要在ETL中将这些数据指标计算好了之后存储在数据仓库中，以供分析使用。4 .规范化数据格式：实现字段格式约束定义，对于数据源中时间、数值、字符等数据转换成规定格式。5 .字典转换如在将系统A中的表AA同步到系统B中的表BB,两个表字段存在差异，则系统会根据设置的字段名称转换规则进行字段名称格式转换。同理，若两者对统一属性的表示方式不一致，如在系统A中的表AA中的性别表示方式为（“男”，“女”），则在系统B中的表BB中的性别表示方式为（“M，W”）。6 .大小写转换对字段进行大小写转换。2.3.6.4数据校验数据校验对比用来完成数据一致性的校验，数据校验