一体化智能化公共数据平台数据服务项目建设方案.docx

《一体化智能化公共数据平台数据服务项目建设方案.docx》由会员分享，可在线阅读，更多相关《一体化智能化公共数据平台数据服务项目建设方案.docx（25页珍藏版）》请在优知文库上搜索。

1、一体化智能化公共数据平台数据服务项目建设方案1项目背景32建设目标33建设内容41. 1平台升级服务43. 2数据标准维护服务74. 3数据归集服务95. 4数据治理服务96. 5数据共享服务117. 6数据开放服务128. 7数据仓库服务129. 8数据专题库上架服务1410. 9IRS对接服务1511. 10条例宣贯服务1812. 1数据密保服务1813. 12数据分析展示服务1814. 13人员驻场服务1815. 4等保测评184建设清单191项目背景2022年，是实现数字化改革“一年出成果、两年大变样、五年新飞跃”战略目标的关键之年，也是全面贯通、集成突破、集中展示之年。为全面贯彻落实

2、国家大数据发展战略，按照我省数字政府建设“四横四纵两端”总体框架和迭代升级后的“1612”体系建设基本思路，以深化“最多跑一次”改革、推进政府数字化改革为目标，在已建的公共数据平台基础上，深化集约高效、安全可靠的一体化智能化公共数据平台，提升数字资源配置效率，加快全区数字化改革和市域治理现代化，巩固并扩展“用数据对话、用数据决策、用数据服务、用数据创新”的现代化治理模式。5月，根据全省数字化改革工作推进会议要求，浙江省大数据管理局印发了2022年一体化智能化公共数据平台绩效考核评价办法,为扎实做好数字化改革综合评价工作，高标准建设一体化智能化公共数据平台提出了新的建设思路。在此背景下，积极贯彻

3、落实浙江省大数据管理局对县级一体化智能化公共数据平台的升级需求，在已建成一体化智能化公共数据平台的基础上，推进一体化智能化公共数据平台数据服务项目建设，为省市县三级的重点应用提供更为全面可靠的数据支撑服务。2建设目标紧紧围绕数字化改革总目标，根据浙江省数字化改革总体方案和浙江省一体化智能化公共数据平台建设方案要求，以一体化智能化公共数据平台县（市、区）综合评价指标为优化细则，按照“以用促建、共建共享”的原则，在现有一体化智能化公共数据平台基础上,进一步构建健壮稳定、集约高效、自主可控、安全可信、开放兼容的一体化智能化公共数据平台，持续推进2023年全区数据归集、数据治理、数据共享等工作,深入支

4、撑党政机关整体智治、数字政府、数字经济、数字社会、数字文化、数字法治全领域改革，数字赋能决策、服务、执行、监督和评价履职全周期。并加强共享域建设,构建大数仓体系，形成全区“共建共治共享”、“数据循环利用”的机制，支撑重大改革应用，打造全区乃至全省领先的数据资源体系。3建设内容基于一体化智能化公共数据平台，提供以下的数据服务内容：3.1 平台升级服务作为“四横四纵”中的数据资源体系，大数据能力将在现有公共数据平台成果上继续深化、迭代升级，进一步完善数据资源体系、加快一体化智能化公共数据平台建设，以数据驱动创新，更好地推动社会全面发展。1 .数据监控升级为了及时发现平台可能存在的数据问题或数据错误

5、，需要进行数据监控升级。数据监控能及时、有效的反馈出数据异常的一种手段，通过对平台内数据资产的存储、交换、计算、访问情况进行监测，进而分析数据，指导运营决策、驱动业务增长。升级提供数据对账、交换监控、流计算监控、存储监控等功能。(1)数据对账监控数据交换前后的内容一致性，展现目标数据表与源数据表的数据总量、对账标识、对账日期、差值等信息。(2)交换监控监控数据交换任务的执行状态，重点展示异常交换记录，支持通过交换名、交换别名、表别名、交换类型、交换状态检索交换记录。(3)存储监控提供HDFS、HBaSe、ES存储监控功能，监控服务状态、存储空间使用率等。2 .数据监测升级面向各级用户提供资源信

6、息监测分析入口，提供数据仓分析、数据目录分析、数据归集分析、数据共享分析、数据管理分析、业务表数据量分析、资源分析、清洗工单分析、异常数据分析、错误数据占比分析、数据标准分析等功能。（1）数据仓分析提供分析展示数据量、数据完整性和数据归集、数据目录、数据共享等数据仓情况概况。（2）数据目录分析提供分析展示数据目录创建量、维护量、共享量、开放量等指标。（3）数据归集分析提供分析展示数据归集创建量、归集总量、现有归集数据目录数量、数据项更新次数等指标。（4）数据共享分析提供分析展示部门接口提供情况、外部接口获取情况指标。（5）数据管理分析提供分析展示数据管理系统管理的数据租户的总量、数据库总量、数

7、据表总量、数据库占比、数据库表数量占比、不同时间段数据库表数量、库表增长趋势信息。（6）业务表数据量分析提供分析展示ES主题总数，可以查看全部主题、其他主题，详细的主题信息包括序号、表名称、单位名称、状态、记录数、数据量、索引速率、搜索速率。(7)资源分析提供分析展示数据库表数量、主题共享资源占比、资源存储占比、计算资源使用趋势、任务运行状态分析等指标。(8)清洗工单分析提供分析展示数据治理工单的执行情况。(9)异常数据分析提供分析当前平台数据总量、异常数据总量、异常占比、今日异常数据占比。(10)错误数据占比分析提供分析数据类型占比和错误数据业务占比。（三）数据标准分析提供分析展示业务对象总

8、量、数据元总量、代码集总量，各数据单位下的数据元、业务对象总量，每个数据元在平台内的使用次数，准确定位核心数据元。3 .数据指标服务在一期公共数据平台大屏的基础上，进行迭代升级：基于公共数据平台评价指标、全面梳理数字资源评价指标，为高层提供“一站式”决策支持数据管理中心。通过各种常见的图表(饼图、柱形图、环形图等)形象标示一体化智能化公共数据平台运行的关键指标(KPI),支持“钻取式查询”,实现对指标的逐层细化、深化分析，将平台数据形象化、直观化、具体化。在现有数据资源基础上融合省市回流数据，对数据归集、治理、共享全周期工作进行全量、全链路分析、展示，直观体现数据资源建设情况。同时融合公共数据

9、平台考核指标，对数据仓建设情况、数据治理及数据共享等数据高质量供给进行分析，对开展数据深度开发利用、形成数据产品、支撑重点应用进行下钻展示。3. 2数据标准维护服务依托本地构建的数据标准子系统，根据数据目录动态维护的数据项，更新本地数据标准，包括数据元、业务对象、代码集、数据标准库的新增和更新维护。支持批量、单个继承公共大数据平台的数据元、代码集和验证规则。4. 数据标准配置(1)配置数据元根据省市最新数据标准体系共享数据资源情况，配置数据元。包括业务分类、数据元的标识码、字段名、字段中文名、数据格式。(2)配置业务对象根据省市最新数据标准体系共享数据资源情况，配置业务对象。包括业务分类、业务

10、对象的标识码、名称、分类、版本、组成的数据兀O(3)配置代码集根据省市最新数据标准体系共享数据资源情况，配置代码集。包括业务分类、代码集的标识码、名称、版本、关联的数据元和代码集属性值。(4)验证规则扩充根据省市最新数据编目标准规范和业务流程，对数据资源所需关联的验证规则进行扩充。主要配置内容包括业务分类、验证规则的标识码、名称、关联的数据元和规则定义。(5)配置数据标准库根据省市最新数据编目标准和规范，配置数据表并构建数据标准库。配置内容包括数据库名称、表名、表别名、索引、是否加密、加密方式等。5. 一数一源一标准按照省里最新的“一数一源一标准”相关要求，开展数据源治理,完成数据表标准化工作

11、，完成数据源头端的标准化工作。具体如下：需对数据标准技术有深入研究，以提供国家知识产权局颁发的数据标准相关发明专利证书为准。(1)数据元提交对需要新增、变更或废止的数据元，数源单位应按照省市区要求的流程提交数据元信息，供应商须能根据省市相应标准作出信息合规性判断。(2)数据元审核对于数源单位提交的数据元新增、变更、废止申请，数据管理部门应按照省市区要求的流程审核数据元信息，供应商须能协助数据管理部门审核并提供审核依据。(3)数据元发布数据元审核通过后，数据管理部门应及时发布数据元新增、变更、废止等信息，供应商须能协助数据管理部门开展相应工作。(4)数据元记录数据管理部门、数源单位及各数据使用单

12、位应保留数据元相关信息，确保数据元的可追溯性,供应商须协助开展追溯工作。(5)数据元使用公共数据元的使用方式包括直接使用和派生使用，供应商须协助开展使用工作。6. 3数据归集服务利用现有一体化智能化公共数据平台，在省市归集的通用数据基础上，做好县域范围内个性化数据归集，完善归集任务管理、数据同步通道、配置管理等体系，完成数据归集流程创建与运行，实现批量数据离线归集入库，具备实现范围内约100张表、10亿数据按需归集的能力。具备数据智能采集传输能力，在业务系统不做任何改变、无需业务系统开发商配合的情况下，实现跨系统数据获取和传输。具备制定数据交换、归集标准和规范的能力。1.部门数据归集前置库持续

13、开展本地数据归集服务，包含数据内交换、非结构化数据归集、数据高铁归集。根据部门的数据归集需求，指导协助部门完成数据的归集工作，并将部门前置库中的数据归集至中心前置库中。2 .前置库数据同步到数据治理平台将归集到前置库中的数据同步到数据治理平台，定期开展数据更新及时性检查。3 .归集数据同步市平台归集数据同步到市平台的数据归集库。3.4数据治理服务针对数据，持续开展已归集数据的数据治理服务，具备清洗约1亿条数据的能力，协助部门问题数据推进整改、走完工单整改流程，落实问题工单整改完成情况，工单数量保持领先。1 .数据质量检测优化现有数据质量检测机制，提升数据治理检测的准确性，持续构建清洗任务、运行

14、筛选出问题数据和可疑数据。对经过质量检测后，存在质量问题的数据表，进行问题数据检测。汇总当前存在数据质量问题的数据表，清晰呈现数据表名称、数源部门、检测字段、校验规则、字段值等数据问题信息，实现“一数一源”的精准关联以及问题数据的责任到人。2 .数据质量评分对各单位的数据质量进行评估报告，为上级部门对各数源单位进行绩效评估、质量报告生成、质量统计分析等服务。对各单位上报数据的数据质量进行综合评分和排序，针对性地提出存在问题点和需改进的内容。（1）绩效评估根据数据质量规则管理要求，采用与数据质量评价指标框架一致的评分准则，从规范性、完整性、准确性、一致性、时效性、可访问性角度，计算各部门数据质量

15、评价得分，为下属单位数据治理绩效评分提供依据。（2）质量报告提供数据质量检测评分结果，自动产出数据质量报告，以统一格式，直观展示数据质量检测结果，包括质量报告检索、下载。（3）质量统计面向全量数据，分析评估数据质量的整体情况，供异常数据分析、错误数据占比分析，针对性地提出各单位数据治理存在问题点和需改进的内容。3 .数据问题反馈建立问题反馈机制，形成工单形式的问题派发、问题整改、问题跟踪和审核评估等，实现对问题数据的闭环管理。（1）数据工单反馈建立“问题工单反馈”机制，形成工单形式的问题派发、问题整改、问题跟踪和审核评估等，实现对问题数据的闭环管理；进行工单派发后的处理、统计和进度跟踪工作，并提供多种形式的数据补偿方式。（2）数据问题上报依据浙江省大数据发展管理局关于印发省市两级公共数据平台建设导则的通知（浙数局发（2020）3号）向省市数据治理系统上报问题数据，并形成上报清单与记录。4 .规则更新服务结合实际情况对数据清洗规则进行不断迭代优化，根据业务要求细化清洗颗粒度，降低问题数据误判率，提高数据质量问题的识别率,提升数据治理质量效果，并及时将经过治