SZSD16 0002—2024公共数据质量评价规范.docx

《SZSD16 0002—2024公共数据质量评价规范.docx》由会员分享，可在线阅读，更多相关《SZSD16 0002—2024公共数据质量评价规范.docx（18页珍藏版）》请在优知文库上搜索。

1、ICSCCSSZSD数字山东工程标准SZSD1600022024公共数据质量评价规范Commondataqualityevaluationspecification2024-06-01实施2024-04-15发布滨州市大数据局发布前言II引言HII范围42燃范性引用文件43术谙和定义44评价指标44.1指标框架542指标说明55评价方法65.1 定性评价65.2 定JS评价65.3 定性定量相结合的评价66评价流程66.1 确定评价方法662选择评价指标66.3 确定校缝规则664实施数据质限评估76.5 评价结果输出77公共数据质量结果应用77.1 既破专报编制77.2 质量评价可视化77.

2、3 数据治理7附录R（资料性质量评价方法选取9A. 1定性评价9A.2定量评价9A.3定性评价和定量评价相结合10附录B资料性数据质量校验11B. I校核技术方法118.2 校核范围118.3 公共数据质量校核规则及内容H本文件按照GB/T1.1-2020M标准化工作导则第1部分：标准化文件的结构和起党规则8的规定起草.请注瓯本文件的某些内容可能涉及专利.本文件的发布机构不承担识别专利的责任.本文件由滨州市大数据局提出、归11并组织实施.本文件起草单位：滨州市智魅城市指挥运营中心。本文件主要起草人：王耀翁、刘羊麟、肖俊辉、吴宗月、黄胱杰、曾钊、吕明明.为深入货彻落实数字山东发展规划，扎实推进数

3、字山东标准提升工程,充分发挥标准规范在数字山东建设中的支掠作用,制定本文件.本文将燃范公共数据质量评价工作促进公共数据的质盘提升.更好发挥数据在支押经济运行、社会治理等领域的作用，公共数据质量评价规范1范固本文件规定了公共数据质量评价的术语和定义、评价指标、评价方法、评价流程和评价结果运用.本文件适用于公共数据管理过程中的质t评价.2规范性引用文件下列文件中的内容通过文中的燃范性引用而构成本文件必不可少的条款.其中.注日期的引用文件.仅该口期对应的版本适用于本文件：不注n期的引用文件，其最新版本（包括所有的施改单）适用于木文件.GBT3J079.3-2017暴于云计算的电子政务公共平台服务规范

4、笫3部分：数据管理GB/T35295信息技术大数据术语GB/T36073-2018数据管理能力成魁度评估模?9GB/T36314-2018信息技术数据境呆评价指标（；B/T36-168-201系统评价指标体系3术语和定义GB/T36344-2018、GB/T35295中界定的以及下列术语和定义适用于本文件.公共数据PUtoIiCdata公共管理和服务机构在依法履行公共管理职责、提供公共服务过程中,收集和产生的各类数据.本规范所称公共管埋和服务机构,是指国家机关,法律法规授权的具有管理公共事务职能的组织,具有公共服务职能的企业”业单位,人民团体簪。公共数据质量PublicdataquaIity在

5、指定条件下使用时,公共数据的特性满足明确的和除含的要求的程度.公共数据凑量校核PublicdataquaIityverification对公共数据质量进行校对、核查的过程.公共数据质量评价PubIicdataqua!ityevaluation以原始数据为法础，充分考虑数据之间的相关性、匹配性、逻软性，采用科学方法对数据的真实性、准确性进行判断和分析.对可能存在的数据质Ht问题进行追溯和核实,对公共数据进行确认的过程.4. 1指标框架公共数据质麻评价指标分为规范性、完整性准确性、一致性、及时性和唯一性六个维度.指标也架图见图】。图1公共数据质量评价指标框架图4.2指标说明4.2.1 规场性规范性

6、指公共数据符合数据标准、数据模型、业务规则等的程哎，主要规则包括：数据标准：数据符合数据标准的度埴，评价数据版量时第要收集数据在命名、创建、定义、史新和归档时遵循的标准,包括国际标准、国家标准.行业标准、地方标准或相关规范等：-元数据：数据符合元数据定义的度!ft.元数据标注、描述或刻任其他数据、以使检索、或使用信息更容易；安全规范：安全规范是安全和隐私方面的规则，包括数据权限管理数据脱敏处理等。4.2.2 完整性完整性指按照数据规则要求，数据元素被赋予数值的程度，主要规则包括；空伯校核：对必埴字段（应用必埴、业务必填或者该字段是主键），依杳填充率是否为100%.数据是否完整：记录数校核:通过

7、当前稽核表中满足过活条件的记录数范阚是否满足预先设定的规则,来验证数据的完整性：一一参照校核-双向校核:验证稽核数据包含在参照数据、及参照数据包含在稽核数据中的程位，检杳两张表中待检交的数据在两张衣中都存在的程度。4.2.3 准确性准确性指数据准确衣示其所描述的应实实体实际对象/1实值的程度，主要规则包括；一俄域校核:校裟数据的值是否在预设的莅阳内，数据内容是否是预期数据,例如记录的人的生存状态与其其实的生存状态是否一致.格式校核:对字段假的格式进行校脸包括数据类型、数据范用、数据长度、精度等是否满足预期要求，如性别不能出现男/女之外的内容，参照性校核-单向校核:稽核数据在参照数据中的包含程度

8、，度瓜字段是否正确，记录、文件或数据集是否包含无效的数据.4.2.4 一致性一致性指数据与其他特定上下文中使用的数据无矛西的程度，主要规则为对照源数据际我和目标数据库表，检查在数据迁移过程中是否存在数据丢失。4.2.5 及时性及时性指数据的加工是否满足时效性要求,主要规则为自定义校验是用户自由定义的稽核规则.更新及时性指牵引数据及时更新及数据按照规定展期落地。4.2.6 2.6唯T唯一性：特定字附、记录、文件或数据集唯一性的度量,主要规则为校验某一或多个稽核列数据是否有Hi亚数据，对不能电亚的数据进行唯一性检查，5评价方法1.1 定性评价指运用分析和绘合、比较与分类、归纳和潮缘等选辑分析的方法

9、，对评价所获得的公共数据进行思维加工，评价主体依据专业领域知识和个人羟验理解，按照一定的评价标准对公共数据质疑进行估计和推断.对公共数据的评价维度包括：数捌的规范性.数据的完整性、数据的准确性、数据的一致性、数据的及时性、数据的唯一性.52定量评价指通过采用数据和统计分析的方法,对公共数据进行量化的评价。通过数学或其他科学手段对公共数据做出的判断和分析评估.在专业领域承担管理公共事务职能的事业总位、企业更加充要，数据更加直接、专业、解活、真实、完整,推动此类组织的数据资源要素化对于公共数据要素化就非常重要和关键，1.3 定性定量相结合的评价定性评价和定量评价相结合的评价方法是科学评价公共数据的

10、名耍方式.既强调了数据的客观性，又考虑/数据的复杂性.在定性评价方法的基础上引入数学手段.定性何起通过人工设定的标准进行评分并做出吊化处理，评分的过程都是针对M光建立的指标体系，6评价流程6. 1确定评价方法根据评价时象、评价目的等的不同,确定合适的评价方法.评价方法选取方式可参见附录A.6.1 选择评价指标根据评价目的，参照第I章的要求，对于数据进行全维度的评价.63摘定校验规则根据选定的评价指标，选择合适的数据历Ift校验规Wl.痂量评价维度与质垃校核规则对应见我1.具体校脸方法可参照附录B.3.表1质量评价维度与质量校验规则对应表规范性花林校粮波动性校校关系校校完整性空俄校核记兼数校核参

11、照校桢-双向校桢准确性他域校核格式皎核参照校核-单向依核-JStt致性校校及时性自定义校核（可以自定义明”衲核燃划，根1具怵的校验内容将炊则类型设“为充急性.一致性，准陶性.炫熊性、唯一性与及时性）唯,性复校一6.4实施数据质超评估如果选择定性评价.对公共数据质加进行定性分析,评价一下公共数据的燃范性、完整性、准确性、致性、及时性和哦一性，如果选择定量评价或定性和定量相结合的评价则对数据质琏的指标进行具体的计算、评分，根据数据指标的得分情况计算获取数据的整体质量:情况，并将数据质琏情况根据数据使用侦业要求进行评级，6.5 评价结果输出数据质此评价结果根据选择的评价方法有所不同，如果选持定性评价

12、，数据质计评价结果输出为定级结果，如果选择定量评价，数据质房评价结果输出为量化结果，如果选择定性定量相结合的评价,数据质St评价结果为ffl：化和定级相结合的结果.符数据质Ri刊介得到的结果以报告或者Wob页面的方式提供，直观反映数据的侦量情况。7公共数据质量结果应用7. I质量专报编制根据评价结果编制分析专报.内容宜包括但不限于评估对象及先围、评估指标、计分规则、评估检核方法、评估实施过程、质量问题。72质量评价可视化根据公共数据质麻评价结果，内杵不限于公共数据评估量化得分、公共数据质双定级，将结果制定可视化大屏或者可视化中屏，在大屏或者中屏1：展示。公共数据从归集、治理、共享、开放几方面来

13、讲述公共数据质量的现状与成奴，了解部门、公众的需求情况与高频诉求，进而将归集数据再共享，统一调更利用，限务于各个方面，推动政府部门之间游层级、跨区域、聆系统、跻行业、跨部门的数据流通零边界,让数据多跑旭企业群众少跑班.7.3数据治理市级人民政府大数据工作主管部门负货组织提出数据治理要求,组织有关单位开展数据治理，并通过市级节点进行数据质量核查等.承担公共服务职能的企事业单位应当按照统一要求.开展数据源头治理，提升数据完整性、准确性，确保数据质玳，附录A（资料性）质量评价方法选取Al定性评价主要是用于满足数据用户的制求，采用数据顷量调杏的方式获取对数据顺量的业务规期要求，从业务应用上对数据痂信进

14、行评价.A.1.1明确目标明确评价对象及其葩阳，确定公共数据颇IS评价的目标.Al.2选取评价指标依据具体业务霰求，选取适当的评价指标，包括数据的规范性、完整性、准确性、一致性、及时性、唯一性.A1.3确定评价方法根据选取的指标，确定相应的评价方法，如模糊综合评价法、灰色关联度评价法、主成分分析法等.A.1.4收集数据通过调查、测试等手段，收集相关数据.A15数据处理与分析对收集到的数据进行处埋和分析，如数据清洗、致批:探查等，以排除异常位、决失伯等.A.1.6得出结论根据处埋和分析的结果，得出数据鲂信评价的结论，并掂写报告.A2定量评价定量是一种客观评价方法，但一般缺少对数据业分应用判断.仅

15、是依赖于应用程序的规则或约束判断.A2.1明确评价对敏以数据持有者视角的公共数据范用,包括党政机关、企事业单位.此类企事业单位主要是依据法律法规规章授权的具有管理公共事务职能的组织.A.2.2选取评价指标依据具体业务需求,选取适当的评价指标，包括数据的规范性、完整性、准确性、一致性、及时性、睢一性。根据选取的指标.确定相应的评价方法,如模糊综合评价法、灰色关联境评价法、主成分分析法等。A.2.4收集数据通过调杳、测试等手段，收集相关数据，A2.5数据处理与分析对收集到的数据进行处理和分析,如数据清洗、数据预处理等，以排除异常值、缺失值等.A26得出结论根据处理和分析的结果.得出数据质盘评价的结论.并撰写报告.A.3定性评价和定量评价相结合在数据质i的多维度评价上,定性定址相结合的评价是目前较为常见的评估方法是对前述两种单一评价方法的有益补充和完善，也是本文件中