数据治理方案_数据质量管理.docx

《数据治理方案_数据质量管理.docx》由会员分享，可在线阅读，更多相关《数据治理方案_数据质量管理.docx（89页珍藏版）》请在优知文库上搜索。

1、数据治理解决方案数据质量管理1 .术语、定义和缩略语12 .总体说明32.1. 概述32.2. 建设目标32.3. 系统架构123.1. 功能架构423.2. .技术架构73 .业务问应83.1. 数据侦疑向SS域83.1.1. 信息问即域83.1.2. 技术问时域93.1.3. 流程问SS域Il3.1.4. 管理问SS域U4 .数据质量获取层124.1. 数据采集范围124.1.1. 接口信息采集134.1.2. 施础编码采集134.1.3. 处理过程信息采集144.1.4. 指标信息采集144.2. 数据采集功能M5,数据质录存储层155.1. 数据质量存储内容155.1.1. 数据质技规

2、则库155.1.2. 数据质Ift信息座165.1.3. 数据项用知识库185.2. 数据质量存储方式196.数据质量功能层196.1. 基础功能206.1.1. 规则配置管理206.1.2. 数据精度需控286.1.3. 数据质St问跑处理426.1.4. 数据历值评估466.1.5. 数据题Ift报告586.1.6. 数据麻堰对外眼务636.1.7. 数据防St两级联动646.2. 接口数据内容检查796.2.1. 内容检查功能796.2.2. 内容检查流程826.2.3. 内容检查方法837,数据质量管理机制与流程847.1. 数据侦吊管理机制817.1.1. 加税机构与职员847.1.

3、2. 角色与职责847.2. 数据质量管理流程857.2.1. 经营分析系统需求变更控制流程857.2.2. 数据质量告警处理灌程877.2.3. 数据质fit问时处理流程887.2.4. 数据质KUH告管理流程908.系统技术要求918.1. 数据采集技术要求918.2. 数据存砧要求918.3. 功能组件与对外交互要求918.4. 监控检修技术要求928.5. 控制台和对外果务接口技术要求928.6. 数据质量监控其它实施要求92*,.I刖三本标准的制订是为r构建企业数据质员管控体系，以及时发现、定位和解决企业的各类数据质量问题，确保数据质量的稳定可兼。1 .术语、定义和缩略语下列术语、定

4、义适用于本标准:字母名词S数据采集点次虚羟营分析系统数据处理环节的、拨取每个环节运行状态的实体，该实体Ur以是程序实体也可以是任务实体S数据质豉报告数据防Ift报告是对数据质量H常监控以及防fit评估等过程累积的各种估息进行汇总、械理、统计和分析,形成的统计报告S数据管理域数据管理域与信息服务域、经营服务域共同构成经音分析系统:域功能架构.数据管埋域包含元数据管理、数据质量管理、安全管理和运缎管理四部分.S数据质出监控自动获取经营分析系统各环节的数据质地信息,结合元数据庠中的有关采集规则和检查规则,对数据质批情况进行诊断.并及时向数据旗被监控人员报告S数据质*采案代理(Agent)是指完成数据

5、质最数据采集功能的功能节点实体，该实体与采集附务端(Server)相对应S数据质段管理子系统数据质hi管理子系统M于经营分析系统数据管理域中的一个子系统，共功能是对羟首分析系统数据质进行监控、评估和数据质Sl问题处理S数据检依规则库数据质Jft规则库是对数据质量管理活动所用到的各种判断及校验规则进行归类和存放的存储结构，存儡的内容包括采集规则、粉控规则、告警规则和审计规则等S数据历代信息库数据质盘管理子系统存储层上的存储结构.用于存储数据质限佶息.采集程序采集的数据颂量信息、质信评估信息、问应解决方案和问题处理流程信恩等S数据质肽知识库数据质M管理子系统存储层上的存储结构,用于存放数据质尼阿时

6、相关的的识别方法(规则)、向Sfi描述信息及解决方案字母名词S数据质盘评估数据麻量评估是由数据质量管理人员根据需要发起，依据评估指标和评估方法，对源接11基础数据、基础编码或经营分析系统指标进行评价，得到评估结果并作为系统数据旗M改进的参考和依据的过程Y元数据元数据是描述数据间关系的数据.经营分析系统中元数据泛指描述数据概念（COnCePis）、数据间关系（Roles）、数据处理规则Rules）的数据，其中,领域语义（Semantics）和如识（Knowledge）也M于元数据的范畴.Z组件组件是实现特定功能的程序模块下列缩略陪适用于本标准:缩耳英文据述中文描述BOSSBusinessOper

7、ationSupportSystem业务运营支挂系统BASSBusinessAnalyseSupportSystem经营分析系统BOMCBusinessOperationManagementCenter业务支找网管理系统CSSCascadingStyleSlieet层叠样式表.是一组格式设置现则,用于控制Web页面的外观CRMCustomerRelationshipManagement客户关系管理DSMPDataSerViCCManagcnntPlatform数据业务管理平台ET1.ExtractionTransformation1.oading抽取、转换和加敦FAQFrequentlyAsk

8、edQuestions常见时的好答GSMGlobalSystemforMobileconiniunivationGSM移动通信系统，GSM是目解使用最广的格动通信系统KPlKeyPerformanceIndiCator关键绩效指标IPInternetProtocol网络之间互连的协议TDTDSCDMA时分同步码分多址接入,一种无战通信的技术标准第耳英文据述中文描述MMSMUIIiIned山MessageService多媒体信息服务VPMNVirtualPrivateMobileNetwork康拟专用移动通佰网O1.APOn-lineAnalysisProcess在线分析处理2 .总体说明数据质

9、业管理子系统是珞首分析系统数据管理域的IR要祖成部分。木堂对该子系统的基本概述部分,具体包括：数据而Ift子系统概述、建设目标及系统架构.2.1. 概述经营分析系统数据质型管理体系包括Xj数据源接口、数据实体、处理过程、数据应用和业务指标等相关内容的管控机制和处理流程,也包括对数据质St管控处理的信息总结和知识应用等辅助内容。数据质管理子系统是经营分析系统数据顷试管理体系的技术支撑平台。本规范用于指导企业数据旗m管理子系统建设.本现莅规定了经营分析系统数据质量管理的范用和要求，说明了数据鲂玳管理子系统的体系结构，规定了数据侦局管理子系统的基础功旎和处理流程.明确r在基础功能之上的各种应用的要求

10、.本规范提出构建用数据质收监控、数据城量问时处理、规则配置管理、数据鲂量评估、图形化指标运维、数据项M报告、数据质量知识库和数据质愤对外眼务等功能构成的数据质/管理子系统。本期规范新增rKPl急报快报、指标波动闺值预测、图形化指标运维.接口数据内容检含和中断式监控预警等应用专ss,以期解决实际业务问璃，增强数据质m笆理子系统对业务发展的支撑能力，同时，应用专题的引入使系统的使用对象范围包含业务人员，增加了系统的使用价值.2.2. 建设目标现他数据质证管理子系统的建设目标具体包括： 扩大系统使用时象，让业务人员等能筋使用数据顽吊系统，本期通过KPI指标急报快报、指标图形化运维等应用让经计分析系统

11、用户都UJ以使用数据旗玳系统； 不断优化现有数据质信系统功能.提供更加精细化的管埋手段支撑.本期通过接口3数据内容检测,指标波动网值预测等应用,不阍完善数据质摄系统的功能. 提裔系统易用性，不断完善用户体蛤，本期通过图形化指标运维的方式，让整个监捽除了以往的列表方式.能够通过图形化的形式直观的展现. 半宫系统时外服务能力,把腰以往单一工胞形式交互.本期通过中断式监控预警实现实时的数据质吊对外数据限务，通过KPI急报快报、图形化指标运M嵌入经首分析门户的形式,提供对外Wcb应用支持。2.3. 系统架构本章从功能结构和技术结构两方面说明了数据质量管理子系统的体系结构，在功能结构一节简要说明了各个层

12、次的功能，在技术结构-节说明了各个组件的实现方式以及数据侦砥管理子系统与经营分析系统其它模块的关系。2.3.1. 功能架构数据质hi管理了臻统的功能结构包括茯取层、存储层、功能层和应用层四部分，如图2-1所示；图2-1数据质盘管理子系统功能结构图下面筒要描述各层要求实现的功能：获取层狭取层主要实现数据侦量数据的采集功能.数据原碳采集模块负诙采集所钢的源系统和经营分析系统监控数据，它是数据质以管理功能和应用的基础。采集的数据范围包括接1.I信息、基础爆眄信息、经营分析系统数据处理过程信息和业务指标数据等.存储层存储层主要包括三个部分： 数据质量规则库：存谛数据质出于系统的相关规则信息,包括数据质

13、Ift采集规则、监控规则、告警规则及两级数据质疑联动审计规则等； 数据质俄信息库：存储数据咙量所有的告警信息、的厘评估信息和问即处理流程伯恩等： 数据顺量知识辉：存佬数据侦破监控知识、数据质E评估知识和数据质质间璃及其处理方法知识,包括接口问起处理知识、EI1.问故处理知识、仓库处理过程何虺处理知识和指标异常及处理知识等： 监控数据：包括指标监控、按口而控、作业监控等实时监控的历史信息，通过历史伯恩进行数据分析相关功能. 功能层功能层包含了数据质量管理子系统的域础功能，它为数据咙埴管理的前络应用提供功能支掠，主要包括以下功能： 规则配置管理：规则配置管理实现域于动态规则配置的监控侑核动能，建立

14、数据质盘监控规则库,实现监控稽核规则的可配置可管理.规则配置管理包括规则设置、规则维护、规则两度及规则优化等功能： 数据质/整控：数据侦量监控是根据配置的规则或驾法，对来架的数据进行数据政所监控,对发现的数据质量异常情况进行告警和拓扑呈现的过程，包括源接口关键数据稽核、实体数据检衣、处理过程桧食、关键指标检杳、分层分级告警管理和拓扑呈现等功能：数据质质问SS处理：数据质此问时处理是按照问邈处理流程对系统监控所发现的问题以及手工提交的问题进行处理的过程，包括问题生.成、问题分析、问麹处理（包括流转）和问时总结： 数据质价评估：数据原量评估包括源接I基础数据质出评估、基础堆码评估和经并分析系统指标

15、关岷性分析。源接口堪础数据旗状评估是根据评估指标和评估方法.财源接U基础数据的数据质量进行评价：基础编码评估是对经营分析系统的基础编码的一致性和存效性等进行评估：经营分析系统指标关联性分析是通过对指标进行关联性检杳发现潜在的数据质同照，相关到评估结果以作为系统质收改进的参考和依据： 数据质量报告：数据顺显报告是对数据历显管理各环节累积的各种（S息进行汇总、梳理、统计和分析，形成统计报告的过程，基本功能主要包括：报告生成、报告发布、报告查闻和报告归档： 数据帧两级联动：数据质破两级联动实现企业和级经营分析系统数据质业信思的两娘联动，打通从企业到一依经营分析系统端到端的数据质地管理桂路，支持一经接口数据及时性和准