企业数据质量管理方案.docx

《企业数据质量管理方案.docx》由会员分享，可在线阅读，更多相关《企业数据质量管理方案.docx（32页珍藏版）》请在优知文库上搜索。

1、企业数据质量管理方案XXX科技股份有限公司20XX年XX月XX日-数据质盘管理框架3二数据质量与各领域的关系4三数据质量管三jfi版S四质管理流程7五数据质量管理制度115.1 数据质量管理制度115.2 数据质量考核方法12六数据质量检验方案136.1 明确数据质=检核粒国146.1.1 应用范圉146.1.2 关悚数据范围146.1.3 系统范围146.1.4 数据字段范围156.2 定义数据质*管理维度156.3 制定数据质量检测规则176.4 数据质量检测规则模板186.5 数据质量检验规则样例196.5.1 数据质量检验范围196.5.2 数据质量检验规则20七数据质量提升方案217

2、.1 修正存量问题数据227.1.1 补充缺失的数据227.1.2 修正不准确的数据227.1.3 改造现有系统237.1.4 新增系统校验247.1.5 修正叙校殴247.1.6 改进设计247.2 完善数据标准257.3 规箱人员操作257.3.1 补充操作规范2S7.3.2 加强规范执行267.4 完善业务流程277.4.1 补砂务M三287.4.2 改皿务婕287.5 数据质公提升方案样例28A数据质餐管理平台方案318.1 数据质意度*规则管理子模块328.2 数据质量检核监控子模块328.3 数据质木问题处理子模块33数据质量管理框架Iit*数据质属管理制度及规范，与数据质量管理组

3、织及角色和数据质量管理流程关系说明： 数据质员管理组织必须遵守数据质量管理制度及规范,同时清理提升、持续监控与优化、主动保证三个流程必须以之为基准开展工作,以保证数据质量:的实现。 在数据侦量管理的日常管理活动以及相关项目中,积累的各类经验将有助于制度与规范的完善，增强管理保障的力度，进而更好地保证数据的总体质显。数据质建管理组纲及角色与数据质量管理流程关系说明 落实数据质量管理组织职责，明确岗位责任，推进数据质量清理提升、数据质量持续监控与优化、数据质量主动保证流程执行. 数据质量清理提升、数据历量持续监控与优化、数据质量主动保证等流程改进优化，也会触发数据质量管理组织职员的合理调整。数据炭

4、量管理流程之间关系说明 数据质量清理提升、持续监控与优化流程中都涉及到对数据的修改、清洗以解决质量问题，因此可以相互分享知识和经验。持续监控有助于发现清理提升的潜在需求. 在清理提升与持续监控流程中都会发现数据质量问题，对于影响重大或着发生频繁的数据质量问题，针对这些问题需要采取主动保证措施.以降低未来对数据质量的负面影响。数据质量管理流程与管理支撑工具关系说明 数据质量清理提升、数据历量持续监控与优化、数据质量主动保证等管理流程在执行过程中，将发现的数据质量问题、数据明量问题解决经验记录现在数据质量管理支界工具中，为后续的数据质证治理提供依据. 数据质量管理支挣工具，通过数据质量检查报告，分

5、析数据质址问题热点区域，为数据质量管理流程执行提供重要依据。二数据质量与各领域的关系从下图中可以看出，数据质量是数据管理活动的组成之一，与数据战略、数据机制建设与数据应用相辅相成。数据标准工作的开展需要契合企业的数据战略，配食建立数据质量的相关管理机制，以数据质量为突破口进行全行的数据治理工作，提升全行的数据意识，为日后数据应用与服务提供支持，促进数据管理对业务和科技的贡献。1M2E*e-R数据质玳管理与各领域关系说明如下: 与数据改略与规划关系I为全行数据痂量管理的建设提供全行层面统的数据管理战略,对数据价值、量化分析应用、决策支持、风险识别等方面进行实际的应用。 与数据管理组织与职责关系：

6、数据管理组织与职费定义数据版量管理角色体系、组织架构及职贡划分,为数据痂量管理工作的开展提供组织基础。 与数据管理制度关系I数据管理制度在规范了数据质量管理领域的目标、遵循的行动准则、完成的明确任务、实际的工作方式、采取的一般步骤和具体措施。 与数据标准管理关系：数据标准管理为数据质量管理提供技术标准、业务标准，作为数据质量度量规则的制定依据，有助于数据质量的提升；同时，在数据质量提升的管理过程中由于业务流程优化或信息项变更而提出数据标准完善或变更需求。 与元数据管理关系：元数据管理确保企业内部使用统一定义的元数据进行沟通及解择业务问题，消除歧义，保证企业内信息的i致性，为数据质地的管理和全行

7、数据质量的提升提供技术支撵，实现各个系统间的无缝集成，促进知识和经验的共享；数据质量度量规则的变更及新增由元数据管理统一维护和支持。 与数据架构与模型管理关系：数据架构与模型管理为数据质故管理提供全行一致的企业级数据模里信息，对全行数据数据分布及流向有整体的掌控，协助各系统数据质域的提升。 与数据应用与服务关系：数据应用与服务为数据质品管理输入发现的数据房量问烟，并对已发现的数据质地问返进行分析和提升。三数据质量管理组织从行业的普遍实践经验来看，仅有业务人员负责数据质量，会造成跨业务的数据质量无人负货，或是各专业质量管理方法出现不一致的问题：仅有数据管理部门负货数据质量,将无法保证质fit管理

8、规范的.真正落地:而如果没有高U领导、委员会的支持，数据质量管理工作聘得不到全视，进而无法保证改进数据质量所需的各种资源支持。因此数据质量的提升决不能仅仅依能一个数据管理部门、或是专业生产部门就能完成，而必须依托丁企业级数据管理组织贡任体系.基于以上的考虑，本部分将遵从整体的数据治理组织框架设计，形成裔层领导关注与协调、总行管理部门牵头、业务与技术线的数据加任人共同参与的数据质室管理组织货任机制。如下图所示：决策层3UUMMRMWR岗位职责数据管理委员会 是全行数据质证工作的最高决策机构，负费数据啦Ilt管理更大事项的协调与决策： 审批数据放量管理办法、流程和规范； 定期听取对数据质量管理工作

9、的汇报 协调理大争议事项岗位职责数据质量:管理专职部门 是数据质量工作的总体协调与管理部门，负员组织、推动数据质量的相关工作，具体工作由数据管理团队承担： 收集数据质量问题 针对发现的问即，牵头域导分析数据质6问四发生原因及影响 制定全行数据质量监控核检方案 收集与汇总各部门制定的数据质量检连规划 确定数据政城何超的货任人 编写数据质量评估报告 定期向决策层汇报重大事项管理班91层岗位职责总行各业务部门 协助配合数据质量管理人员，将数据质量管理规范推广、落实到本业务线范寓 负货对数据质St相关的业务问题进行澄清和汇总 他据本业务部门业务现状，提交数据质同检杳规则总行科技部门执行或监控H常稽核工

10、作，并将稽核结果提交给相关部门将数据质后检杳规则转化为技术实现执行层分行配合总行业务部门与科技部门的数据质G相关工作四数据质量管理流程数据质量管理流程的设计原则为:,强化日常的数据质量监控与问题评估工作.A实现事后处理、事中监控、事前颈防的全面数据质量管理。关注数据管理案例与经验的收集与管理.基于上述原则，设计数据侦员管理流程，主要包括数据质量清理提升、数据质量持续健康与优化、数据质量主动保证等三个主流程。考虑到三个主流程具有相同的流程子环节，为避免对相同流程子环节进行重笈描述，数据J贞曼管理一级、二级流程以数据质量管理标准框架的形式对进行组织。MMMaascx基于上述流程结构，数据质量清理提

11、升流程、数据质量持续监控与优化流程、数据质星:主动保证流程的流程如下：A数据质量清理提升流程rw1QDO1.2Mim三DG1.3MIIIftiMVDGI4MIIMdtOOI3MMiMfe*-*OTWHMM1.0091nC*MHMH*.OOIDWjy*里IXM11ttCMVWfViUttnotuz*rc，&Ot220times力WMtrDli1.as“x4n*IDOSemU4WAI0_COI43f”DCOA4AeBMA*OKfiBKMtifUe00,44*MIORKg4.7*I.W*X，数据质，持续监控与优化流程DGJMMt-OG1.3MMMU1DGt3MUMHHtDGi4MUtMdftOO1S

12、fltSMWfeOA2IDOl4CwlICkMMltwnlKttDIXI物纷9*I_吟还_1，1X5*9I。似X竹鹤.CKm/一C*Vft&4KK”0健Dl2赛2怆年*tKf一DC4.。取JVAIsIDOi22gAe&*hOQAAAI，：%*mI1DOItJCf*tC*逐ta9exaI.“二；：3*It4I。，*!u力*r*itCX414.FMJISJEftfiHEIUi数据质量管理潦程三级潦程采用泳道图的形式，对数据治理委员会、数据管理部门、数据主货部门、数据录入部门、数据使用部门以及系统开发维护部门蓼与的数据质量管理三级潦程节点进行说明。以下以全点的数据质量检隹规则制定为例说明三级具体的流

13、程描述形式：其潦程描述如下：活动描述参与者相关信息责源发起收集负出领域数据物收检杳规则通知谷业务部门（包括数据录入部门、数据使用部门）根据业务处埋规则及业务数据要求，收集某数据续域的数据质量检有规则.例如客户敛据主责部门通知客户数据领域的相关部门收集客户怕息的数据质旗检伤规则数据主责部门工作通知单/通知函提出数据领域数据质量检查规则各业务部门根据业务规则及数据录入与使数据主货部门数据录入部门*数据临收检杳规则Oi活动描述与者相关信息费激用的经验,提出数据质录检杳规则数据使用部门汇总与验证负费领域数据质at检查规则 汇总各部门提交的数据质量检查规则 5金证各部门提交数据质鬓检查规则.确保各部门质业规则在业务层面的统一数据主货部门数据质录检杳规则汇总和统一数据质量检查规则汇总和统一各数据领域的数据质量检测规则,确保跨领域的数据脑城检查规则统一数据治理办公室数据旗联检杳规则转化数据桢吊检管规则将数据质量检测规则转换为技术实现系统开发维护部11数据质量检查规则关联数据质It检告规则与元数据将数据质疑检查规则与元数据进