数据管控要求规范.docx

《数据管控要求规范.docx》由会员分享，可在线阅读，更多相关《数据管控要求规范.docx（11页珍藏版）》请在优知文库上搜索。

1、1数据管理架构1.1 数据管理平台功能蓝图数据管理就是对交切中心现有的业务支撩系统的数据进行统的数据管理、侦此管控、并I1.通过标准的共享慎式，实现核心数如统一存储，雉护和使用的向固，提升交易中心现有数据的安全存储和高效使用等能力，并更加深入地进行数据挖掘等工作，为中心创造更多的价假。未来的数据管理平台将对中心现有系统的数据进行统一的数据的整合、数据的管拄，并运用数据进行统一的服务管控来提升服务共享的水平,为中心的股务提供全方面的数据支抵“数据管理平台的功能蓝图如图所示： 数据整合域.是对现有业务系统的数班进行采集和清洗转换，并对采集过程中的数据进行质址检测.未确保整合数据的准确性和可靠性.

2、数据管控域，对聚集到数据按照其不同的属性进行分类存饰管控，对数据的质情、数据的安全以及信息的生命同期进行统一的管理.并对数据在使用过程的各种信息进行统计分析， 服务共享域，利用数据忏理平台己有的数据资源，进行自定义的数据服务配置，定制出符合要求的服务，进行相关服务流程的编排，通过数据中心将服务进行发布， 服务忏理域，主要是对提供的服务进行管典!，包括股务应用的管理，服务流程的管理以及服务监控.1.2 数据集成数据整合就是将禹敢于各个业务系统中的数据进行集中化。数据整合阶段主要分为以下三个步骤执行： 数据类型识别根据业务使用侍况分析目前各个系统中的数据实体，其中哪些是主数据，哪些是非主据但需要共

3、享的数据，哪些是私有数据，数据类型欠作为制定同步规则和iff洗规则的用要依据. 数据同步规则确定分析采集的各种数据需要达到的同步频率，从实时、准实时到大、月不等,针对不同的同步频率需求结合卷次同步的数据属未选择同步方式,ET1.（抽取-转化61载）和ESB（企业服务总线）分别适用于不同场景.ET1.本身也有多种具体的技术手段来实现各种情况下的同步，S1.Hoip1.ug,全友对比、时间戳等.在这里，珞根据不同的数据类别和数据使用频度和需求频度等情况，制定出相应的数班I可步的机制,采用实时数据整合和批fit数据整合两种方式进行数据的整合. 数据清洗规则确定在进行数据整合过程中,由于不同系统中可能

4、至更出现的数据，以及数掘本功的缺失和错误等问题.为r避免由于不同系统中相同数据由于编码规则、格提之间的差异,在清洗过程中能要制定统一的数据清洗规则,对数据进行清洗和转换.确保数据管理平台中的数据能能保持一致性.同时，在数据清洗的过程中，海要对采集数据的侦址以及清洗后数据的侦/进行桧测,其中，在数据采过程中，对采集的数据进行整合，确保采集的数据都能满足助僦要求,能能通过正确的清洗和转换：对于转换完成的数据，通过再次的检测，保证转映数据的致性和正确性，从而确保数据的准确行和权威性.13数据管控数据管捽就是对于进行整合后的数据进行相关的管控，使其能够满足交易中心管理对于数据使用的各种需求，1.3 数

5、据生命周期规划数据生命周期规划,就是对数据从在各个应用系统的中产生，热后通过各种采集整合F段聚合到数据管刊!平台,直至呆终通过里立各种主题数据仓库提供各种数据服务的整个过程进行规划，使数据能铁满足各种业务的使用需要，数据生命周期规划,把数据划分为以下3个技，分别保存不同阶段的数据:ADB应用敷捆/1,E自ft1.核心功传为操作型应用提供数据存储和访问提供领域统一、一致的数抠视图.包含MDM主教据管理I、存脩数据管理平台历史数据2.为分析应用提供多维数抠基础数据模S1.应用自身的数据Bi型共享数据模型共享之泵模型.多维分析校型效存存储类型:系型数据库美系蟹数据库关系熨数堀球、多维数树味、成多维数

6、据研季软件本应用雷要的所有细节信息运营共享信息教据管理平台的所有历史数树ADB应用弊,E台M1.支撑的应用实时应用统一视图、准实时/实时的数据访问支件分析型应用数据更W率秒分钟到1天1天-IMi数据存周期3/2个月312个月所有 ADB应用数据库应用数拉:际主要是为交易中心主要的业务支掠系统和部管理系统的应用提供数据存储和访问,在应用数据咋只存储支摔本系统运行的数据资源,以满足本系统的使用要求,应用数据库的数据在进行H常业务处理的过程中，不断的进行更新，以便同实际的业务情况保持T, 数据管理平台应用数据库的数据，经过统一的清洗和转换后，进入数据管理平台进行统一的存储管理,在数据管理平台，将通过

7、建立统一的数据视图，为各种数据服务提供数据，数据管理平台的数据更新根据不同的数据需求和应用系统的实际情况进行区分，通过实时的数据采集和批M数据采集两种方式进行. 数据仓库数据仓府是为了满足某特定的决策支持和联机分析而建立的结构化数据环境.交易中心在进行业务活动和部管理的过程中形成了大量的数图资源，利用数如仓底，对已有的数据费海进行深入的挖掘和联机分析，即可以满足交易中心日常的数掠自询要求：又可充分挖掘数据涵的意义，为中心的各项业务决策提供良好的支持.例如，根据交易中心目前的使用要求，建立交易信息、企业信息、专家信息的主SS数据仓底，为中心的各项活动提供业务支持.1.3.2 元数据管理元数据是关

8、于数据的数据，元数据主要用于在数据仓库里描述数据及其环境，它是在致据仓库建设过程中所产生的心关数据源定义.目标定义,转换规则等相关的关键数据.因此,元数据的管理对于数据仓库仃着重要的意义.在目前的数据管理平台上，珞提供时各数据的实体定义和流程管控管理两方面的元数据进行管理,其中，数据实体督理是对各个数据实体来进行实体定义，对实体之间的关系进行约束，实现对数据管理平台里所有数据实体的置理，对于流程管控管理方面，通过制定规的数据流程制度，严格控制数期的流向以及数据在各流程中的情况，对数据管理平台中的各顼数据流程进行管捽.1.3.3 主数据管理主数据是描述核心业务实体（如招标项目、企业和专家）的一个

9、或多个屈性，主数据管理具有很高的理要性.首先，完善的主数据管理可以使各个业务视角能狭行一致的数据基础，战少数据基弁带来的业务错误和客户投诉,还可以充分发挥各个业务视知数据管理和维护的能力,而不加重业务部门的负担，另外，主数据管理是SoA实旗过程中，关犍业务对象抽恁的重要基础.主数据管理具备以下功能特点： 三:在狙织层面上整合了现有应用系统的主数据信息，进行主数据的集中处理， 共享：上数据作为组织权威的统一、一致的数据为组织各应用系统提供准确的共享数据。 一：实现对于客户、产品和供应商都利用的上数据形式,加速数据输入、检索和分析. 并行管:支持数据的多用户管理,包括双制某些用户添加、更新晚杳看维

10、护I：数据的流程的能力. 集成能力：集成产品信息管理、客户关系管理、客户数据集成以及可对主数据进行分析的其他解决方案.在交易中心的系统中,主要的主数据为招投标项目主数据、企业主数据和夕家4-数据.各个主数据又由若干个相关实体组成。通过统一的主数据管理，可以规数据的录入和使用，（史得数抠的存储的致性使用的规性,以下为各主数据在进行主数据管理前后的情况列龙.主致据主系统（生产系统）MJRXft（使用系统）招标项目项目基本信息网上填报编码系统，交易系统，评标系统，企业底，专家库，电子化资审，诚信平台项目编码编码系统交场系统,评标系统,企业库，专家库，电子化资审，诚信平台正式投标人交步系统评标系统，企

11、业库，专家库，诚信平台定标结果交易系统企业库，I家库.诚信平台中标公示交易系统企业阵，专冢冰，诚信平台专家抽取信息交与系统专家库专家维到信息交易系统专家库专家专家基本信息专家库交易系统,评标系统专家回强他位专家库交易系统，评标系统人员指奴库专家库交易系统,评标系统企业企业基本信息企业库交易系统,电子化资申.诚信平台企业项目信息企业冰交物系统，电了化资市,诚信平台企业人员信息企业库交切系统,电子化资审.诚信平台表1应用系或安台防主数据情况*从I1.系统（使用泰俄）招标项目项目基本信息交易系统评标系统，企业保，专家库项目编码交易系统评标系统.企业库专家库正式投标人交易系统评标系统，企业冰.专家昨定

12、标结果交易系统企业库，专家库中标公示交易系统企业库,专家库专家抽取信息交易系统专家浜专家签到信息交易系统专家用专家专家基本信息专家库交易系统,评标系统专家回避电位专家库交易系统,评标系统人员指纹庠专家亦交易系统,评标系统企业企业基本信息企业库交易系统企业项目信息企业库交易系统企业人员信息企业体交易系统表2应用系统整合后主数据情况通过对手系统的整合和主数据管理后，对于数据的使用和管理都更为明晰，使得系统间的数据交互更加清版,系统间的横合程度大为降低系统的效率大为提高.134数据质量管理数据质量的好坏是数据应用的基础.因此,在数据管理平台中,对于数据鲂fit的管理也是数据管理的重点,对于数据质量的

13、管理,主要分为对数据使用的流程进行管珅，以保证数据的使用符合规的流程，保证了数据使用的规划：对数据使用的应用服务进行管理，以便对于各项数据服务的情况有一个全面细致的了解；以后，对于数据服务的信总进行监测，对于异常情况进行预警.并输出服务信息报表，以便对服务情况迸行分析.1.4服务共享数据共享的基本思路是将现存系统中点时点的网状结构改造为基于数据总级的模式,通过运用数据总线的模式.通过统一规的数据共享机制使得对于数据管理的可以大大降低后续对数据维护的成本。下表为独立接口和总线模式的各种效率对比.比较项独立接口数据总线多n(n-1.)少(n)耦合程度X松开发复杂性复杂，手工码倚单曾建与!护制乱.集

14、中管理犷展性舄犷展实黛周期长通过在交易中心的系统调研,我们整理出现有的系统的数据接口以及系统接口的数据交换情况.并以此进行数据总线的改造，形成基于总线的数据共享模式，以期达到服务共享的目的.11O-整合前的系统之间的数据交互关素复杂，且企业陈等系统同交易系统形成个大的系统.不便于数据服务的共享.运用数据总线的思想,我们构建f基于总线的数据服务形式情况如下图所示。如图所示,通过数据总设的形式.我们整合了所仃系统的数据并通过数据总找的形式.提佻统一的数据服务,使得数据的管理和使用能够有一个统一的机制.以使能够更好的达到服务共享的目的。在总观上实现数姒服务共享后.为了使用户更好的了解数据服务的应用情况，缩要在为系统上.搭建数据服务的维护管理功能.用户可透过图形化的方式实现对数据服务的监捽、统计和分析.服务治刊!功能主要用来对众多的服务进行陆理和控制包括此处的数据服务，也包括今后将实现的业务服务）,为服务消费者、服务供应商、SoA运营人员提供方便的服务治理工具。对于服务消费者,通过该模块可以更好的查找到需要的服务及更准确的使用服务，对于阻务供应商,通过该模块可以方便的进行服务的注册和发布，解决目前ESB对服务的注册和发布过程红杂技术门檄高的何超，心.此外.通过一系列的图形化的监控手段,使得监控管理人於能够消啧的鱼行目前的服务情况,