数据仓库处理实时数据.docx

《数据仓库处理实时数据.docx》由会员分享，可在线阅读，更多相关《数据仓库处理实时数据.docx（13页珍藏版）》请在优知文库上搜索。

1、数据仓库处理实时数据近年来，我国大中型企业也逐步认识到利用数据仓库技术的重要性，并已开始建立自己的数据仓库系统，如中国移动、中国电信、中国联通、上海证券交易所与中国石油等。这些数据仓库系统已经开始在这些企业运营过程中发挥出显著的作用。比如,从2001年起，中国移动开始在全国范围内建设数据仓库系统，目前己建成数千TB级的分级式数据仓库，有数万用户在使用，年访问量达数千万人次。仅一项“重入网分析”能够节约成本数亿元。但是，随着市场经济步伐的加快与竞争的日趋猛烈，传统的数据仓库技术已不能很好地满足企业进展与竞争的需要。传统数据仓库仅为企业高层决策者提供战略决策(StrategiCdeCiSion),

2、服务于宏观决策与长远规划，如市场细分、产品管理等。然而，企业越来越希望数据仓库在支持战略决策的同时，也能够为市场一线人员提供实时的战术决策(tacticaldecision)服务，如实时营销、个性化服务等。这种既服务于战略决策又服务于战术决策的数据仓库称之为实时主动数据仓库(real-timeactivedatawarehouse,RTADW)。根据Gartner的研究报告，RTADW已成为数据仓库进展的必定选择。然而，当前对RTADW的研究尚不成熟，许多关键技术急需进行深入研究，应用也仅是在部分企业尝试使用。自2002年起,北京大学数据库研究室与中国移动集团公司在数据仓库的研究与建设方面开始

3、了深入而密切的合作，在数据仓库与数据挖掘技术的研究开发与应用推广方面展开了大量卓有成效的工作，并于2006年5月在北京大学联合成立了“移动通信数据仓库联合实验室”。以移动通信领域为背景，在北京大学一惠普中国实验室联合项目的支持下，目前我们正在开展面向大规模海量实时主动数据仓库的研究工作，在理论研究与系统开发方面已经取得了丰富的成果。本文将重点介绍实时主动数据仓库的概念、特点、需要研究的问题与一些典型的应用。1实时主动数据仓库1.1 实时主动数据仓库的概念HaiSten提出了实时主动数据仓库的概念：RTADW是一个关系型环境的数据仓库，支持数据的实时更新、快速的响应时间、基于钻取的聚集数据查询能

4、力与动态的交互能力，用于支持不断变化的商业需求。与传统数据仓库系统相比，实时主动数据仓库系统有许多独有的特点(参见表1)。表1实时主动数据仓库与.传统数据仓库的比较.传统数据仓库实时主动数据仓库仪支持故略决策实时性要求不高数据传的是单向的返回很难清置的指标以天、周以及月为周期羲取数 据,并做预先索会计算中等规模用户数高度限制的报表.适用预处理的聚合表或数据集市高级用户、分析员和内部用户支持故路决簸和战术决策要求结果实时返回数据传输是双向的返回日常运营的指标只包含明细数掘,可以以分钟 为周期我取明细敷据多用户的并发访问灵活的即席查询、数据挖掘操作员、外部用户-竺rr在RTADw进展的过程中，（o

5、perationaldatastore,ODS）是一个重要的过渡阶段。一些企业为支持战术决策，往往使用ODS技术。总体而言，ODS分3类：1）实时ODS,它通过消息中间件实施数据的同步转换与刷新，但业务系统不能太多，转换数据量不能太大；2）准实时ODS,它实现数据同步，以l-2h为周期，系统负担较小，具有较好的灵活性；3）传统ODS,其代价最小，目前在传统数据仓库中常见。1.2 实时主动数据仓库的特点与挑战1.2.1 实时数据的连续集成为支持实时的战术决策，源系统（或者称生产系统）产生的实时数据务必在最小化对源系统入侵程度、并保证实时数据一致性与完整性的情况下，被实时高效地集成到数据仓库中。挑

6、战问题是：1）在保证源系统性能不降低的情况下，对实时数据在源系统的任何变化进行实时的捕获；2）保证被连续分发数据间次序的一致性与自身的完整性；3）在保证数据质量要求的前提下，完成实时、高效的数据加载。1.2.2 实时数据与历史数据的组织与管理提供RTADW中的实时数据与历史数据的有效的组织与管理策略，使之高效地工作在一种混合的工作负载环境（战略决策与战术决策）中。所要研究的挑战问题：1）对实时数据与历史数据（指传统数据仓库中存储的数据）进行统一建模，从而对外提供统一的访问视图；2）研究对实时数据查询所产生的“查询冲突”与“查询不一致性”问题,保证查询处理过程的无堵塞性与查询结果的一致性；3）研

7、究实时数据与历史数据的及时信息合并技术，对提交的RTADw的任何查询提供“透明”的一体化服务；4）对负载的管理，使得RTADW系统高效的运行。1.2.3 主动的服务决策机制研究RTADW的主动决策服务机制，提供对实时事件进行主动分析与处理的能力。挑战问题包含：1）研究实时事件的主动捕获机制，具备对外界请求的实时响应能力；2）研究分析决策过程的自动执行机制，使RTADW系统拥有主动服务的能力。1.3 实时主动数据仓库的性能评价1）数据的新颖性实时数据务必被及时地加载到系统当中，从而支持战术查询分析。2）时间的一致性在连续数据集成的环境中，会出现数据时序的不一致性现象，需建立时序模型进行时间一致性

8、管理。3）查询结果的一致性由于数据的动态到达与查询的持续性，会出现同一查询请求受不一致时刻不一致查询状态的影响，出现查询结果的不一致性，需要查询过程的一致性管理。4）主动决策的及时性RTADW系统能够实时捕获各类决策规则限定的动作，并做出实时的反应。5）可扩展性用户数目与性能需求随着RTAw系统分析应用的部署增加而增加。2实时主动数据仓库的研究问题在介绍研究问题之前，首先介绍一个RTADW系统的参考结构，如图1所示:图1实时主动数据仓库的参考结构如图1所示，一个RTADW系统要紧包含5个构成部分：数据源、数据抽取、数据仓库、主动决策部分与前端应用。数据源除了包含传统的静态部分之外，还包含实时的

9、数据源部分（如数据流等）；数据抽取部分包含传统的ETL抽取与实时数据抽取两部分;数据仓库除了存储传统的静态数据之外，还存储实时的数据部分，与它们之间的周期性的转换与数据的实时合并；主动决策部分要紧基于触发器的基础上，利用主动分析规则完成主动的决策分析；前端的展现除了传统展示方法外，还包含一些实时的监控部件（如dashboard等）。2.1 数据集成研究问题RTADW要集成的数据包含实时数据与历史数据两部分。历史数据使用传统的批处理方法进行集成，而实时数据部分则需要进行实时的连续集成。重点研究问题包含：D实时数据的主动变化捕捉在传统数据仓库系统中，由源系统按预先约定的加载时间与数据格式，定期把需

10、要抽取的数据放到预先约定的接口中，然后由ETL引擎把这部分数据加载到数据仓库。但是，对RTADW而言，要求实时数据一旦由源系统产生就立即加载到数据仓库中，以便支持实时战术分析的需要。因此，RTADW系统需要能够对新产生的实时数据变化（插入、更新等）进行实时捕获，从而及时进行数据加载。要重点研究快速数据的变化捕捉方法，实现对源系统中的数据变化进行有选择性的定位与捕捉（即仅捕获实时部分的数据变化），满足零延迟的要求，最小化对源系统的入侵程度（即对源系统性能的影响），降低源系统的负载，确保源系统性能不下降、不当机。2）支持数据一致性与完整性的实时数据分发数据分发是指数据从源系统到数据仓库的传播过程。

11、在传统数据仓库中，数据分发使用批量拷贝的方式,数据间的时间依靠性与事务依靠性在数据批量转移的过程中不受影响,能够保持数据的一致性与完整性。但在RTAw中，捕捉到的每个数据变化都是以消息的形式进行分发，同一事务中包含多个数据变化，也就包含了多条消息，这些消息在网络中进行独立传输。因而,如何保证消息在传输过程中的完整性,与如何保持多个消息之间的正确顺序，从而有效地保护数据的事务一致性与不一致事务间的依靠性。要重点研究高效的数据分发机制，使每个捕捉到的数据变化放入消息队列后，由消息队列完成数据的分发，保证消息传输的一致性与完整性，同时有效地保护数据的事务依靠性与时间依靠性。3）实时、高效的连续数据加

12、载在RTADw中，接收到的消息中是未经处理的数据，假如对这些数据进行复杂地清洗与转换操作，将无法满足外部查询对数据实时性的要求；反之，所包含的脏数据会严重影响数据的质量。如何在保证数据质量的前提下实现实时、高效的数据加载是一个需要深入研究的问题。要重点研究连续高效的数据加载技术实现实时、高效的连续数据加载。实现对数据的清洗与转换过程所包含的内部子环节进行合理有效的组织,从而提高数据处理的速率与并发度。同时根据用户对数据质量的不一致需求，对即时加载的数据进行区别对待，合理分配系统资源，提高数据加载性能。2.2 数据的组织与管理研究RTADW系统中实时数据与历史数据的数据特性，建立有效的数据存储、

13、组织与访问策略，为高效的战略决策与战术决策的执行提供数据平台支撑。2.2.1 RTADW中的数据建模传统数据仓库中的数据通常在空闲时（如夜间）以批处理的方式进行更新。由于更新时不对外提供数据查询服务，因而对更新的代价不做过高要求。但是，由于RTADw中的实时数据是以7X24的工作方式对外提供服务,而且要求数据的实时更新与查询结果的实时反馈,因此传统静态数据的组织与管理方式不适合于实时数据。要重点研究实时数据与历史数据的有效建模，使得关于查询工具而言，只有一个统一的逻辑视图，避免查询工具与终端用户进行多表连接操作的问题。2.2.2 实时数据的查询一致性保护在RTADW环境中，数据仓库中数据是实时

14、更新、不断变化的。在这种“动态”的数据环境中使用OLAP分析与查询工具，会使查询所涉及的数据在读取过程中不断发生变化，从而导致查询结果的不一致性。需要重点研究在实时数据环境中的查询一致性问题,防止数据在查询过程中被修改，从而保证查询的一致性。同时保证以后到达的查询得到的是更新以后的数据，保证了数据的实时性。2.2.3 实时数据的查询冲突解决在RTADW环境下，由于数据的查询与更新同时进行，会导致在某个时刻，关于事实表中的某些记录，查询操作与更新操作会发生读写冲突。当源系统的数据变化过于频繁，数据仓库中的查询数量比较多时，这种冲突将更加突显，甚至可能使系统发生堵塞，无法对外提供服务。需要重点研究

15、实时数据的查询冲突问题，利用不一致用户查询对数据实时性的不一致要求，有效分流不一致类型的查询负载，防止系统因查询冲突而发生堵塞，同时又能满足不一致类型查询的需求。2.2.4 实时数据与历史数据的“无缝”集成在RTADW环境下，为了最大程度地减小查询冲突给系统带来的负面影响，保证数据仓库正常高效地运行，实时数据与历史数据通常分开存储。为了最小化对查询工具的影响，不需要查询工具熟悉获取不一致类型数据的方法，而是一旦提出查询请求，就能够得到“无缝集成”后的数据。需要重点研究高效的集成技术，实现实时数据与历史数据的“无缝”集成。能够自动分析查询语句，从而确定数据需求，并从RTADW的不一致部分提取所需

16、的数据，合并后供查询工具使用。能够自动分析所需数据中实时部分与历史部分的比例，从而更好地选择数据的迁移策略，减少数据传输，改善服务性能。2.3 主动决策服务研究RTADW的主动决策机制，从而支持对实时事件的主动探查，并根据事件的特征进行处理推断，从而触发相应的分析规则。2.3.1 RTADW中事件的主动探查在RTADw系统中，为了支持实时主动的决策分析，从而满足系统实时响应的需求，就需要系统具备对各类事件的主动探查机制，从而熊够实时发现各类特殊事件，并进行相应的处理。需要重点研究事件主动探查机制，与RTADW的应用需求相结合，提高事件的探查速度，保证RTADW的实时性。研究事件的组织与存储方式，使得在探查到事件后，能够迅速将事件与相应触发的分析规则相匹配