数据仓库数据集市BI数据分析介绍.pptx

《数据仓库数据集市BI数据分析介绍.pptx》由会员分享，可在线阅读，更多相关《数据仓库数据集市BI数据分析介绍.pptx（36页珍藏版）》请在优知文库上搜索。

1、数据仓库介绍1议程1. 数据仓库概念及由来 基本概念 产生背景2. 数据仓库搭建 数据整合 数据建模 数据管控3. Oracle数据仓库产品介绍什么是数据仓库3一个面向主题的、集成的、非易失性的、随时间变化的数据的集合，以用于支持管理层决策过程。数据仓库的特点4面向主题：操作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离，而数据仓库中的数据是按照一定的主题域进行组织。主题是一个抽象的概念，是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通常与多个操作型信息系统相关。集成的：面向事务处理的操作型数据库通常与某些特定的应用相关，数据库之间相互独立，并且往往是异构的。而数据仓库

2、中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。相对稳定的：操作型数据库中的数据通常实时更新，数据根据需要及时发生变化。数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。反映历史变化：操作型数据库主要关心当前某一个时间段内的数据，而数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点(如开始应用数据仓库的时点

3、)到目前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。几个相关的概念5BIBusiness Intelligence,即商业智能，一类由数据仓库（或数据集市）、查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的、以帮助企业决策为目的技术及其应用数据集市：面向特定主题和部门级的数据仓库，是数据仓库的子集，数据仓库是提供跨部门的，统一数据视图OLAP On-Line Analytical Processing是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果数据挖掘从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值

4、的信息的非平凡过程。数据挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等OLTP on-line transaction processing，传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易数据仓库与OLTP系统的差别6对比项OLTP数据仓库（OLAP）用户操作人员、底层管理人员决策人员，高级管理人员功能日常操作处理分析决策DB设计面向应用面向主题数据原始数据、细节性数据、当前值数据、可更新、一次处理的数据量小导出数据、综合性数据、历史数据、不可更新但周期性刷新，一次处理的数据量大工作单位简单的事务复杂的查询用户数上千个上百

5、个DB大小100MB-GB100GB-TB数据仓库是怎么产生的7在数据库技术的支持下，一大批成熟的业务信息系统投入运行，为企业发展做出了巨大贡献。各类信息系统大多属于面向事务处理的OLTP系统，经过多年的运行，积累了大量的数据，而管理决策层对数据分析基础平台的需求却日益强烈。 数据可信性：两个部门提供的数据是不一样的，让管理者无所适从 报表的生产率问题：由于OLTP的单项系统导致数据的分散性和相同元素定义不一致所致不可能把数据转换成信息 数据动态集成问题：不同的需求，要求将操作型环境和分析型环境相分离 历史数据问题：单项系统之间保留的历史数据时间范围不一致，无法满足DSS分析的需要数据的综合问

6、题：非细节数据、多种程度的综合 提升现有的信息： 数据仓库解决的问题1. 企业范围内的信息共享 2. 准确、一致的集成数据 3. 面向整个企业和最终用户，针对分析需要，进行数据重组，形成一套全新的、相对完整的数据视图，能够进行快速访问，精确、灵活分析 数据仓库之父9数据仓库之父比尔恩门（Bill Inmon）在1991年出版的“Building the Data Warehouse”（建立数据仓库）一书中所提出的定义被广泛接受主张使用第三范式进行数据仓库建模数据仓库领域另外一名重要的人物10比尔恩门的对头随着拉尔夫金博尔（Ralph Kimball）博士出版了他的第一本书“The DataWa

7、rehouse Toolkit”（数据仓库工具箱），数据仓库行业就开始喧哗起来，恩门的“Building the Data Warehouse”主张建立数据仓库时采用自上而下（DWDM）方式，以第3范式进行数据仓库模型设计，而他生活上的好朋友Ralph Kimball在“The DataWarehouse Toolkit”则是主张自下而上（DMDW）的方式，力推数据集市建设，以致他们的FANS吵闹得差点打了起来，直至恩门推出新的BI架构CIF（Corporation information factory），把Kimball的数据集市包括了进来才算平息。议程1. 数据仓库概念及由来 基本概念

8、产生背景2. 数据仓库搭建 数据整合 数据建模 数据管控3. Oracle数据仓库产品介绍自上而下1. 进行全企业的数据建模和数据整合，并建立原子级数据仓库；2. 对于各部门的应用再建立相应的数据集市两种数据仓库构建方式自下而上1. 根据特定的业务过程建立数据集市；2. 在各部门数据集市之上递增构建整个企业的数据仓库13两种数据仓库构建方式对比对比项自上而下自下而上体系结构先建立全企业的原子级数据仓库，然后在此基础上建立部门级应用按照业务过程建立集市，再通过整合建立数据仓库复杂度非常复杂较为交单建模工具传统ER模型维度建模易访问性低高交付 时间需要很长的启动时间可以快速部署应用部署成本较高的启

9、动成本，较低的后续项目开发成本较低的启动成本，每个后续项目成本接近指导思想长期规划各部门需要有统一的构建思想结论：一般结合两种方式的优点混合使用结论：一般结合两种方式的优点混合使用数据仓库体系架构14数据整合-ETL15元数据管理模块数据质量管理模块转换文件数据抽取插件ETL监控数据抽取监控数据清洗监控数据转换监控磁盘IO监控网络IO监控CPU监控数据库监控告警处理装载DB2Oralce数据加载插件数据中心数据转换数据清洗任务管理作业调度ETL框架框架采集采集数据整合-ETL特点161. 多种数据源支持：支持DB2、ORACLE、MySql、SQLSERVER、文件多种不同数据源的抽取；2.

10、作业调度可视化配置：使用图形化界面配置调度作业；3. ETL过程监控：对采集、转换、装载过程进行监控，在发生异常时自动记录相关信息。ETL工具特点数据仓库数据建模步骤17一般按照主题进行建模一般步骤业务建模领域建模逻辑建模物理建模梳理组织架构关系梳理系统用户、角色梳理业务流程（实际工作流程）提出业务流程改进方法及措施抽象业务概念分组业务概念，按照业务主线聚合类似的分组理解分组概念之间的关联及关系具化抽象概念的属性细化业务流程针对特定物理平台作出相应的技术调整针对模型的性能考虑对特定平台作出相应调整数据建模方法18范式建模法： Bill Inmon主张使用，使用关系型数据库第三范式进行ER建模，

11、同业务系统的数据库建模类似维度建模法： Kimball 最先提出这一概念,按照事实表，维表来构建数据仓库，数据集市。并针对各个维作了大量的预处理，这种方法的最被人广泛知晓的名字就是星型模式（Star-schema）,另外还有雪花模型、星座模型、雪暴模型星型雪花两种建模方法比较对比项范式建模维度建模提出人Bill InnonKimball复杂度比较简单，从关系型数据库角度出发，比较方便构建建模简单，但由于在构建星型模式之前需要进行大量的数据预处理，因此会导致大量的数据处理工作灵活性较为灵活当业务发生变化，需要重新进行维度的定义性能慢由于做了大量数据预处理，查询性能很快。数据一致性能够较好保证数据

12、一致性只是依靠单纯的维度建模，不能保证数据来源的一致性和准确性结论：一般在数据仓库底层使用范式建模，在数据集市层或多维数据库使用维度建模数据应用-多维分析之切片、切块数据应用-多维分析之钻取按时间维向下钻取按时间维向上钻取60数据应用-多维分析之旋转数据应用之即席查询23基本信息字段工班日期即席查询导出列编辑导出列编辑输出结果所属路段构建宽表模型反向分析所属区域OD路径字段异常行驶信息收费站车道收费方式车辆信息信息收费信息字段绿色通道字段分账信息字段结算费用字段通行卡字段计重信息字段标识路径字段自由组合条件自由组合条件一类车二类车三类车四类车五类车定义条件关系及值定义条件关系及值可任意选择宽表

13、字段条件和值之间可以用=in等连接；条件和条件之间可用orand之间连接可编辑结果的显示列用户根据自身需求，灵活的选择查询条件，系统根据用户的选择生成相应的统计报表用户根据自身需求，灵活的选择查询条件，系统根据用户的选择生成相应的统计报表数据应用之数据挖掘24数据挖掘：从大量的数据中自动搜索隐藏于其中的有着特殊关系性（属于Association rule learning）的信息的过程常见数据挖掘方法：1. 关联分析：发现一个事务中不同操作相关性的概率，例如一条开户记录为一个事务，用户号为其标示，申请短信为一个操作，申请呼叫转移为另外一个操作，通过挖掘，发现申请短信的人80%必定申请呼叫转移，

14、申请呼叫转移的人不一定申请短信。在这种情况下，可以推出将呼叫转移打包在短信服务中，可以提高用户的服务质量2. 回归分析：了解两个或多个变量间是否相关、相关方向与强度，并建立数学模型以便观察特定变量来预测研究者感兴趣的变量，如话务预测3. 人工统计学分群分析：根据记录中最频繁出现的特征，将相关记录进行分类，如客户分群4. 决策树分析：根据用户的性质和其它消费行为，分析产生某项结果的原因，如可以根据用户的性质、消费状况和缴费情况，分析用户流失的原因。比如，发现消费额度小于30元的用现金缴费的女性，80%可能会流失数据管控25数据仓库元数据管理数据质量管理 数据安全管理 p 数据管控主要包括元数据管

15、理、数据质量管理、数据安全管理，全面提升数据管控能力元数据管理工具Webservice接口、JMI接口、XMI接口元数据获取元数据存储元数据管理工具数据源ETL数据中心数据服务展示视图技术元数据业务元数据管理元数据自动获取手工导入业务元数据业务规则业务描述指标口径技术元数据数据源接口质量规则算法库度量信息ETL过程数据中心管理元数据流程定义角色定义组织架构Webservice接口、JMI接口、XMI接口实体差异分析元数据使用情况指标库实体关联度分析主机拓扑图分析元数据统计血缘分析过程查询元数据工具功能p 元数据管理工具可加强数据的管控力度，增强系统自身管理能力，提升系统易用性数据质量关系到系统

16、建设的成败数据质量问题数据质量问题结果结果数据创建延迟数据校验规则不当文件传输出错.元数据描述错误变化频度不恰当计算口径错误.责任心、责任人反馈渠道培训计划错误的数据维护流程人为调整数据流程数据稽核流程决策是否正确系统建设成败系统保障管理措施数据质量管理工具28监控检查报告处理总结数据源数据源ETL工具轻度汇总层高度汇总层外部应用外部应用数据服务总线抽取转换装载汇总汇总抽取抽取监控点监控数据质量规则元数据规则匹配计算质量报告质量报告主要包括报告时间、报告标题、报告类型、告警类型、严重级别、报告内容等质量问题工单质量维护流程质量维护流程质量总结功能质量月报表质量日报表接口质量评估数据质量管理措施 制定数据质量检测规则标准 制定数据质量管理、保障、 控制和维护流程 监控数据质量问题处理的整 个流程并进行结果评估 . 源系统数据质量状况月报数据中心数据质量状况月报数据质量影响报告数据质量评估报告.数据需求变更控制流程数据质量事件处理流程数据质量报告管理流程数据源接口评估流程.数据质量管理工具质量异常监控30质量异常处理质量情况月度报表议程1. 数据仓库概念及由来 基本概念 产生背景2. 数据