数据仓库概述.docx

《数据仓库概述.docx》由会员分享，可在线阅读，更多相关《数据仓库概述.docx（23页珍藏版）》请在优知文库上搜索。

1、数据仓库概述（1）数据仓库概述随着计算机技术的飞速进展与企业界不断提出新的需求，数据仓库技术应运而生。传统的数据库技术是单一的数据资源，即数据库为中心，进行从事事务处理、批处理到决策分析等各类类型的数据处理工作。近年来，随着计算机应用，网络计算，开始向两个不一致的方向拓展，一是广度计算，一是深度计算，广度计算的含义是把计算机的应用范围尽量扩大，同时实现广泛的数据交流，互联网就是广度计算的特征，另一方面就是人们对以往计算机的简单数据操作，提出了更高的要求，希望计算机能够更多的参与数据分析与决策的制定等领域。特别是数据库处理能够大致地划分为两大类：操作型处理与分析型处理（或者信息型处理）。这种分离

2、，划清了数据处理的分析型环境与操作型环境之间的界限，从而由原先的以单一数据库为中心的数据环境进展为一种新环境：体系化环境。数据库系统作为数据管理手段，从它的诞生开始，就要紧用于事务处理。通过数十年的进展，在这些数据库中已经储存了大量的日常业务数据。传统的业务系统通常是直接建立在这种事务处理环境上的。随着技术的进步，人们试图让计算机担任更多的工作，而数据库技术也一直力图使自己能胜任从事务处理、批处理到分析处理的各类类型的信息处理任务。后来人们逐步认识到，在目前的计算机处理能力上，根本无法实现这种功能，而且，另一方面，事物处理与分析处理具有极不相同的性质，直接使用事务处理环境来支持决策是行不通的。

3、事务处理环境不适宜DSS应用的原因要紧有下列五条：（1）事务处理与分析处理的性能特性不一致。在事务处理环境中，用户的行为特点是数据的存取操作频率高而每次操作处理的时间短；在分析处理环境中，用户的行为模式与此完全不一致，某个DSS应用程序可能需要连续几个小时，从而消耗大量的系统资源。将具有如此不一致处理性能的两种应用放在同一个环境中运行显然是不适当的。（2）数据集成问题。DSS需要集成的数据。全面而正确的数据是有效的分析与决策的首要前提，有关数据收集得月完整，得到的结果就越可靠。当前绝大多数企业内数据的真正状况是分散而非集成的。造成这种分散的原因有多种，要紧有事务处理应用分散、“蜘蛛网”问题、数

4、据不一致问题、外部数据与非结构化数据。（3）数据动态集成问题。静态集成的最大缺点在于，假如在数据集成后数据源中数据发生了变化，这些变化将不能反映给决策者，导致决策者使用的是过时的数据。集成数据务必以一定的周期（比如24小时）进行刷新，我们称其为动态集成。显然，事务处理系统不具备动态集成的能力。(4)历史数据问题。事务处理通常只需要当前数据，在数据库中通常也是存储短期数据，切不一致数据的储存期限也不一样，即使有一些历史数据储存下来了，也被束之高阁，未得到充分利用。但关于决策分析而言，历史数据是相当重要的，许多分析方法务必一大量的历史数据为依托。没有历史数据的全面分析，是难以把握企业的进展趋势的。

5、DSS对数据在空间与时间的广度上都有了更高的要求，而事务处理环境难以满足这些要求。(5)数据的综合问题。在事务处理系统中积存了大量的细节数据，通常而言，DSS并不对这些细节数据进行分析。在分析前，往往需要对细节数据进行不一致程度的综合。而事务处理系统不具备这种综合能力，根据规范化理论，这种综合还往往由因此一种数据冗余而加以限制。要提高分析与决策的效率与有效性，分析型处理及其数据务必与操作型处理及其数据相分离。务必把分析型数据从事务处理环境中提取出来，按照DSS处理的需要进行重新组织，建立单独的分析处理环境，数据仓库正是为了构建这种新的分析处理环境而出现的一种数据存储与组织技术。数据仓库应用概述

6、当今世界充满了剧烈竞争，正确及时的决策是企业生存与进展的最重要环节。现在，愈来愈多的企业认识到，企业要想在竞争中取胜，获得更大的收益，至关重要的是，务必利用计算机与网络技术、数据仓库技术，深层次地挖掘、分析当前与历史的生产业务数据，与有关环境的有关数据，自动快速获取其中有用的决策信息，为企业提供快速、准确与方便的决策支持。通过对企业生产与计划的完成情况及有关环境数据进行多角度多层次的分析，以使企业的决策者及时掌握企业的运行情况与进展趋势，并对制定生产计划与长远规划提供理论指导，提高企业的管理水平与竞争优势。下列就对数据仓库的应用、技术、市场、前景等几方面进行简述。第一篇数据仓库技术在各行业的应

7、用与实例一.在证券业的应用关键字：数据仓库、证券数据仓库技术在证券业的应用十分广泛，它可处理客户分析、帐户分析、证券交易数据分析、非资金交易分析等多个业界关心的主题，这是证券业扩大经营、防范风险的预警行动。证券公司利用客户行为分析系统数据仓库技术将所有客户的操作记录进行归类与整理，并结合行情走势、上市公司资料、宏观微观经济数据等，在掌握大量数据的情况下，对客户的行为与市场各因素的关联、客户的操作习惯、客户的持仓情况、客户的盈亏情况、公司的利润分布等进行统计与分析。从而获得以往一直想获得但却无法获取的关于客户在本公司的行为、盈亏、习惯等关键信息。证券商在获得这些信息后，就有能力为客户提供针对其个

8、人习惯、投资组合的投资建议，从而真正作到对客户的贴心服务。实例:深圳国信证券建立数据仓库1999年4月，深圳国信证券的数据仓库系统（由Sybase公司提供解决方案）一期工程完成，该项首期投资近200万元数据仓库系统建设的出发点是为当前公司的决策者提供快速有效的各类报表与分析方式，提高公司的市场反应速度与竞争力水平。更有效地发挥OLTP系统的效益，在此基础上“多快好省”地建设DataWarehouse/DSSo同时，考虑到公司业务系统的不断完善与决策支持的更高要求，对不断增长的企业数据具有无限的可扩展性并提供可控的快速查询响应时间。该系统包含了客户分析、账户分析、证券汇总分析、资金交易分析、非资

9、金交易分析等多个业界关心的主题。公司用户能够通过固定灵活报表、多维分析等多种形式实现多个层面的数据访问，数据访问的手段包含访问授权的内部Web站点、通过自动E-Mail邮件转发、直接Client/Server连接等多种方式。该系统的完成是国内开放平台数据仓库系统建设的一个成功案例。二.在银行领域的应用：关键字：数据仓库、银行随着社会主义市场经济改革的深化，传统的计划金融模式逐步瓦解，市场金融模式逐步形成。在这个变革过程中，由于体制、市场、企业、个体等经济要素变化、进展的不平衡性，带来了银行对各类金融变量操纵的随机性与模糊性，如何防范银行的经营风险、实现科学管理与进行决策，成为当今金融研究的一个

10、重要课题。90年代出现的数据仓库、OLAP（联机分析）、数据采掘、多媒体、高带宽网络技术，使银行的科学管理有了一个新的技术支持。利用数据仓库的强大功能，银行能够建立企业客户群、个人客户群的数据库，并对企业的结构、经营、财务、市场竞争等多个数据源进行统一的组织，形成一个一体化的存储结构，为决策分析奠定基础。通过先进的信息加工、分析、处理软件，加上银行的经营决策、信贷营销人员的个人经验，对每一个投资方向、每一笔贷款作出科学的推断，能够有效操纵投资、信贷风险。银行决策支持系统是建立在银行管理信息系统基础之上的、以银行数据库与数据仓库为基础，包含各类辅助制定货币政策、开拓金融业务等的模型库、方法库与知

11、识库。目前，在国外运用非常成功的有决策支持系统。比如有许多著名的金融机构从基于大型主机信息管理的多个系统，转向一种客户/服务器结构下的数据仓库解决方案。惠普开放数据仓库是被用在金融服务中增加决策支持的框架，这个金融业后台管理的工具更类似于传统的“仓库”一旦它的数据项被下载，在一个集中的存储单元以一种有序的方式登录及存储，能对数据进行检索、求合，以各类格式装入多个地址。能够给决策支持一个共同的信息源，消除很多金融服务机构的“数据混乱”的现象。实例1：南京市利用数据仓库技术实施贷款证制度实例2：中国银行省、市两级金融管理信息系统使用数据仓库技术中国银行省、市两级金融管理信息系统是中国银行广东省分行

12、承担开发的国家“八五”科技攻关项目（子专题编号：85-712-14-9-9）。该系统在工程组织与总体方案设计上使用数据仓库（DATAWAREHOUSE）及联机分析处理（OLAP）理论。系统重点围绕中国银行资产负债管理的要求，建立覆盖全省22家分行的数据采集网络，初步实现了计算机业务系统数据与手工报表数据采集、存储的自动化。同时面向各级经营管理人员，开发出财务分析、业务管理、动态报表与金融资讯计50余项管理分析应用。1996年3月，系统在本行投入使用，至97年7月，系统已在广东省22家分行全面推广使用，成为中国银行省、市分行实行科学管理的有力工具。中国银行省、市两级FMlS系统在利用与规范现有网

13、络资源、系统资源的基础上，构造出数据采集、数据仓库、数据呈现三个分系统框架。与中国银行收付清算网络、中国银行办公自动化网络、香港德励财经资讯网络，与ES/9000.AS/400主机业务系统均实现了连接与集成。附例：明日银行的展示ATM（自动柜员机）或者自助终端提供商NCR,其新近在英国苏格兰生产厂开发生产了视网膜识别ATM系统，该系统结合数据仓库技术模拟了未来银行的运作过程：步入这家银行，该客户便被作为特殊的个人对待。通过终端擦过其银行卡，便会给出一个特别编号的排队票，该票直接与银行的数据仓库连接，瞬时识别用户，并送出一条是谁在等待的信息。此后代表用户的就是一个号码。柜员机顶上的视频屏幕显示出

14、按照用户剪裁的广告。比如在数据仓库储存的交易说明，用户已申请一项抵押，屏幕上就可能出现一个家庭保险的广告。在柜台旁边这是一对一的关系，而柜员机随时拥有同一用户的信息，并可提供特殊顾问的帮助。整个过程不用纸与笔，用户在电子键盘上与银行达成协议。传统银行潜力有限，运营成本太高。“明日银行”告别了烦琐的手续与规定，假如一项贷款需要资深经理审批，银行的网络系统便会自动将电子文件与一条电文发送给这位经理，让其对此发出指示。挪威联合银行估计，仅表格一项每年就可节约100O万美元。银行员工也不再需要在每天结束工作前，花费一两个小时填各类报表、跟踪贷款请求与其他管理业务。NCR己帮助挪威联合银行设计并实施一种

15、新型总体“银行平台”，包含用户与银行打交道时用到的所有信息、规则与过程，从银行到ATM电话与IntCrnct。NCR在几周内帮助这家银行建立了一家“Internet”银行。实现从银行到数据仓库，再到每个交付渠道的经营业务新模式。三.在税务领域的应用：关键字：数据仓库、税务增加税收、提高效率、改善执法的一致性与公平性、降低对纳税人的负担与干扰，是税务稽征部门的重要目标。然而这些目标往往又是相互冲突的，要在其间找到最适当的平衡点非常困难。通过应用数据仓库技术，对税收部门的内部与外部数据进行综合分析处理，能够解决三个方面的问题：一是查出应税未报者与瞒税漏税者，并对其进行跟踪；二是对不一致行业、产品与

16、市场中纳税人的行为特性进行描述，找出普遍规律，谋求因势利导的税务征稽策略；三是对不一致行业、产品与市场应收税款进行预测，制定最有效的征收计划。数据仓库技术之因此能够查出漏税者，其基本思想是通过对大量数据资料的分析来掌握各行各业、各类产品与各类市场的从业人员与企业的纳税能力，并与事实上际纳税金额进行对比，从而查出可能的偷漏税者。数据资料获取与匹配技术是这一功能的基础，数据挖掘技术(DataMining)也必不可少。这些技术所面临的一大挑战就是数据来源的多样性。数据量非常大，而且以不一致的形式来自不一致的地方与部门。有效利用这些数据就是NCR推出可伸缩数据仓库(SCaIabIeDataWarehOUSe)的目的。可伸缩数据仓库是由纳税人特征描述系统对纳税人过去的行为进行分析，由市场划分系统将具有相似特征的纳税人归入同一类，继而对这一类纳税人的普遍行为做出预测，设计出适合这类纳税人的税务征稽方案。