如何提高数据仓库的性能及优化设计.docx

《如何提高数据仓库的性能及优化设计.docx》由会员分享，可在线阅读，更多相关《如何提高数据仓库的性能及优化设计.docx（17页珍藏版）》请在优知文库上搜索。

1、如何提高数据仓库的性能及优化设计目录1 .序言12 .合理的数据模型设计22.1. 10种主数据模型设计示例22. 1.1.人员主数据模型33. 1.2.账户主数据模型54. 1.3.组织主数据模型65. 1.4.客商主数据模型86. 1.5.客户主数据模型87. 1.6.供应商主数据模型98. 1.7.渠道主数据模型109. 1.8.产品主数据模型1110. 1.9.物料主数据模型1311. 1.10.项目主数据模型1412. 1.11.睿码主数据管理平台内置模板163 .有效的数据抽取和转换164 .优化数据存储和查询171 .序后随着数据仓库规模的扩大，数据仓库的性能问题就显得越来越突出

2、，如何提高数据仓库的性能，除了在设计阶段对其逻辑结构和物理结构进行优化设计外；还可以在数据仓库运行阶段，采取一些优化措施来使系统性能最佳。本系统主要功能是利用Orade9i所提供的技术：分区、实体化视图和查询重写来实现数据仓库的性能优化：用户自己建表、视图并进行查询比较；比较是否采用优化技术和直接查询的时间，体现优化程度。随着计算机技术的飞速发展和企业界不断提出新的需要，数据仓库技术应运而生。当前的数据处理可以大致地划分为两大类：操作型处理和分析型处理。操作型处理也叫事务处理，是指对数据库联机地口常操作，人们关心地是响应时间、数据的安全性和完整性。分析型处理又叫信息型处理，用于管理人员的决策分

3、析。两者之间的巨大差异使得操作型处理和分析型处理的分离成为必然。数据库系统作为数据管理手段，主要用于事务处理。而数据仓库有助于把数据转变成信息，为用户提供决策支持。但是必须注意的是：即使可以建立一个数据仓库来帮助制定决策，仍然有可能在具有完美数据的情况下作出坏的决策。随着数据仓库规模的扩大，数据仓库的性能问题就显得越来越突出，如何提高数据仓库的性能进行优化，除了在设计阶段对其逻辑结构和物理结构进行优化设计，使之在满足需求条件的情况下，系统性能达到最佳，系统开销达到最小外；还可以在数据仓库运行阶段，采取一些优化措施来使系统性能最佳。在0rade9i中，使用关系数据库存储数据仓库中的数据，数据仓库

4、中包含大量的数据，对数据的提取和更新操作需要花费大量的时间和资源，为了能够管理好这些大表，同时提高访问大表的查询速度和执行效率，就需要用到并行处理和分区。在数据仓库中，为了提高性能，使用的一项技术是创建汇总，汇总使特定类型的聚集视图，通过在执行和存储数据到表以前，预先计算大的连接和聚集，提高查询性能的视图。在数据仓库中，可以使用实体化视图预先计算聚集数据，并把计算结果存储起来，实体化视图通常是通过查询重写机制进行访问的。查询重写用于基于成本的优化。2 .合理的数据模型设计确定业务需求：在设计数据仓库之前，深入了解企业的业务需求和数据分析目标，明确需要支持的查询和报表。这有助于构建合理的数据模型

5、，满足实际的业务需求。规范化设计：采用规范化的设计可以消除数据冗余，并保持数据一致性。通过合理地划分表和定义关系，避免数据更新异常和不一致问题。考虑性能需求：在设计数据模型时，需要预估数据量和查询复杂度，并根据业务需求进行适当的优化。例如，选择合适的索引和分区策略，提高查询效率。2.1.10种主数据模型设计示例主数据模型是主数据管理的基础，一个完整的、可扩展的、相对稳定的主数据模型对于主数据管理的成功起着重要的作用。规划、创建主数据模型的过程，是梳理主数据管理体系的过程，目的是建立一个良好的资源目录结构，划分合理的资源粒度。2.1.1.人员主数据模型人员主数据是企业基础和核心的主数据之一，我们

6、在人力资源管理系统及相关的模块中都要使用，如招聘、培训、考核、薪资等模块。另外，OA系统、业务系统也会使用人员主数据。序号属性名称数据类型维护方式属性类型填写说明1人员编码（工号）字符型填写基础屈性编码方案参照人力资源管理部门相关规定2姓名字符型填写基础属性3性别参照型卜拉选项基础属性参照选项为男、女、其他4出生日期字符型填写基础属性5证件类型参照型卜拉选项基础属性参照选项为身份证、军官证、护照6证件号码字符型填写基础属性按照证件上的号码进行填写7手机号码字符型填写基础屈性8办公电话字符型填写基础属性9电子邮件字符型填写基础属性10人员状态参照型卜拉选项业务屈性参照选项为在职、离职、退休、实习

7、生、临时T.1!岗位信息字符型填写业务属性对照岗位档案12职级参照刑下拉选项业务属性对照职级档案13人员类别参照型下拉选项业务属性对照企业人员类别档案（如管理类、技术类等）14所属管理组织参照型下拉选项业务属性对应管理组织主数据15所属管理部门参照型下拉选项业务属性对应管理部门主数据16鱼勺表1人员主数据模型示例表1是人员主数据的常规模型，基本上包含了人员档案的相关信息。这个人员主数据模型包含了人员档案的基本属性信息（第一项至第九项）、业务属性信息（第十项至第十五项），对应着参照数据、枚举数据，以及引用的其他主数据。2.1.2. 账户主数据模型账户的定义是企业信息系统的使用者，同时我们希望能够

8、从企业视角进行统一的账户主数据管理。序号属性名称数据类型维护方式填写说明1用户名字符型填写用户身份认证时所需要输入的名称2密码字符型填写3密级4密码策略5用户所属管理组织参照型下拉选项对应管理组织主数据6用户所属管理部门参照型下拉选项对应管理部门主数据7用户类别参照型下拉选项参照选项为1.本企业人员账户;2.本企业角色账户；3.非本企业人员账户8对应人员编码参照型下拉选项当用户类型为“1”时，字段信息与人员主数据的信息保持一致9对应人员姓名字符型填写IO证件类型参照型下拉选项11证件号码字符型填写12手机号码字符型城写13办公电话字符型填写14电子邮件字符型填写15岗位信息字符型填写16白定义

9、项1字符型填写17:.:表2账户主数据模型示例账户主数据的常规模型，基本上包含了系统中账户档案的主要属性字段。企业在构建账户主数据模型时可以以此为参考。在账户主数据模型中，我们可以看到对应人员编码对应人员姓名，以及一些对应人员的其他相关字段，这些字段的内容来源于对应的人员主数据。此种设计没有完全遵循数据库设计的三范式，因为在数据模型中冗余了部分人员主数据的属性。而在很多应用系统中，账户模型和人员模型被构建在同一个表中，这是为了让各个系统能够很好地使用账户主数据模型才采用的折中设计方法，当然也可以根据企业实际情况进行针对性设计。2.1.3. 组织主数据模型企业中的组织是指企业为了实现一定的目标，

10、互相协作结合而成的团体。通常组织既包含公司层级的内容又包含公司里的多级部门甚至小组的内容。而这样的组织也会由于视角的不同产生多个版本，如行政组织、财务组织、股权组织、法人组织等。行政组织是从企业管理的视角进行划分的组织结构；财务组织是完全以财务的视角进行核算、统计、考核，从而建立的组织结构；其他组织则是从各自的视角进行划分的组织结构。大型集团型企业的组织主数据较多，单体型企业的组织主数据相对少一些。序号属性名称数据类型维护方式填写说明1组织编码字符型填写川户身份认证时所需要输入的名称2组织名称字符型Kj3上级组织字符型填写4组织类别字符型填写1.单位；2.部门5组织负责人编码字符型填写6地址字

11、符型填写7电话字符型填写8邮箱字符型填写9传真字符型填写IO生效时间字符型填写11失效时间字符型填写12备用字段1表3行政组织模型示例在组织主数据模型设计中需要关注以下特点：(1)组织主数据是树形结构，除了根节点，每个节点都有上级节点。(2)组织通常包括公司和部门两个大的层级。(3)组织主数据通常会关联人员主数据。组织主数据通常会设定组织负责人属性，在进行人力部门负责人或干部调整时，需要在组织主数据中进行对应维护。(4)组织主数据通常指行政主数据，这也是使用得最为广泛的一种组织主数据。企业中的组织可能存在很多版本，数据结构大致相似，但是所描述的内容和视角差异很大，也正是由于视角的不同，数据内容

12、也可能存在差异。(5)组织主数据需要注意版本管理和时效性。组织会在年度或业务需要时进行调整，新的组织会产生，旧的组织可能消亡，这其中还包含组织的合并和拆分，这些动作都应该在组织主数据中进行记录，并为后续的业务动作或业务统计提供信息支持。(6)其他组织主数据模型。其他组织，如财务组织、法人组织、股权组织等主数据模型的设计可以参考行政组织主数据模型，模型架构变化不大，但承载的内容有不同的视角。2.1.4. 客商主数据模型集团MDM属性生产、慑愀企蜃疗U生机构前店St府机构及舂业位雇务企颦个人其他*-4tM忡IH*川故机构代修川投根构代码川段机构代码ll*。份证弓IN*州视机构代闪客商名称客Ier名

13、称客新名的饿l机构代码护照外用织统机构代Fi客就名称次疗机构执业许可M药晶玲代泮可注客商名你再育名你客向名称正性W*ek!VWttidtf;中亚尔依法人联系地址fft*ttid*甘业执黑注瑞，行业IMfl注册弓各业执照注局年ftIW三注册r机号町曹执照注册9小业单付法人证号代执黑住所证照庖地固定电话让黑地址JHfciE明共享W客命分类X谢分类客商分关客曲分类客高分类客商分类客向分类11M精中国*14ffO国*Zftttrfi城市ffrtXrfffrtf城IVn/ftorn城市昔业执照住所城山城市Mtli汴执黑住所城市1单位4：.产许“If，)行业3R住所iT4ifi上级小位性别风RM示tft11iVltfV上微单位第.类IK疗器械用音分案凭菱号K险提小3松小凤松示风险极小hmnw*侪类P件代场所机构矣Iff风於松雨.ttnf氏吃0拨用“类P外启提示齐利/萋齐利经前场所经侪类型公立/ItR是畲灰吃令d的房生产城批佚业场所是有生产