数据分析技术.ppt

《数据分析技术.ppt》由会员分享，可在线阅读，更多相关《数据分析技术.ppt（22页珍藏版）》请在优知文库上搜索。

1、数据分析技术数据分析技术数据库技术数据库技术1数据仓库数据仓库2数据挖掘数据挖掘3数据库技术数据库技术u数据库的定义与特点数据库的定义与特点 数据库是存放在计算机存储设备中的以一种合理的方法组织起来的，与公司或组织的业务活动和组织结构相对应的各种相关数据的集合，该集合中的数据可以为公司或组织的各级经过授权的人员或应用程序以不同的权限所共享。 最少的冗余度； 应用程序或用户对数据资源共享； 数据独立性； 对数据的定义、操纵和控制，由数据库管理系统统一进行管理和控制。数据库技术数据库技术u数据库系统的组成数据库系统的组成数据库系统是采用数据库技术的计算机系统，是可运行的以数据库方式存储、维护和向应

2、用系统提供数据或信息支持的系统。 数据库操作系统数据库应用系统数据库应用开发工具数据库管理系统数据库管理员最终用户1最终用户2最终用户n数据库系统的组成数据库系统的组成 数据库：是一个数据集合，主要用于数据的存储和维护 DBMS：是数据库的建立、使用和维护所必需的系统软件。 OS：支持DBMS的操作系统平台。 开发工具：数据库系统的开发 数据库应用系统：为特定而环境开发的系统，属于一种应用程序数据仓库数据仓库u数据仓库的概念数据仓库的概念 面向主题的、集成的、不可更新的、随时间变化的数据集合，用以支持企业或组织的决策分析过程。数据仓库数据仓库 面向主题：数据仓库中的数据是按照一定的主题域进行组

3、织的。 集成的：数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须要保证数据仓库内的信息是关于整个企业的一致的全局信息。 不可更新的：数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。 随时间变化的：数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点到目前的各个阶段的信息。 数据仓库数据仓库u数据仓库的组成数据仓库的组成 数据仓库数据库； 数据抽取工具； 元数据； 访问工具； 数据集市； 数据仓库管理； 信息发布系统。数据仓库数据仓库 数据仓库数据库：是整个数据仓库环境的核心，是数据存放的地方和提供对数据

4、检索的支持。 数据抽取工具：把数据从各种各样的存储方式中拿出来，进行必要的转化、整理，再存放到数据仓库内。 元数据：元数据是描述数据仓库内数据的结构和建立方法的数据。 访问工具：为用户访问数据仓库提供手段。 数据集市：为了特定的应用目的或应用范围，而从数据仓库中独立出来的一部分数据，也可称为部门数据或主题数据（subjectarea）。 数据仓库管理：安全和特权管理、跟踪数据的更新、数据质量检查、管理和更新元数据、审计和报告数据仓库的使用和状态等功能 信息发布系统：把数据仓库中的数据或其他相关的数据发送给不同的地点或用户。 数据仓库数据仓库面向主题面向主题数据仓库设计数据仓库设计数据仓库建模收

5、集分析需求构建数据仓库数据驱动方法收集分析需求构建数据仓库数据仓库建模需求驱动方法u数据仓库设计数据仓库设计数据挖掘数据挖掘u数据挖掘的概念数据挖掘的概念u数据挖掘工具数据挖掘工具 数据挖掘工具主要有神经计算、智能代理和辅助分析三种 数据挖掘（Data Mining，DM）就是从超大型数据库(VLDB)或数据仓库中搜索有用的商业信息的过程。数据挖掘数据挖掘u数据挖掘的应用数据挖掘的应用零售和销售业：预测销售，确定库存量和分销计划等。银行业：预测坏账、信用卡欺诈、新信用卡用户等。航空公司：捕捉客户经常去的地方和那些中途转机的乘客的最终目的地等。广告：预测在黄金时间播放什么广告最好，怎样使插入广告

6、的收效最大。市场营销：对客户的人口统计信息进行分类，以预测哪些客户将对推销商品的邮件做出应答或购买特殊产品。电子数据交换电子数据交换 EDI概念 EDI是一种通过电子信息手段，在贸易伙伴之间传递商务交易元素的方法和标准。具有信息标准化、传输电子化、计算机处理等特点。 EDI是一种计算机应用技术。国际标准化组织将EDI定义为：将商业或行政事务，按照一个公认的标准，形成结构化的事务处理或报文数据格式，从计算机到计算机的电子数据传输。联合国国际贸易法委员会EDI工作组对EDI的法律定义为：EDI是用户的计算机系统之间的对结构化的、标准化的信息进行自动传送和自动处理的过程。电子数据交换电子数据交换 E

7、DI是交易双方之间的文件传递。 交易双方传递的文件是特定的格式，采用的是报文标准 双方均有自己的计算机系统(或计算机管理信息系统)。 双方计算机之间有网络通讯系统，信息传输是通过该网络通讯系统实现的，信息处理是由计算机自动进行的，无须人工干预和人为介入 电子数据交换电子数据交换 EDI国际标准 EDI的标准有4种：企业专用标准、行业标准、国家标准和国际标准。 目前世界上通用EDI标准有两个：一个是由美国国家标准局主持制定的X.12数据通信标准，另一个是由联合国推出的EDIFACT标准电子数据交换电子数据交换 EDI系统结构及组成 在EDI中，称EDI参与者所交换的信息客体为报文。在交换过程中，

8、如果接收者从发送者所得到的全部信息包括在所交换的报文中，则认为语义完整，并称该报文为完整语义单元(CSU)。CSU的生产者和消费者统称为EDI的终端用户。 在EDI工作过程中，所交换的报文都是结构化的数据，整个过程都是由EDI系统完成的。EDI系统包括软件、硬件及通信网络三大要素，整个系统结构如下页图所示。具体功能如下：EDI系统结构 电子数据交换电子数据交换用户用户接口模块报文生成及处理模块格式转换模块通信模块EDI系统EDI通信网络EDI系统本单位其他信息系统和数据内部接口模块电子数据交换电子数据交换 EDI各个模块具体功能 用户接口模块是EDI系统与EDI用户的界面，用户通过该模块实现E

9、DI的各种功能以及对数据的查询、统计等操作，帮助用户了解本单位的情况，打印和显示各种统计报表，及时了解市场变化，调整策略。 内部接口模块是EDI系统和本单位内部其他信息系统及数据库的接口，一份来自外部的EDI报文，经过EDI系统处理之后，大部分相关内容都需要经内部接口模块送往其他信息系统，或查询其他信息系统才能给对方EDI报文以确认的答复。电子数据交换电子数据交换 报文生成及处理模块有两个功能： 接收来自用户接口模块和内部接口模块的命令和信息，按照EDI标准生成订单、发票等各种EDI报文和单证，经格式转换模块处理后，由通信模块经EDI网络发给其他EDI用户 自动处理由其他EDI系统发来的报文。

10、根据不同的报文类型，应用不同的程序进行处理，如合同处理、发票处理等。在处理过程中要与本单位信息系统相连，获取必要的信息给其他EDI系统答复，同时将报文中的有关信息送至相关的信息系统中。电子数据交换 格式转换模块将各种EDI报文按照EDI结构化的要求作结构化处理，按照EDI的语法规则进行压缩、嵌套和代码转换，并加上必要的EDI语法控制字符提交给通信模块，发送给其他EDI用户；或者将通信模块收到的结构化的EDI报文进行解析，以便信息系统或数据库作进一步处理。在格式转换过程中要进行语法检查，对于语法出错的EDI报文应该拒收，并通知对方重发。 通信模块是EDI系统与EDI通信网络的接口，执行呼叫、应答

11、、地址转换、自动重发、合法性和完整性检查、出错报警、自动应答、通信记录、差错校验等功能。电子数据交换电子数据交换 EDI工作过程就是用户将相关数据从自己的计算机信 息系统传送到有关交易方的计算机信息系统的过程 ，该实现过程可分为以下几个步骤 A公司格式单证中间文件EDI标准报文通信网络EDI标准报文B公司格式单证中间文件格 式转换翻译通信翻译格 式转换通信电子数据交换电子数据交换 EDI实现过程可分为以下几个步骤 发送方将要发送的数据从信息系统数据库提出，转换成中间文件。 将中间文件翻译成标准的EDI报文。 发送EDI报文。 接收方从EDI信箱中收取信件。 EDI信件拆开并翻译成中间文件。 将中间文件转换并送到接收方信息系统中进行处理。