大数据的发展与应用.pptx

《大数据的发展与应用.pptx》由会员分享，可在线阅读，更多相关《大数据的发展与应用.pptx（47页珍藏版）》请在优知文库上搜索。

1、数数概概数数1数数产产数数应应234大数据的基本概大数据的基本概念念 国务院促进大数据发展行动纲要国务院促进大数据发展行动纲要 大数据是大数据是以以容量大、类型多、存取速度快、容量大、类型多、存取速度快、应应 用价值高用价值高为主要特征的为主要特征的数据集合数据集合，正快速发，正快速发展展 为对数量巨大、来源分散、格式多样的数据为对数量巨大、来源分散、格式多样的数据进进 行采集、存储和关联分析，从中发现新知识行采集、存储和关联分析，从中发现新知识、 创造新价值、提升新能力的新一代信息技术创造新价值、提升新能力的新一代信息技术和和 服务业态服务业态。大数据的基本概大数据的基本概念念 重要意重要意

2、义义 大数据成为推动经济转型发展的新动大数据成为推动经济转型发展的新动力力 大数据持续激发商业模式创新，不断催生新业态，已成为互大数据持续激发商业模式创新，不断催生新业态，已成为互联联 网等新兴领域促进业务创新增值、提升企业核心价值的重要网等新兴领域促进业务创新增值、提升企业核心价值的重要驱驱 动动力力 大数据成为重塑国家竞争优势的新机大数据成为重塑国家竞争优势的新机遇遇 发掘和释放数据资源的潜在价值，有利于更好发挥数据资源发掘和释放数据资源的潜在价值，有利于更好发挥数据资源的的 战略作战略作用用 大数据成为提升政府治理能力的新途大数据成为提升政府治理能力的新途径径 建立建立“用数据说话、用数

3、据决策、用数据管理、用数据创新用数据说话、用数据决策、用数据管理、用数据创新” ” 的管理机的管理机制制 维基百科的定维基百科的定义义 大数据是指利用常用软件工具捕获、管理和大数据是指利用常用软件工具捕获、管理和处处 理数据所耗时间超过可容忍时间的理数据所耗时间超过可容忍时间的数据数据集集大数据的基本概大数据的基本概念念 IDC(International Data Corporation)的定的定义义 大数据一般会涉及大数据一般会涉及2 种或种或2 种以上种以上数据形式数据形式。 它要收集超过它要收集超过100TB 的数据，并且是高速、的数据，并且是高速、实实 时数据流时数据流; 或者是从小

4、数据开始，但数据每年或者是从小数据开始，但数据每年会会 增长增长60%以以上上大数据的基本概大数据的基本概念念 Gartner的定的定义义 大数据是需要新处理模式才能具有更强的决大数据是需要新处理模式才能具有更强的决策策 力、洞察发现力和流程优化能力的海量、高力、洞察发现力和流程优化能力的海量、高增增 长率和多样化的长率和多样化的信息资信息资产产大数据的基本概大数据的基本概念念 规模性规模性（VolumeVolume） 根据根据IDC 的定义至少要有超过的定义至少要有超过100TB 的可供的可供分分 析的数据，数据量大是大数据的基本属析的数据，数据量大是大数据的基本属性性大数据的特大数据的特点

5、点 著名咨询公司著名咨询公司IDCIDC的统的统计计 2011 年全球被创建和复制的数据总量为年全球被创建和复制的数据总量为1.8ZB（10 的的21 次方），其中次方），其中75%来自于个人（来自于个人（主主 要是图片、视频和音乐），远远超过人类有要是图片、视频和音乐），远远超过人类有史史 以来所有印刷材料的数据总量以来所有印刷材料的数据总量（200PB） 预测到预测到2020 年，全球数据量暴增年，全球数据量暴增44 倍（相倍（相比比2009 年），总量会达到年），总量会达到35 ZB。大数据的特大数据的特点点 数据增长定数据增长定律律 图灵奖获得者图灵奖获得者Jim Gray提出数据增长

6、的经验提出数据增长的经验定定 律律 网络环境下每网络环境下每1818 个月产生的数据量等于有史以来个月产生的数据量等于有史以来数数 据量之据量之和和大数据的特大数据的特点点 著名咨询公司著名咨询公司IDCIDC的统的统计计 Google 公司通过大规模集群和公司通过大规模集群和MapReduce 软件，每月处理的数据量超过软件，每月处理的数据量超过400PB 百度百度每天大约要处理几十每天大约要处理几十PB 数数据据 Facebook 注册用户超过注册用户超过10亿，每月上传的亿，每月上传的照照 片超过片超过10 亿张，每天生成亿张，每天生成300TB 以上的日以上的日志志 数数据据 淘宝淘宝

7、网会员超过网会员超过3.7 亿，在线商品超过亿，在线商品超过11 亿亿类类，每天交易数千万笔，产生约，每天交易数千万笔，产生约20TB 数据数据。大数据的特大数据的特点点大数据的特大数据的特点点 著名咨询公司著名咨询公司IDCIDC的统的统计计 传感网和物联网的蓬勃发展是大数据的又一传感网和物联网的蓬勃发展是大数据的又一推推 动力，各个城市的视频监控每时每刻都在采动力，各个城市的视频监控每时每刻都在采集集 巨量的流媒体巨量的流媒体数数 劳斯莱斯公司对全世界数以万计的飞机引擎劳斯莱斯公司对全世界数以万计的飞机引擎进进 行实时监控，每年传送行实时监控，每年传送PB数量级的数据数量级的数据。大数据的

8、特大数据的特点点大数据的特大数据的特点点 数据丰富，信息贫数据丰富，信息贫乏乏组组织织项项目目数据规数据规模模电电信信通话清通话清单单数十亿条数十亿条/月月银银行行业务数业务数据据数千万条数千万条/月月股股票票日线数日线数据据数十万条数十万条/月月卷烟卷烟厂厂生产数生产数据据数百万条数百万条/月月超超市市销售数销售数据据数百万条数百万条/月月搜索引搜索引擎擎网网页页数百亿数百亿页页在线零售在线零售商商交易数交易数据据数百万数百万条条 多样性多样性（VarietyVariety） 数据类型繁多，复杂多变是大数据的重要特数据类型繁多，复杂多变是大数据的重要特性性 以往的数据尽管数量庞大，但通常是事

9、先定以往的数据尽管数量庞大，但通常是事先定义义 好的结构化数据。结构化数据是将事物向便好的结构化数据。结构化数据是将事物向便于于 人类和计算机存储、处理、查询的方向抽象人类和计算机存储、处理、查询的方向抽象的的 结结果果 数据都以表格的形式保存在数据库数据都以表格的形式保存在数据库中中大数据的特大数据的特点点 多样性多样性（VarietyVariety） 大数据时代半结构化、非结构化数据逐渐成大数据时代半结构化、非结构化数据逐渐成为为 主流数据。非结构化数据量已占到数据总量主流数据。非结构化数据量已占到数据总量的的 75%以上，且非结构化数据的增长速度比结以上，且非结构化数据的增长速度比结构构

10、 化数据快化数据快10 倍到倍到50 倍倍。 数据类型层出不穷，已经很难用一种或几种数据类型层出不穷，已经很难用一种或几种规规 定的模式来表征日趋复杂、多样的数据形定的模式来表征日趋复杂、多样的数据形式式大数据的特大数据的特点点视频、音频、图片、邮件、视频、音频、图片、邮件、HTML、RFID、GPS 和传感和传感器器WebWeb数据挖掘面临的难数据挖掘面临的难题题WebWeb上半结构化数据特上半结构化数据特点点Web页面的结构是页面自描述页面的结构是页面自描述的的在页面里数据与结构混合存在页面里数据与结构混合存在在结构经常动态变结构经常动态变化化WebWeb数据挖掘面临的难数据挖掘面临的难题

11、题WebWeb数据挖掘面临的难数据挖掘面临的难题题WebWeb数据挖掘面临的难数据挖掘面临的难题题 高速性高速性（VelocityVelocity） 要求数据的快速处理，是大数据区别于传统要求数据的快速处理，是大数据区别于传统海海 量数据处理的重要特性之量数据处理的重要特性之一一 不断激增的数据不但不能为解决问题带来优不断激增的数据不但不能为解决问题带来优势势，反而成了快速解决问题的负，反而成了快速解决问题的负担担 数据不是静止不动的，而是在互联网络中不数据不是静止不动的，而是在互联网络中不断断 流动，且通常这样的数据价值是随着时间的流动，且通常这样的数据价值是随着时间的推推 移而迅速降低的，

12、移而迅速降低的，如果数据尚未得到有效的如果数据尚未得到有效的处处 理，就失去了价值，大量的数据就没有意理，就失去了价值，大量的数据就没有意义义大数据的特大数据的特点点 价值性价值性（ValueValue） 大数据的价值往往呈现出稀疏性的特大数据的价值往往呈现出稀疏性的特点点 数据价值密度低是大数据关注的非结构化数数据价值密度低是大数据关注的非结构化数据据 的重要属的重要属性性 视频监控，大量的图像数据被存储下来，对视频监控，大量的图像数据被存储下来，对于于 某一特定的应用，比如获取犯罪嫌疑人的体某一特定的应用，比如获取犯罪嫌疑人的体貌貌 特征，有效的视频数据可能仅仅有特征，有效的视频数据可能仅

13、仅有1-2秒秒大数据的特大数据的特点点 数据产生方式的变数据产生方式的变革革 人类社会的数据产生方式经历了个阶段，人类社会的数据产生方式经历了个阶段，而而 正是数据产生方式的巨大变化才最终导致大正是数据产生方式的巨大变化才最终导致大数数 据的产据的产生生 运营式系统阶运营式系统阶段段 用户原创内容阶用户原创内容阶段段 感知式系统阶感知式系统阶段段大数据的产大数据的产生生 运营式系统阶运营式系统阶段段 数据库出现使得数据管理的复杂度大大降数据库出现使得数据管理的复杂度大大降低低 超市的销售记录系超市的销售记录系统统 银行的交易记录系银行的交易记录系统统 医院病人的医疗记医院病人的医疗记录录 主要

14、特点是数据伴随运营活动产生并记录在主要特点是数据伴随运营活动产生并记录在数数 据库据库中中 比如淘宝每销售出一件产品就会在数据库中产生比如淘宝每销售出一件产品就会在数据库中产生相相 应的一条销售记应的一条销售记录录大数据的产大数据的产生生 用户原创内容阶用户原创内容阶段段 互联网促使人类社会数据量出现第次飞跃互联网促使人类社会数据量出现第次飞跃， 但是真正的数据爆发产生于但是真正的数据爆发产生于Web2.0时代时代， Web2.0的最重要标志就是用户原创内的最重要标志就是用户原创内容容 主要原主要原因因 以博客、微博和微信等为代表的新型社交网络的以博客、微博和微信等为代表的新型社交网络的出出

15、现和快速发现和快速发展展 以智能手机、平板电脑为代表的新型移动设备的以智能手机、平板电脑为代表的新型移动设备的出出 现，使得人们在网上发表自己意见的途径更为便现，使得人们在网上发表自己意见的途径更为便捷捷大数据的产大数据的产生生 感知式系统阶感知式系统阶段段 人类社会数据量第次飞跃最终导致了大数人类社会数据量第次飞跃最终导致了大数据据 的产生，今天正处于这个阶的产生，今天正处于这个阶段段 飞跃的根本原因飞跃的根本原因感知式系统的广泛使感知式系统的广泛使用用 制造极其微小的带有处理功能的传感制造极其微小的带有处理功能的传感器器 设备对整个社会运转进行监设备对整个社会运转进行监控控 设备会源源不断

16、地产生新数设备会源源不断地产生新数据据大数据的产大数据的产生生空气钻井事故预警系空气钻井事故预警系统统空气钻井事故预警系空气钻井事故预警系统统空气钻井事故预警系空气钻井事故预警系统统传传感感 器器空气管空气管道道空气钻井事故预警系空气钻井事故预警系统统大数据在医疗行业的应大数据在医疗行业的应用用 临床决策支持系临床决策支持系统统 使用图像分析和识别技术使用图像分析和识别技术, 识别医疗影像数识别医疗影像数据据 挖掘医疗文献数据建立医疗专家数据库挖掘医疗文献数据建立医疗专家数据库, 从从而而 给医生提出诊疗建给医生提出诊疗建议议1233大数据在汽车制造公司的应大数据在汽车制造公司的应用用 大数据大数据预预测测 基于微博和百度指数的福特汽车销量预基于微博和百度指数的福特汽车销量预测测 背背景景 来来源源大数据在汽车制造公司的应大数据在汽车制造公司的应用用大数据在汽车制造公司的应大数据在汽车制造公司的应用用大数据在汽车制造公司的应大数据在汽车制造公司的应用用大数据在汽车制造公司的应大数据在汽车制造公司的应用用大数据在汽车制造公司的应大数据在汽车制造公司的应用用大数据在商业银行的应大数据在商业