大数据发展跟踪研究报告.ppt

《大数据发展跟踪研究报告.ppt》由会员分享，可在线阅读，更多相关《大数据发展跟踪研究报告.ppt（24页珍藏版）》请在优知文库上搜索。

1、大数据发展跟踪研究报告中国电信广州研究院中国电信广州研究院目录q大数据发展趋势概述q大数据关键技术分析q电信大数据策略建议中国电信广州研究院中国电信广州研究院全球进入大数据时代，数据呈现爆炸式增长趋势p 随着互联网/移动互联网、数码设备、物联网/传感器等技术的发展，全球数据生产在高速增长 p 信息处理技术的发展使数据价值能够被更好地挖掘和利用p 传统的数据处理技术已经无法应对新的挑战来源：IDC数字宇宙研究报告，2011.11据IDC预测，未来10年全球数据量将以40+%的速度增长，2020年全球数据量将达到35ZB （35,000,000PB），为2009年（0.8ZB）的44倍中国电信广州

2、研究院中国电信广州研究院大数据成为继云计算等之后的全球性新热点p “大数据”关键词在全球范围内迅速升温 p 短短两年间，“大数据”关键词的搜索量指数双倍增长数据来源：百度搜索量统计中国电信广州研究院中国电信广州研究院p 麦肯锡全球研究机构发布，认为大数据是创新、竞争和生产力的下一个前沿领域，数据将会给社会带来更大的价值 p 大数据将在政府公共服务、医疗服务、零售业、制造业、以及涉及个人位置服务等领域得到广泛应用，并产生巨大的社会价值和产业空间p 预测2020年，大数据应用市场规模将达到近2600 亿美元大数据市场前景对欧洲的公共管理部门来说，大数据每年有2500 亿欧元的潜在价值-比希腊的GD

3、P 还高对美国医疗行业来说，大数据每年拥有3000 亿美元的潜在价值生产商可以利用大数据使产品研发、组装成本削减50%，人力成本削减7%利用全球的个人位置信息，每年可以取得6000 亿美元的消费者价值零售商可以利用大数据使经营利润取得60%的增长大数据市场前景广阔，成为全球新的经济增长点中国电信广州研究院中国电信广州研究院各国政府高度重视大数据，上升到国家战略高度美国：奥巴马政府3.29宣布“Big Data Research and Development Initiative”q 将投入超过2亿美元推动大数据提取、存储、分析、共享、可视化等领域的研究，并将其与历史上对超级计算和互联网的投资

4、相提并论中国：工信部物联网十二五规划q 信息处理技术作为4 项关键技术创新工程之一被提出q 包括海量数据存储、数据挖掘等中国电信广州研究院中国电信广州研究院国外互联网公司走在大数据应用前沿p Google开放BigQuery服务：将企业數據分析能力商品化，成為收費線上服務；p 统计机器翻译(statistical machine translation)：利用庞大的已经翻译好的文件输入电脑，然后由电脑通过识别库存的句式来进行翻译，而不是只通过语法规则和词库进行翻译。p Twitter 利用大数据技术，预测猪流感等流行性疾病爆发。 研究人员收集超过5000万条基于地缘位置的twitter消息，然

5、后按区域与英国国家卫生服务部的官方禽流感数据进行了比较。通过从数据库中找出与禽流感相关的关键词，Lampos能够创造出一个将未来twitter消息中流感发病情况的关键词转化为某一特定地区流感严重程度的模型中国电信广州研究院中国电信广州研究院国外运营商利用大数据已有初步应用按流量种类的固定收费，解除用户流量后顾之忧培养用户使用数据业务习惯，增强用户粘性针对预付费用户群，扩大流量收入面向智能终端用户面向低端、高度同质化竞争市场p 西班牙电信：包月流量套餐定制（根据客户访问内容和SLA要求，提供不同费率套餐）p T-Mobile：应用大数据技术，降低客户流失率。 在多个IT系统中整合了大数据应用，对

6、客户交易和互动数据进行综合分析，更准确地预测客户流失率。通过将社交媒体数据和CRM和计费系统中的交易数据进行综合分析，T-mobile在一个季度内将客户流失率降低了50%。中国电信广州研究院中国电信广州研究院国内公司：阿里巴巴要做中国数据分析第一平台q 阿里巴巴的企业愿景是要做分享数据的第一平台。q 大数据时代“将阿里集团变成一家真正意义上的数据公司”q 知道“你是谁，你想要什么”q 阿里巴巴集团所积淀的商业数据，支付宝、淘宝、阿里金融、B2B的数据都会成为这个巨大的数据分享平台的一部分，将会获得深度发掘和应用。中国电信广州研究院中国电信广州研究院国内运营商：中移动依托大云，试点经分p 中国移

7、动：历时多年打造大云平台q集团组织技术验证：基于大云平台，以经分为切入点，利用现有数据，探索大数据技术，已在河北等三省试点q应用探索：尝试利用大数据技术识别异常话单q产品线： 分析型PaaS产品，大数据处理的一个主要产品，包括Hadoop基础平台。 基于Hadoop的大数据仓库。 并行数据挖掘工具。 搜索引擎系统，基于中国移动“大云”平台，推出面向公众的搜索业务”盘古搜索”。中国电信广州研究院中国电信广州研究院国内运营商：联通试点流量清单查询p 中国联通：以“流量清单查询”探索大数据技术q平台：英特尔至强平台及“Hadoop开发版”大数据解决方案。q功能：客户服务人员提供客户上网记录的快速查询

8、服务，或为客户本人提供高效的异常大流量上网记录自助查询服务。q上线：完成北京、黑龙江、浙江、重庆试点，预计将会在今年10月份正式发布。q 建设模式：联通的大数据平台是建立在数据大集中的基础之上，“我们现在在集团公司进行统一部署，各个省分仅仅是做数据的采集，按照业务实时性将数据传送到集团公司，由集团公司统一处理。 ” 中国电信广州研究院中国电信广州研究院目录q大数据发展趋势概述q大数据关键技术分析q电信大数据策略建议中国电信广州研究院中国电信广州研究院大数据涉及的关键技术需求技术描述关键技术海量数据分布式处理Hadoop 生态系统针对大量数据进行分布式处理的系统框架实时数据处理Streaming

9、 Data流计算引擎非结构化数据处理文本处理技术；自然语言理解； 多媒体处理技术文本内容分词与分析；图像、音视频分析可视化交互界面通过交互式可视化界面辅助用户进行分析交互式可视化探索分析技术智能数据分析大规模机器学习技术计算机模拟人类学习行为，包括特征提取、图形生成等保护隐私数据与信息个体的对应关系等安全技术高效存储和管理大规模数据数据存储备份技术、数据放置和调度技术、数据溯源存储、放置、调度大规模的数据数据隐私保护数据隐私防范保护措施与数据安全技术大数据采集处理大数据分析存储、组织、管理中国电信广州研究院中国电信广州研究院大数据技术处于快速成熟阶段Gartner 新兴技术 Hyper 曲线

10、(2012年)达到成熟期尚需时间Gartner 新兴技术 Hyper 曲线 (2011年)q 仅一年时间，大数据技术就取得快速成长。q 仍处于上升通道，处于期望膨胀期（Peak of Inflated Expectation）q 需2-5年才能达到成熟期，成为主要应用技术。中国电信广州研究院中国电信广州研究院各IT厂家纷纷快速跟进大数据技术p “大数据”对信息处理设施和技术提出了更高的要求 p 全球主流IT厂家纷纷加大在大数据领域的投入，行业价值快速增长中国电信广州研究院中国电信广州研究院目录q大数据发展趋势概述q大数据关键技术分析q电信大数据策略建议中国电信广州研究院中国电信广州研究院q 传

11、统数据主要来自于业务运营支撑系统、企业管理系统等，比如财务收入、业务发展量等结构化数据；q 当前爆炸式增长的新数据主要来源于互联网、移动互联网等，比如图片、文本、音频、视频等非结构化数据。q 非结构化新数据和结构化传统数据一起构成大数据。大数据传统数据客户资料订单数据产品数据物资数据财务数据信令数据网管数据实时监控视频传感器数据即时通信数据视频文件客户账单价值密度由高到低网上交易数据微博数据上网行为数据位置数据图片音频网页日志结构化数据、非结构化数据定义：结构化数据是能够用数据库二维表来逻辑表达的数据；其他为非结构化数据。大数据是传统数据的延伸，是对传统数据在深度和广度上的补充中国电信广州研究

12、院中国电信广州研究院p 对电信拥有的大数据，进行全面深入、实时的分析和应用， 是电信应对新形势下的挑战，避免沦为管道化的的关键大数据为电信带来新的机遇 同质化竞争严重 面临来自互联网公司的竞争：遭遇流量增加，但附加值没有增加的困境 运营商具有丰富的数据资源：掌握用户资源及用户访问互联网的入口 对数据的有效利用日益成为中国电信进一步发展的关键 发现需求/业务创新：对市场保持足够的敏锐度，及时捕捉市场空白，并迅速作出响应 吸引和留住用户：快速满足用户个性化需求，成功吸引用户注意力和增加用户黏性大数据将成为中国电信发展的核心驱动引擎中国电信广州研究院中国电信广州研究院q 电信拥有丰富的数据来源客户资

13、料产品信息行为数据位置数据数据网络数据 q 完善360度客户视图帮助我们回答我是谁？我是一个怎样的人？帮助我们进一步的了解事物之间的内在联系帮助我们了解周围有多少人和自己有相同特征，他们有什么有趣的新发现 行为预测 行为理解用户行为分析大数据对电信的主要核心价值客户深度洞察中国电信广州研究院中国电信广州研究院q 信息获取的及时性和价值成正比，而及时性主要由数据处理速度和结果获取速度决定。q 大数据新的处理及应用技术有效提升信息获取及时性流处理和分布式计算技术有效提升数据处理的速度移动BI等能够将各类图表直观快速的传递给用户，提高决策的有效性可视化技术提供了一种对已有预测进行检验，对未知信息进行

14、探索，实现快速、可检验和易理解的评估的手段大数据对电信的主要核心价值及时有效决策支持中国电信广州研究院中国电信广州研究院流量经营个性化服务数据服务网络优化大数据应用 获取并处理DPI数据，分析用户行为特征等 根据用户行为偏好，推送相关业务 按照流量价值分级经营 优化产品、套餐等，提供个性化定制能力 根据用户等级提供差异化服务 实时采集处理信令据，监控网络状况 实现网络、应用和用户的智能指配 指导网络规划 将数据封装成服务，提供给企业所有用户 提供数据分析开放能力 电信大数据应用的主要场景中国电信广州研究院中国电信广州研究院大数据在管理、技术和应用上带来的挑战大数据如何有效组织和管理？大数据时代

15、如何保护数据安全？保护用户隐私？大数据如何保障其数据质量？如何从海量数据中发掘数据价值？现有数据应用模式已经难以适应大数据持续优化的需求大数据技术架构挑战大数据应用挑战大数据管理挑战大数据对存储、网络等提出了更高要求；多源异构大规模数据的采集、整合面临挑战；中国电信广州研究院中国电信广州研究院中国电信大数据应对策略与建议p 加强技术储备，有序开展大数据关键技术研究与验证 非结构化数据处理、交互式可视化分析、流计算p 找准切入点，尽快推动大数据技术应用试验，为大规模应用、推广奠定基础 智能管道：流量经营、定向广告服务、实时位置营销. 综合平台：数据服务、数据能力开放p 加强人才培养，持续优化组织架构，适应大数据运营要求 着力培养“业务+数据+技术”专业化人才队伍 建立大数据集约化联合运营团队，构建“管理+生产+研发”一体化运作体系p 集团统筹大数据技术及应用研究，加大技术储备和人才队伍建设，迎接大数据时代的到来。应对措施总体思路p 拥有庞大、高质量数据，能够从移动互联网、互联网等接入端获取到大量用户行为数据；p 电信的IDC、光网城市，为大数据应用的存储、计算和传输提供了良好基础；p 以数据为驱动的营销支撑体系基本形成，为大数据价值转换和显现提供良好基础；现有基础中国电信广州研究院中国电信广州研究院请各位领导与专家指正！请各位领导与专家指正！