大数据应用解决方案.docx

《大数据应用解决方案.docx》由会员分享，可在线阅读，更多相关《大数据应用解决方案.docx（46页珍藏版）》请在优知文库上搜索。

1、大数据应用解决方案1. 大数据概述错误!未定义书签。1. 1.概述错误!未定义书签。2. 2.大数据定义错误!未定义书签。3. 3.大数据技术发展错误!未定义书签。2. 大数据应用错误!未定义书签。1. 1.大数据应用阐述错误!未定义书签。2. 2.大数据应用架构错误!未定义书签。3. 3.大数据行业应用错误!未定义书签。2. 3.1.医疗行业错误!未定义书签。3. 3.2.能源行业错误!未定义书签。4. 3.3,通信行业错误!未定义书签。5. 3.4.零售业错误!未定义书签。6. 大数据解决方案错误!未定义书签。6.1. 大数据技术组成错误!未定义书签。6.1.1. 分析技术错误!未定义书签

2、。3. 1.1.1.可视化分析错误!未定义书签。4. 1.1.2.数据挖掘算法错误!未定义书签。5. 1.1.3.预测分析能力错误!未定义书签。6. 1.1.4.语义引擎错误!未定义书签。7. 1.1.5.数据质量和数据管理错误!未定义书签。3.2.大数据解决过程错误!未定义书签。3.2.1.采集错误!未定义书签。3.2.2.导入/预解决错误!未定义书签。3.2.3.记录/分析错误!未定义书签。3.2.4.挖掘错误!未定义书签。3.3.大数据解决的核心技术Tadoop错误!未定义书签。3.3.1.Hadoop的组成错误!未定义书签。3.3.2.Had。P的优点：错误!未定义书签。3.3.2.1

3、.高可靠性。错误!未定义书签。3.3.2.2.高扩展性。错误!未定义书签。3.3.2.3.高效性。错误!未定义书签。3.3.2.4.高容错性。错误!未定义书签。3.3.3.Hadoop的局限性错误!未定义书签。3.3.4.重要商业性“大数据”解决方案错误!未定义书签。3.3.2.5.IBMInfoSphere大数据分析平台错误!未定义书签。3.3.2.6.Orac1eBigDataApplianc错误!未定义书签。3.3.2.7.Micr0s0ftSQ1.Server.错误!未定义书签。3.3.2.8.SybaseIQ错误!未定义书签。3. 3.5.其他“大数据”解决方案错误!未定义书签。3.

4、 3.2.9.EMC错误!未定义书签。3. 4.大数据解决技术发展前景错误!未定义书签。3. 4.1.大数据复杂度减少错误!未定义书签。4. 4.2.大数据细分市场错误!未定义书签。5. 4.3.大数据开源错误!未定义书签。6. 4.4.Hadoop将加速发展错误!未定义书签。7. 4.5.打包的大数据行业分析应用错误!未定义书签。8. 4.6.大数据分析的革命性方法出现错误!未定义书签。9. 4.7.大数据与云计算:深度融合错误!未定义书签。10. 4.8.大数据一体机陆续发布错误!未定义书签。4. 基于基站大数据应用及案例错误!未定义书签。4.1. 气象灾害应急短信发布平台错误!未定义书签

5、。4.1.1.概述错误!未定义书签。4.1.1.1.项目背景错误!未定义书签。4.1.1.2.平台概述错误!未定义书签。4.1.2.平台建设特点与原则错误!未定义书签。4.1.2.1.建设特点错误!未定义书签。4.1.2.2.建设原则错误!未定义书签。4.1.2.3.大数据管理平台特点错误!未定义书签。4.1.3.平台整体架构错误!未定义书签。4.1.3.1.建设原理错误!未定义书签。2.平台技术架构错误!未定义书签。4. 1.3.3.平台技术思绪错误!未定义书签。5. 1.3.4.平台技术路线错误!未定义书签。1 .内存数据库错误!未定义书签。2 .短信发送多链路配置错误!未定义书签。3 .

6、队列缓存错误!未定义书签。4 .参数可配置错误!未定义书签。4. 1.3.5.平台性能规定错误!未定义书签。4.1. 4.平台网络拓扑错误!未定义书签。4.2. 5.平台关键流程错误!未定义书签。4.1.5.1.平台数据流程错误!未定义书签。4.1.5.2,平台业务主流程错误!未定义书签。4.1.5.3.短信下发审批流程错误!未定义书签。4.1.5.4.信令分析解决流程错误!未定义书签。4.1.5.5.短信发送流程错误!未定义书签。4.1. 6.平台功能模块错误!未定义书签。4.1. 6.1.信令分析子系统错误!未定义书签。4.2. 6.2.短信发送子系统错误!未定义书签。1 .短信发送功能错

7、误!未定义书签。2 .短信回执接受功能错误!未定义书签。4.1.6. 3.管理子系统错误!未定义书签。1 .用户管理错误!未定义书签。2 .权限管理错误!未定义书签。3 .实时监控错误!未定义书签。4 .日记管理错误!未定义书签。5 .基站位置信息管理错误!未定义书签。6 .系统参数配置管理错误!未定义书签。6.1. 6.4,内容数据库子系统错误!未定义书签。4.1.7. 平台外部接口错误!未定义书签。4. 1.7.1.信令采集接口错误!未定义书签。1 .接口说明错误!未定义书签。2 .数据采集模式错误!未定义书签。4. 1.7.2.短信发送接口错误!未定义书签。1 .短信发送告知接口错误!未

8、定义书签。2 .短信发送状态查询接口错误!未定义书签。3 .短信发送接口错误!未定义书签。4. 1.7.3.基站位置信息接口错误!未定义书签。1 .数据同步模式错误!未定义书签。2 .基站位置信息全量同步接口错误!未定义书签。3 .基站位置信息增量同步接口错误!未定义书签。4.2.2.整体方案错误!未定义书签。4.2.2.1.方案思绪错误!未定义书签。4.2.2.2.分析范围错误!未定义书签。4.2.2.3.方案特点错误!未定义书签。4.2.3.方案设计错误!未定义书签。4. 2.3.1.系统关系错误!未定义书签。5. 2.3.2.系统架构错误!未定义书签。1 .数据分析后台能力错误!未定义书

9、签。2 .Web前台能力错误!未定义书签。4. 2.3.3.数据采集错误!未定义书签。5. 2.3.4.业务分析错误!未定义书签。1 .总体分析流程错误!未定义书签。2 .景区综合流量记录分析错误!未定义书签。3 .景区游客来源地构成分析错误!未定义书签。4 .景区全网总游客实时估算错误!未定义书签。5 .景区流量预判模型分析错误!未定义书签。6 .景区流量上限告警错误!未定义书签。7 .旅游景点热度排名分析错误!未定义书签。8 .旅游线路归类记录错误!未定义书签。9 .景区与相关场合关联分析错误!未定义书签。2 .界面辅助功能介绍3 .运营部门应用Portal错误!未定义书签。错误!未定义书

10、签。4.用户权限错误!未定义书签。1 .大数据概述1.1. 概述大数据，IT行业的又一次技术变革，大数据的浪潮汹涌而至，对国家治理、公司决策和个人生活都在产生深远的影响，并将成为云计算、物联网之后信息技术产业领域又一重大创新变革。未来的十年将是一个“大数据”引领的智慧科技的时代、随着社交网络的逐渐成熟，移动带宽迅速提高、云计算、物联网应用更加丰富、更多的传感设备、移动终端接入到网络，由此而产生的数据及增长速度将比历史上的任何时期都要多、都要快。2001年后.互联网迅速发展，/瑞M成倍递量变引起质变，开始对数据管理技术提出全智的要求数据技术发展历史如图一所示：I960年代,IT系绕耗模和复亲度变

11、大，数据与应用分蓬的满求开始产生，数据序技术开始至芽并蓬勃发展.并在1990年后逐步统一至J以关系型散靠史为主导1946年，电脑诞生.数据与应用展蛋捆绑在文件中,彼此不分S就人管代母发迸件时GE公司发前第一人两空理型就罡三.但仗浪于GE自己的主机被，文理SQ1.诺言祓发明1946195119561961关系矣教据至ORAC1.E发布第-RSQ1.关系效据W后会快速发凄石雷仓毒开出清理,关不敢据库芬足全面音后亘二台无关.进入成熟期1970197419791991孟绍计发介式政文布谷论分具；良典999成;为APCChe;l顶级项目.些点支持海量数里分布式管理却分布式计算20032008京图一1.2

12、. 大数据定义“大数据”是一个涵盖多种技术的概念，简朴地说，是指无法在一定期间内用常规软件工具对其内容进行抓取、管理和解决的数据集合。IBM将“大数据”理念定义为4个V,即大量化(VoIUIne)、多样化(Variety)、快速化(VeIOCity)及由此产生的价值(VaIUe)。如图二；图二要理解大数据这一概念，一方面要从大入手，大是指数据规模，大数据一般指在IOTB(ITB=IO24GB)规模以上的数据量。大数据同过去的海量数据有所区别，其基本特性可以用4个V来总结(Vol-umeVarietyValue和Veloc-ity),即体量大、多样性、价值密度低、速度快。数据体量巨大。从TB级别

13、，跃升到PB级别。数据类型繁多，如前文提到的网络日记、视频、图片、地理位置信息，等等。价值密度低。以视频为例，连续不间断监控过程中，也许有用的数据仅仅有一两秒。解决速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。大数据技术是指从各种各样类型的巨量数据中，快速获得有价值信息的技术。解决大数据问题的核心是大数据技术。目前所说的“大数据不仅指数据自身的规模，也涉及采集数据的工具、平台和数据分析系统。大数据研发目的是发展大数据技术并将其应用到相关领域，通过

14、解决巨量数据解决问题促进其突破性发展。因此，大数据时代带来的挑战不仅体现在如何解决巨量数据从中获取有价值的信息，也体现在如何加强大数据技术研发，抢占时代发展的前沿。1.3.大数据技术发展大数据技术描述了一种新一代技术和构架，用于以很经济的方式、以高速的捕获、发现和分析技术，从各种超大规模的数据中提取价值，并且未来急剧增长的数据迫切需要寻求新的解决技术手段。如图三所示:IDC报告DataUniverseStudy图三在“大数据（Bigdata）时代，通过互联网、社交网络、物联网，人们可以及时全面地获得大信息。同时，信息自身存在形式的变化与演进，也使得作为信息载体的数据以远超人们想象的速度迅速膨胀。云时代的到来使得数据发明的主体由公司逐渐转向个体，而个体所产生的绝大部分数据为图片、文档、视频等非结构化数据。信息化技术的普及使得公司更多的办公流程通过网络得以实现，由此产生的数据也以非结构化数据为主。预计到2023年，非结构化数据将达成互联网整个数据量的75%以上。用于提取智慧的“大数据”，往往是这些非结构化数据。传统的数据仓库系统、BI、链路挖掘等应用对数据解决的时间规定往往以小时或天为单位。但“大数据”应用突出强调数据解决的实时性。在线个性化推荐、股票交易解决、实时路况信息等数据解决时间规定在分钟甚至秒级。全球技术研究和征询公司Gartner将“大数据”技术列入2023