大数据项目实施方案.docx

《大数据项目实施方案.docx》由会员分享，可在线阅读，更多相关《大数据项目实施方案.docx（22页珍藏版）》请在优知文库上搜索。

1、项目编号:大数据项目实施方案甲方：乙方：签订时间：年月日本技术协议由（以下简称“）和（以下简称“”）对系统项目（以下简称“”）共同撰写。1 项目介绍51.1 1业务背景51.2 项目目标51.3 方案设计思路52 项目实施前提62.1 项目整体假设62.2 项目一般假设62.3 实施方法假设62.4 系统环境假设62.5 5数据和接口假设62.6 项目团队假设83 项目实施范围83.1 总体实施组织范围83.2 项目实施业务功能范围83.3 项目实施非业务功能范围103.4 项目实施中需要重点关注的变革点124 项目实施技术方案134. 1系统总体架构135. 2系统应用架构146. 3系统数

2、据架构147. 4系统技术架构158. 5系统技术参考模型169. 6技术框架中的软件版本1610. 7系统部署方案和软硬件要求1711. 生产环境现场硬件布点要求1812. 系统集成1813. 10系统接口1814. 11系统安全1815. 12系统运维195项目管理195.1 项目实施计划195.2 项目实施组织205.3 项目实施方法205.4 项目职责划分215.5 项目风险管理225.6 项目变更管理2216. 7项目培训及知识转移226 项目交付件及验收221. 1项目正式交付物226. 2项目非正式交付物227. 3项目验收237 质量保证及服务承诺238 运维及升级方案239

3、.其他约定23附录：后续运维服务相关政策等231项目介绍1.l业务背景（行业背景，企业背景）概述项目提出的业务背景1.2项目目标概述项目建设的目标（目标要具体、有效、可衡量）1.3方案设计思路概述项目设计思路（基于业务、it、项目等维度，重点阐述项目实施原则及指导思想）2项目实施前提9.1 项目整体假设项目整体管理：项目培训管理：项目计划管理：项目质量管理：9.2 项目一般假设双方职责与共同约定全过程负责与配合角色变更程序切换方案接口方案9.3 实施方法假设项目经理负责制9.4 系统环境假设系统环境搭建硬件、网络环境搭建项目办公环境9.5 数据和接口假设2.5.1数据交换方案2.5.1.1数据

4、实时推送方案IOT 消息 中心XXX数据中心部分：1.开发数据ETL任务，从数据中心实时过滤、转发数据到K)T消息中心；2.开发统一数据发送程序，将实时业务数据从XXXIOT消息中心推送至XXXAPl接受服务器；数据推送机制为atleastOnCe,保证数据不丢失，不保证数据重复；XXX数据中心部分：1.开发基于安全签名机制的RESTAPI,负责接收XXX数据中心推送的数据；2.搭建分布式kafka集群，负责缓冲、持久化XXX数据中心推送的实时数据，防止数据量过大对后端数据存储造成压力和数据丢失，同时去除XXX数据中心与XXX数据中心之间的强耦合；3.开发针对mysql,hbase、hadoo

5、p的入库程序，将数据根据使用场景分别存储至业务库和大数据平台；2.5.1.2数据开放平台接入三开者号 第方放账ReStfUl 接口推送接口MQTT1.每个合作伙伴可以拥有一个或多个（方便有多个子机构需要独立开发）开发者账号;2.通过开发者账号可以为开发的应用申请接入码和密钥，通过接入码+密钥签名后，可以访问XXX的开放平台服务（也可以通过开发者账号，获取JWT,让前端直接访问XXX的开放平台）。2.5.2接口网关方案基于springcloud的接口网关2 .6项目团队假设项目组织结构未经同意，不得变更项目参与人员3项目实施范围2.1 总体实施组织范围2.2 项目实施业务功能范围功能清单各功能点

6、说明3 .2.1HDFS分布式文件系统是否必须是是否为标准功能是业务场景可靠性数据存储4 .2.2YARN分布式资源调度系统是否必须是是否为标准功能是业务场景大数据计算资源调度管理5 .2.3MAPREDUCE分布式计算引擎是否必须可选是否为标准功能是业务场景大数据任务计算引擎6 .2.4HlVE任务计算系统是否必须可选是否为标准功能是业务场景基于SQL的大数据任务计算引擎7 .2.5SPARK任务计算系统是否必须是是否为标准功能是业务场景大数据任务计算、数据挖掘引擎8 .2.6Zookeeper分布式系统是否必须是是否为标准功能是业务场景分布式服务注册发现服务9 .2.7HBaSe分布式数据

7、存储系统是否必须是是否为标准功能是业务场景高性能并发读写KV型存储服务10 2.8KAFKA分布式消息系统是否必须是是否为标准功能是业务场景分布式持久化消息订阅转发服务11 2.9Kafka-Monitor监控系统是否必须是是否为标准功能是业务场景针对KAFKA系统状况的监控服务12 2.10SQOOP数据采集转换系统是否必须是是否为标准功能是业务场景提供关系型数据库与大数据数据交换服务3.2.11KAFKA到MYSQL数据转存系统是否必须是是否为标准功能是业务场景提供kafka数据实时写入mysql服务3.2.12KAFKA到HbaSe转存系统是否必须是是否为标准功能是业务场景提供KAFKA

8、数据实时写入HBase服务3.2.13KAFKA到HDFS转存系统是否必须是是否为标准功能是业务场景提供KAFKA数据批量写入HDFS服务3.2.14集群系统监控系统是否必须是是否为标准功能是业务场景提供大数据集群的系统监控服务12.1 目实施非业务功能范围可靠性：如系统运行率可用性：如：服务时间7*24小时容量需求及扩展：数据生命周期：基础数据、业务数据、实时性安全性：a）权限控制b）基础数据、用户、密码的管理机制c）敏感、核心数据的加密机制并发及响应要求：a）3年内稳定支持日常应用的并发用户数是多少b）事务处理、非历史性数据查询、当天的历时数据查询响应延迟时间是多少c）描述实时请求，延时时

9、间是多少d）主系统与备份系统的切换时间是多少？联机备份应不造成已完成事物的数据丢失可扩展性要求a）硬件方面b）软件方面，是否具备二次开发能力灾难恢复及业务支持a）物理网络和网络架构b）授权方式c）数据安全措施d）备份和恢复策略e）灾难性宕机后，系统恢复服务的时间要求24小时内f）宕机处理后，数据恢复率要求达到100%g）应急方案平台一致性单一登录、工作界面一致性、工作界面是否具备灵活配置系统健康信息检查与显示系统日志管理系统可开发性、可维护性系统接口监控系统集成通用性要求易推广性12.2 目实施中需要重点关注的变革点流程/运作模式、组织人员、协同机制等，支持措施4项目实施技术方案4.1系统总体

10、架构描述项目建成系统的整体架构，并分析系统的关联性和可扩展性：数据通道跨机房数据推送内网数据采集数据平台ETLHbaseHadoopAPlHive/Spark：业务用户管车产品电子地图产品运营数据报表数据产品整体架构包括数据源部分、数据通道部分、数据存储计算部分、业务应用部分;数据源分为外部数据源和内部数据源，外部数据源目前主要是由XXX数据中心提供的管车数据、电子地图数据、设备数据、各类事件通知类数据等等；内部数据指的是XXX公司内部的各种应用管理系统数据、业务日志数据、子公司之间共享数据等;针对不同数据源的数据类型、数据安全、性能要求等，分别采用两种不同的数据采集方式，外部数据源使用跨机房

11、基于公网的数据推送通道，内部数据采用基于内网的数据采集通道，外部通道数据和内部通道数据在网络和存储上均隔离，在资源占用上互不影响。数据存储包括MySq1、Hbase.HadoOP三类存储系统，Mysql负责存储业务系统的关系型数据，HbaSe存储设备、实时平台计算等海量数据，HadOOP负责存储全量的结构化、非结构化数据。数据离线分析计算、数据挖掘、机器学习等主要是基于Hadoop.Spark系统，采用MapReduce,hive、SPark等计算引擎；实时的数据读写APl基于mysql、hbaseo业务应用如管车、电子地图等通过接口网关来读取和写入数据平台的数据，数据运营报表、数据产品等基于

12、hive、SPark来进行各类分析、运营指标的计算。13 2系统应用架构I 子地I 智能管车!EMS a 1期时阵1电子地蚣用SW4.3系统底层架构安全管理仓库管理S S a卜 a pa+ca日志管理实时监控ECoS容器云引擎(CaaS)T二二IVMIaaS编排系统镜像省理第三方服务服务器服务器/网络/存储如上图所示，为了支撑XXX业务系统高安全性、高可靠性、高伸缩性、高可用性的运行，并且能够基于部署、监控、可在无人值守情况下实现自动化智能操作，设计如下：在系统内部，将ECOS容器云平台内部再次细分为PaaS层与CaaS层，PaaS层主要完成对容器的架构性支撑，提供广义的大数据、集群底层、数据

13、库、负载、资源管控等功能；CaaS层聚焦对业务应用的具体支持与实现，如仓库管理、容器编排、实时监控、访问控制、持续集成/持续发布、快速部署、应用漂移、智能伸缩、自动恢复等功能。两个层次的分开,使得EcOS容器云平台本身就称为一个轻量和高效的云平台，在资源低占用的情况下为业务应用提供服务。EcOS容器云平台可以提供通用接口与这些系统/服务进行消息对接。通过远程通知与robot组件，ECoS容器云平台可提供基于TCP/UDP协议的消息告警或自定义通知，使得开发、运维、管理人员仍然可以在现有的系统之上完成一部分的容器管理工作。4.4系统技术架构HadOOP技术架构HadooP技术架构包括ZookeePer（简称ZK）集群、name集群、data集群、网关机集群，Zk集群部署在NamenOde1、Namenode2、Datanodel三个节点上，NameNodel和NameNode2为高可用模式（HA模式）；网关机根据具体业务职能进行区分，比如ETL、SParkSQL计算、数据挖掘等，在账户权限上也分别进行不同的管理策略。HbaSe技术架构网关机/API 1网关机/API网关机/AdminHadooP技术架构包括ZookeePer（简称ZK）集群、name集群、data集群、网关机集群，Zk集群部署在NamenOde1、Namenode2、Dat