高效、快速、灵活的弹性大数据平台设计.docx

《高效、快速、灵活的弹性大数据平台设计.docx》由会员分享，可在线阅读，更多相关《高效、快速、灵活的弹性大数据平台设计.docx（12页珍藏版）》请在优知文库上搜索。

1、企业研究开发项目计划书（自主开发类）项目名称高效、快速、灵活的弹性大数据平台设计企业名称XXXX企业法人（签名）项目负责人电话项目起止时间XXX年1月至XXX年I月填报日期一、立项依据1、 国内外现状、水平和发展趋势目前，伴随移动互联网、智能硬件和物联网的快速普及，全球数据总量呈现指数级增长态势，与此同时，机器学习等先进的数据分析技术创新也日趋活跃，使得大数据隐含的价值得以更大程度的显现，一个更加注重数据价值的新时代正悄然来临。发达国家一向重视大数据在促进经济发展和社会变革、提升国家整体竞争力等方面的重要作用，当前更是把大数据视为重要的战略资源，大力抢抓大数据技术与产业发展先发优势，积极捍卫本

2、国数据主权，力争在数字经济时代占得先机。我们从各国发展大数据的新举措中或许可以窥探到大数据发展的新趋势。2、 项目研发的目的、意义大数据是继云计算、物联网之后IT产业又一次技术变革。“大数据”是公司在日常运营中生成、累积的数据。这些数据的规模庞大。因此，积极针对大数据布局，从战略层面应对大数据时代的挑战，推进并建立起数据驱动型发展方式的金融机构将获得比同业更高的效率，优化行政物控流程，结合企业内外部数据，在业务扩张的同时，清楚掌握企业成本消耗，并最终实现精细化管理，并由此培育出自己的信息核心竞争力。3、 本项目达到的技术水平及市场前景。A高可用性数据集市是分布式架构。数据存储是分布式的，数据的

3、计算也是分布式的，还带有备份机制和监控机制。当某一台数据集市的机器宕机，另外一台数据集市会自动承担所有计算。该数据集市应用广泛，有的电信级客户的数据量已经达到了上百T,依旧运行稳定可靠。该分布式数据集市支持对计算和存储节点进行热插拔扩展，可以从一个节点扩展到几十个甚至上百个节点；A高并发性数据集市支持高并发。数据集市作为计算层，支持分布式计算，采用MapReduce架构来提高计算效率。永洪科技的分布式数据集市，是列式存储的，采用良好的内存计算技术，可基于多台存储和计算节点并行工作，非常适合海量数据的实时数据分析。高扩展性整个系统架构，无论是ETL层、数据集市层，还是Bl层，都可以加入或者减少服

4、务器节点。这里的服务器节点，既可以是物理机也可以是虚拟机。A高性价比，低TCo整个系统架构，摒弃了传统系统常见的向上升级(SCale-Up)的思想，不管是数据集市还是Bl前端，都支持横向升级(Scale-Out)o随着企业的业务增长，数据量和分析需求都会大幅增长，基于X86PCServer集群的平台架构十分关键。在这种架构下，我们不用采购昂贵的小型机去支撑高并发，去支撑海量数据计算，去支撑数据分析业务的发展，而是采购多台普通的PCServer搭建集群，建设高性价比的分析平台。在达到高技术水平的同时，本项目市场前景较好，可广泛用于军工、制造、金融、能源等行业，市场前景非常广阔。我公司该项目不断发

5、展、不断完善，功能以及性能可满足多行业、高标准企业，能提升企业信息化建设，具有重要的经济和社会效益。二、研发内容和目标1.1 项目主要内容及目标研制具有高适应性、高可扩展性、安全可靠的基于KUberneteS和Docker容器的新型虚拟化技术统一资源调度操作系统，操作系统支持包括FPGA.GPU等异构计算设备、非易失内存等存储设备虚拟化的统一资源调度，为大规模并行分析、分布式内存计算和大数据、深度学习、HPC应用等负载提供超融合架构和调度能力，并提升应用迁移处理能力、处理效率和用户资源隔离水平。1.2 关键技术1) 平台支持Docker公司的原生Kubernetes调度引擎，对外使用标准DOC

6、kerAPI,降低学习和开发成本，通过该调度引擎，能够提供资源调度、服务发现、运行监控、扩容缩容、负载均衡、灰度升级、失败冗余、容灾恢复、DevOps等，可实现大规模、分布式、高可用的Docker集群。2) 通过云平台可以实现大数据平台的快速部署，用户只需要根据生产环境的实际业务需求，选择用户需要使用的大数据组件，即可轻松、快速地完成大数据平台的部署与使用。用户可以根据自己的需要自定义相关组件，并保存为镜像文件，以后每次使用时，用户可使用自定义的大数据功能组件进行部署。3) 云平台内部集成持续集成流水线，通过可视化、拖拽的形式,将不同的微服务组件，根据不同项目情况建设不同的流水线，将开发、测试

7、、部署活动全部自动化，极大的节约开发成本，提高软件交付速度。支持基于DoCker的持续集成流程，方便微服务的改造，可以直接将代码和分支关联起来，用户可根据需求自动或者手动分布式构建微服务项目Q同时支持多微服务的流水线作业。4) 支持平滑的软件升级，通过灰度发布的方式，对不同应用的不同功能组件进行升级。如果一个服务的由多个容器组成，灰度升级会一个容器一个容器的进行，类似于RollingUpgrade的方式。如果在升级的过程发现了问题，可以及时地对服务进行回滚。这样可以保证整体系统的稳定，而且不会在升级过程中中断服务。升级完成后，用户可以根据新版本的使用感受，来决定是否进行灰度降级回滚。5) 将大

8、数据容器化，所有大数据组件依靠StackOS容器云平台支撑，使用KUberneteS进行调度，完美融合云计算与大数据。6) 技术创新之处(1)在原生的DOCker和KUberneteS技术上做了自主研发(2)大数据平台支撑(3)开发运维一体化DeVoPS(4)微服务支撑(5)打造多租户能力(6)设计平台计费功能(7)大数据PAAS平台支撑(8)云计算与大数据完美融合7) 主要技术指标或经济指标研究开发DoCker+Kubernetes,结合大数据、微服务等高级功能，做到高性能，自动化快速部署，功能易用易懂。主要技术指标：无人值守，部署时间：30分钟高故障恢复能力：10分钟高效率故障切换：5分钟

9、三、研发试验方法及技术路线整个云平台分为三层，包括“物理层”，“平台层”和“计算层”物理层：采用传统的x86物理服务器、存储和网络设备，作为容器云平台和大数据平台的底层物理支撑；为整个云平台提供一个弹性的，可扩展的基础硬件资源。平台层：平台层采用De)Cker容器作为业务系统封装技术，该层作为智慧的核心处理层，主要包括以下功能：容器平台的调度引擎，提供容器的生命周期管理，生命周期内能根据业务压力自动调度业务运行；所有计算层容器直接通过DoCker引擎调用宿主机硬件资源，包括CPU,内存，存储和网络设备资源；针对有高性能要求和图像处理要求的应用，平台层可以提供PassThrough能力，直接将宿

10、主机硬件FPGA或GPU映射到容器内部，为计算层平台应用提供高性能计算或图像处理能力，在最大化硬件资源利用的情况下，同时以最高性能为智慧平台提供业务支撑。平台具有DevOps敏捷开发辅助工具，为用户开发提供CI/CD能力。支持平滑的软件升级，通过灰度发布的方式，对不同应用的不同功能组件进行升级。灰度发布是指在黑与白之间，能够平滑过渡的一种发布方式。多租户能力，容器云平台不仅能够实现传统容器云平台的所有功能，同时该产品能够针对不同的应用场景，对用户实现多租户管理，每个租户应用都相互独立，互不干扰，各租户间的资源使用，都相互独立。计算层：提供大数据的业务应用服务，供多个客户使用，支持多租户的应用开

11、发框架，同时大数据分析能力和高性能处理能力或高性能图像处理能力Qa）大数据分析通过云平台可以实现大数据平台的快速部署，用户只需要根据生产环境的实际业务需求，选择用户需要使用的大数据组件，即可轻松、快速地完成大数据平台的部署与使用。用户可以根据自己的需要自定义相关组件，并保存为镜像文件，以后每次使用时，用户可使用自定义的大数据功能组件进行部署。b）高性能处理能力云端的GPU和FPGA的主要功能是计算。用于数据中心、人工智能、机器学习、云计算和大数据云平台。云端的人工智能主要包括“离线训练”和“在线判断和服务”两种方式。离线训练是指利用海量数据输入，通过合适的训练方法，实现和验证人工智能算法模型。

12、而在线判断和服务是指利用训练出来的算法模型做出判断，在线响应用户的请求。通过云平台PassThrough,能够为容器内业务应用直接提供裸硬件级的性能，大大提高云平台在人工智能方向的支撑能力。四、现有研发条件和工作基础1 .承担单位开展本项目的优势公司拥有一支年轻化、知识化、专业化、经验丰富、勇于创新的研发队伍，具有专业人才优势。根据项目开发内容和难度进行人员安排，并根据计划有序地进行。公司利用技术研发中心的技术平台，成立项目研发小组，实行项目负责人负责制，由项目研发小组提出项目试制的技术工艺和立项报告，外聘专家做技术指导，财务部安排科研经费，领导部门审批。整个组织实施过程做到定期检查、定期汇报

13、，以确保项目的顺利进行Q2 .2.已有的工作基础，如预试及小试成果等。该项目获得技术诀窍多项，已经过测试，已初步积累了数据和经验。五、计划进度本项目目前完成情况:序号功能模块完成备注平台自动部署60%主机管理90%存储管理80%网络管理90%用户管理30%容器全生命周期管理40%灰度升级30%GPU/FPGA15%大数据20%DeVOPs/微服务50%日志管理80%预计本年度完成内容:序号功能模块预计完成备注平台自动部署100%平台能在30分钟内，完成平台部署主机管理100%存储管理95%网络管理95%用户管理100%容器全生命周期管理100%灰度升级90%包括历史版本回滚GPU/FPGA65

14、%为容器应用提供更高性能的计算能力大数据70%提供大数据采集、分析能力DeVoPS/微服务70%CI/CD能力日志管理90%六、研究开发费预算报告项目研发预计总经费元。研究开发费预算表单位：元（已计入无形资产成本的费用除外）所属年度:序号研发费用项目预算额1一、直接从事研发活动的本企业在职人员人工费用21、工资、薪金32、津贴、补贴43、加班工资、奖金、年终加薪56二、研发活动直接投入的费用71、直接消耗的原材料、半成品、燃料和动力费用82、达不到固定资产标准的模具、样品、样机及一般测试手段购置费93、工艺装备开发制造费，设备调整检验费，试制产品检验费104、用于研发活动的仪器设备简单维护费1112三、折旧费用与长期待摊费用131、专门用于研发活动的仪器、设备的折旧费或租赁费142、研发仪器设备改装、修理过程中发生的长期待摊费用1516四、设计费用171、新产品设计费、新工艺规程制定费182、进行工序、技术规范、操作特性方面的设计等发生的其它费用1920五、装备调试费21K工装准备过程中研发活动发生的费用2223六、专门用于研发活动的无形资产摊销费241、研发软件252、专利权263、非专利发明（技术）274、许可证、专有技术、设计和计算方法等专有技术发生的摊销费2829七、勘探、开发