xxxx化工产业大数据平台建设方案.docx

《xxxx化工产业大数据平台建设方案.docx》由会员分享，可在线阅读，更多相关《xxxx化工产业大数据平台建设方案.docx（79页珍藏版）》请在优知文库上搜索。

1、XXXX化工产业大数据平台建设方案Xxx科技有限公司二。二二年四月1项目概述31. 1项目概述31.2项目建设目标、效果31 .2.1项目目标32 .2.2项目效果32需求分析42.1现状分析42. 1.1信息化现状42. 1.2问题分析52.2 需求分析52.3 .111匕vrn,T52.2.2 用户需求分析62.2.3 功能需求分析73总体架构93. 1总体框架93.2技术架构104建设方案124. 1建设思路与路径124.1.1高性能数据平台124.1.2建立标准规范体系124.1.3构建统一数据湖134.1.4数据资产化164.1.5数据共享开放-培育数据创新场景184.1.6应用支撑

2、与业务协同194.2产业大数据基础平台204.2.1大数据基础平台204.2.2产业数据资产管理平台354.2.3数据服务524.3化工产业交易平台534.3.1平台应用内容534.3.2平台系统功能介绍544.3.3平台应用价值694.4数字园区管理704.4.1产品背景704.4.2用户人群/需求704.4.3园区服务商704. 4.4入驻企业715项目实施方案795. 1项目进度计划796运营和运维质保服务方案796.1 平台运营方案796.2 远程运维服务796.3 技术咨询服务796.4驻场运维服务807项目投资预算807.1总投资预算801项目概述11项目概述项目名称：化工产业大数

3、据平台结合线上数据、线下数据、公共数据、产业链C端数据建设统一的大数据平台。面向工业园区提供大数据服务。通过大数据基础平台，提升大数据对园区发展的支撑作用，推进管理智能化。为满足对已有历史数据的采集和后续分析应用的需求，释放各个环节的大数据应用技术及数据资源，建立大数据基础服务平台，提供数据采集、数据分析、建模挖掘及综合管理等大数据基础工具服务；提供大数据共享交换实现各单位数据的整合共享，为企业管理及公众服务提供数据支撑。1.2项目建设目标、效果1.2.1项目目标基于客户，化工研究院等经济产业相关部门的信息化建设现状,以企业服务创新、决策科学为立足点，以需求主导、应用先行的原则，积极探索和建设

4、客户产业大数据服务项目，让企业能够通过本平台在线享受优质企业服务，定向获取政府政策推送及解读，解决各类企业的多种诉求，为推进政府服务，激励企业创新提供有力支撑和保障,建立政企沟通互动的桥梁，对内提升政府服务，对外改善公共服务,达到建设服务型政府的目标。同时，利用大数据技术进行信息资源整合和数据分析处理，做到用数据说话，用数据决策，用数据管理，用数据创新，提升园区综合治理能力和推进数字经济持续发展。1.2.2项目效果2需求分析2.1 现状分析2.1.1 信息化现状1）目前园区未建立统一的信息资源数据库，譬如企业信息、地理信息、人口信息、车辆信息等基础信息库以及危化品库、应急物资库、环保信息库等专

5、题数据库。2）园区企业信息建设自成体系，信息化水平低,缺乏远程、集中控制方式，同时业务系统封闭运行，软硬件各个系统相对独立，数据库也相对独立，不能实现信息资源共享，园区信息化资源需进一步整合；3）有建设相应的信息化或者物联网远程监测系统，日常消防安全管理和消防维保管理采用人工纸质记录的方式，工作效率比较低，对于企业消防安全隐患预警不足，同时园区内消防救援力量分布及救援物资储备等信息，静态化记录，与救援指挥系统、预案等缺少数据互联，缺少危化品处置支撑信息，指挥现场信息不透明，无法实现有效有序的指挥救援。4）园区企业信息建设自成体系，信息化水平低,缺乏远程、集中控制方式，同时业务系统封闭运行，软硬

6、件各个系统相对独立，数据库也相对独立，不能实现信息资源共享，园区信息化资源需进一步整合。支撑系统信息化现状：1）园区地理信息数据方面，园区还未建立整个客户的完整地理数据库，地理位置信息有待提升智能化管控，需根据规自局相关城规数据和土规数据建成自然资源和地理空间基础信息库，进而为园区管理应用提供支撑;2）园区管委会还未建立资源目录共享交换平台并与园区内各部门、企业实现数据共享。同时需进一步对各部门企业相关信息资源进行统一编目管理，推进各委办局以及垂直管理部门数据资源整合，简化部门之间数据共享与交换的复杂度，形成跨部门、跨业务、跨系统的数据资源共享共用格局。2.1.2 问题分析建设本项目，具有以下

7、重要意义：1）实现大数据资源统筹规划：全面把握城市信息资源状况、规划捋顺信息资源管理业务；2）实现大数据资源综合管理：实现多源、异构海量公共数据的统一存储、处理、共享，大数据资源常态化运维和更新；3）实现大数据资源开发利用：建设统一的大数据资源服务接口，促进数据开放和价值挖掘。2.2需求分析2.2.1业务需求分析2.2.1.1客户2.2.1.2化工研究院2.2.1.3市2.2.2用户需求分析2.2.2.1可拓展性需求系统需要支持结构化、半结构化、非结构化数据的统一管理和搜索。一个索引可由多个子集组成，分布在不同的节点上，实现分布式检索；索引的各个子集可在不同的节点上存储多个副本，索引子集多副本

8、实现了容灾备份，避免单点故障，同时也实现了负载均衡，提高并发检索能力。2.2.2.2平台处理能力需求系统需要支持PB级的海量数据搜索，支持海量用户的高并发访问（千万级用户、万级并发）。可根据应用的查询特点，将数据自动分区索引，充分发挥现代PC多核服务器、大内存的优势，采用并行索引，多路合并的方式，变随机读写为顺序读写，能够进行高速的索引创建，适应海量数据的集中索引和快速索引的应用需求。同时，分区索引还可以减少检索时的索引匹配范围，缩短检索响应时间。2.2.2.3平台可靠性需求系统需要采用扁平化设计，能够弹性扩展。节点之间完全对等，都可以对外提供服务。需要采用扁平化的架构设计，使整个系统没有单点

9、故障，任何一个节点的故障都不影响系统对外提供服务；同时扁平化的架构能够使系统具有良好的扩展性，只需在线增加新的节点就可以提供系统的容量和对外服务能力。系统能够将硬件异常作为常见异常来处理。系统需要自动感知服务器的异常状态，并进行自我修复，不会因为单个节点的异常导致整个系统不可用。2.2.2.4可维护性需求系统需要提供可视化界面，将各项维护工作进行直观展现，提升维护的便捷性和直观性；同时利用短信、邮件等消息机制对运行过程中的故障、性能信息进行监控、预警，提升维护的及时性；利用信息采集、告警内容编辑等功能，结合数据搜索构建的健康度评估，提升维护的准确性。大规模部署的自动化和运行状态监控。2.2.3

10、功能需求分析2.2.3.1分布式存储需求大数据分布式存储需要能够快速的存储不同类型和不同格式的海量大数据资源。数据源来自城市各种业务场景中各种类型的数据，包括结构化数据、非结构化数据和半结构化数据等类型，内容覆盖各种常规数据库、物联网实时数据、互联网数据等。2.2.3,2大数据基础支撑需求大数据基础支撑需要提供分布式数据处理环境，需要包括大容量的数据存储、分析查询和实时流式处理分析能力。通过对海量数据实时与非实时的分析挖掘，发现全新价值。能够提供的数据存储计算服务，须支撑对不同类型数据源的采集、存储、计算以及管理能力，实现在离线/实时等不同使用场景下的大数据服务，用以满足对大数据分析的基础服务

11、需求。2.2.3.3数据资源集成需求大数据资源集成系统是能够将不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为用户提供全面的数据集成视图。构建统一的数据汇聚与整合功能，为各类数据资源采集与归集提供技术支撑与过程管理服务。针对政务垂直系统蕴藏着的丰富块公共数据资源的数据抓取基础运行环境服务和管理环境服务，基础运行环境包括提供API运行引擎、路由引擎、集群高可用与负载均衡引擎、安全引擎、发射逆向重构模型重建、按需适配数据接口，管理环境服务包括提供APl运行周期管理引擎、监控引擎、项目信息配置引擎、访问授权引擎、报表引擎、管理统计服务。需要能够通过表现层分析等技术手段实现已有封闭应用

12、系统的数据及功能接口的重构。从而在保证原有数据结构不变动，原有网络架构不改变、系统代码不变更的前提下，提供大数据APl重构及封装技术，为实现的“互联网+政务服务”业务平台的建设开发提供更多有力支撑。能够提供基于跨部门、跨产业数据交换平台的数据交换服务，以支撑各委办局、本项目各产业服务之间信息资源的采集、传输、交换的工作，实现信息资源在全市范围内的交换与共享。数据交换服务需要支持数据库交换、文件交换、数据发布、数据订阅、数据源适配、数据抽取、数据清洗、数据转换、作业管理、交换日志、加密传输、断点续传、数据路由、流量控制、实时监控、审计告警、统计分析服务等Q2.2.3.4大数据应用支撑需求能够为大

13、数据应用建设和开发提供支撑服务，包括数据服务接口、大数据查询检索、大数据可视化、数据模型算法和大数据分析挖掘服务等。提供的数据治理服务须包括数据质量的管理服务及元数据管理服务Q提供开展数据挖掘的软件环境服务，包括数据预处理、数据管理、模型训练、模型管理、模型评估。要求可针对海量数据提供集中模型计算，用以分析数据内在关系和价值。能够提供数据可视化的框架服务，整个框架中配备数据源管理、可视化引擎、可视化组件库、可视化组件二次开发、可视化设计器、事件与函数设计器、发布管理，可基于数据可视化框架服务实现数据源的导入、可视化呈现，并支持特殊可视化效果的二次开发。2. 2.3.5数据治理需求需要为大数据基

14、础平台中数据资源提供综合管理，能够提供包括统一运维、资源目录、质量控制、元数据管控、数据标准管理、数据安全等功能。3总体架构2.1 总体框架产业大物8应用数字园区营商平台B2B化工交易平台化工品生产数据I化工品流通数据化工品消费数据原料（含半成昆）送口蜘生产厂家数雷商家采购、交易订单蜘ggsss原料（含半成品）库存数据生产过程蛔R仓储、物流（干线）数庭,行与偏好蛆原料（含半成品）交易物8半成品/成品库存数据进出口期R 金瞰据ift流向数Ig图3-1整体框架3. 2技术架构行政效能I氏生保漳I市域治理I管有环境API JSON多分析分析h M拿市脩构化依清事 II *ttWk A4til n*/华飨构化/非结构化采，实时SHtIl/Sq。PM*图3-2技术架构图数据源：数据接入，需要接入所有形态，所有类型和全域的数据源，数据源包括政务业务系统，关系型数据库，GPS数据、非关系型数据，物联网数据等。数据接入：数据接入方式包括ETL工具、CDC同步工具、APl程序、手工导入文件、使用