XX市气象监测预报能力提升工程-信息系统软件支撑项目建设意见.docx

《XX市气象监测预报能力提升工程-信息系统软件支撑项目建设意见.docx》由会员分享，可在线阅读，更多相关《XX市气象监测预报能力提升工程-信息系统软件支撑项目建设意见.docx（10页珍藏版）》请在优知文库上搜索。

1、XX市气象监测预报能力提升工程-信息系统软件支撑项目建设意见一、项目背景及概况当前，XX市气象局在气象业务布局和对外服务工作发挥了较好的效益，产生了很好的影响力，但对外服务能力、内部合力、资源有效配置等方面仍存在很大的提升空间。目前使用的气象观测数据和预报数据比较分散，也没有综合应用丰富的行业和社会数据，使气象预报和服务产品缺乏个性化、专业化，也欠缺产品的多样性、及时性。因此有必要在数据挖掘、机器学习技术日益成熟的今天,充分应用现代信息技术和软硬件条件，通过本项目的实施建设XX市气象局“气象智能数据底座”服务平台，为智能监测、智能预报和智能服务提供基础数据环境。在此基础上构建创新应用孵化中心，

2、以数据底座为基础建立决策服务材料“快写”系统、灾害天气“快呼”系统等应用系统，并为多种场景的气象服务系统应用提供数据支撑，更好地服务于XX市气象局气象智能化应用。确保XX市气象局在做好常规气象观测、天气预报预测和气象服务，不断加强暴雨洪涝、高温、雷电等各类灾害性天气智能预警服务的同时，为最终实现XX市气象业务服务的“智能监测、智能预报、智能发布”的目标提供坚实的保障。二、建设目标建成基于气象大数据平台的“气象智能数据底座”，支撑气象部门所有相关业务数据资源的汇聚、管理和服务，包括数据归集与加工治理系统、数据存储与服务系统、数据供给系统和全链条业务监控系统的建设，助力“云+端”业务模式的全面发展

3、，构成集约化、标准化、开放发展的气象新业态。在此基础上建立基于数据底座的创新应用孵化中心，包括气象灾害“快呼”系统和决策服务材料“快写”系统。三、建设内容（技术要求）3.1 “气象智能数据底座”建设3.1.1 数据归集与加工治理系统包括气象数据采集交换模块及数据清洗加工模块，并提供加工算法库管理。3.1.1.1 数据采集交换模块开发可视化可配置数据自动采集交换软件，将XX气象各类监测/预报和服务数据、省级大数据云平台“天擎”数据以及外部门共享数据进行归集整合，按照标准化方式存储,形成数据存储、命名和共享规范，并与数据供给系统无缝对接；采用分布式架构设计开发，通过主控程序调度多个采集节点基于并行

4、化算法执行各类数据采集任务。开发数据交换系统，实现各类数据在气象专网、气象服务DMZ区、地方政务云等网络区域实时同步。主要包括以下建设内容：气象数据存储、命名和共享统一规范：收集整理并按照统一的数据存储、命名和共享规范归集整合XX气象不同数据源的各类实况监测、预报预警和服务数据，便于与数据供给系统进行无缝对接。存储结构的管理分为结构化数据存储结构和非结构化存储结构的管理。气象数据采集及实时同步：针对不同的气象资源数据来源渠道，采用分布式架构设计开发，通过并行化算法执行各类数据采集任务，采集各类气象数据，同时对采集的各类多源观测数据进行解码、质量控制和时空变换等必要的预处理;结合不同数据的处理要

5、求，开发数据同步运行程序对预处理后的各类数据进行数据同步，确保各类数据的及时性。通过完成数据采集及同步接入，将数据统一归集入库，并提供数据入库管理，包括进行库表管理、连接管理、入库任务管理以及异常处理等服务，以对数据归集全流程进行全面、有效的管控。开发数据交换子系统：实现各类数据在气象专网、气象服务DMZ区、地方政务云等网络区域实时同步。提供定义和配置内部数据集成与协同方法，对每次数据交换请求，能根据数据报特征计算与之相匹配的数据路由，并按数据路由的定义次序依次调用相应数据处理服务，实现不同数据库间的数据与信息共享。3.1.1.2数据清洗加工模块实现气象数据采集交换模块集成数据清洗和加工功能。

6、要求数据清洗和加工相关的算法和应用与采集交换模块解耦，通过配置方式集成，并记录和显示算法和应用执行情况。利用数据清洗、转换、整合等手段，通过对现有中间数据和产品数据进行归类梳理，包括实况监测、网格预报、预警等各类气象数据，构建分灾种、分行业、分渠道等能支撑多元化服务的多维结构天气数据集及数据信息属性库。主要包括以下建设内容：数据来源梳理：针对现有气象业务系统数据，对各类数据源进行梳理，明确归集的各类气象源数据库，结合业务需求，实现覆盖数据采集、治理、融合、应用等各个环节的气象数据全生命周期管理，体现数据驱动。数据清洗转换：对采集的数据进行处理，实现数据的清洗、转换、加载功能，对于不同来源和种类

7、的数据，按照其数据来源进行清晰的标识，采取不同的存储机制进行存取，同时实现数据整合过程中的异常处理机制。数据质量控制：通过缺测检查、界限值检查、范围值检查、内部一致性检查等快速质控算法，为部分解析后的数据要素进行质量控制并调用数据接口入库。3. 数据安全管理：遵循信息安全相关管理规范规定，采用分级方式，针对各类数据，管理范围涉及数据建立、数据生产、数据应用、数据存储等全过程，建立闭环的数据安全管理体系及相关制度，确保数据生产、发布及使用的安全。4. 1.L3算法接入中台管理建立算法库实现算法的动态管理与共享，涵盖多种类的气象数据加工处理算法，基于算法池实现对算法的分类分级存储。通过建设气象数据

8、加工算法接入中台对各类算法通过加工流水线进行运行管理，实现包括算法管理、算法接入标准、算法注册、算法血缘及算法知识库等模块。主要包括以下建设内容：算法接入标准：通过算法接入标准模块，编制算法分类标准、算法元数据标准、算法命名与参数定义标准、算法版本管理标准、算法运行环境标准等。算法注册:实现算法基本信息、算法参数信息以及算法实体向算法库的上传，各类算法可通过算法管理平台实现向算法库的提交注册。提交的算法通过审核后,可保存至算法库进行统一管理。算法血缘：由于算法管理中的算法主要是针对各种气象数据的解析、加工处理、保存入库等操作实现，因此不同的算法之间存在类似人类社会血缘的关系，通过前端页面能够直

9、观展示算法之间的血缘关系。算法知识库：通过建立算法知识库，提供当前算法库中全部的算法清单，可按不同条件进行查询检索，查询结果以列表形式显示，提供算法的详细信息，并提供算法调用指导文档展示功能。4.1. 2数据存储与服务系统包括数据存储服务模块及数据资源门户网站模块。4.2. 2.1数据存储服务模块综合使用分布式数据库、文件系统、数据缓存等软硬件技术，搭建气象数据存储服务基础环境，满足各类气象数据存储服务需求。主要包括以下建设内容:搭建数据存储服务基础环境：搭建数据存储服务基础环境，统一规划管理各业务系统数据库，满足结构化、非结构化、半结构化气象数据存储服务需求，归集内外部各类数据，通过清洗加工

10、存储形成各类数据资源库。气象数据分类存储模块：结构化数据要求高速稳定，支持性能和容量横向扩展,支持高速缓存,支持冗余备份；非结构化和半结构化数据要求支持分级存储，访问高速稳定。数据库数据存储策略:数据库数据存储依据数据资源规划策略可分为分级存储策略、分库分表策略、应用支撑副本策略等方面，并对典型气象数据进行存储策略分析。文件生命周期管控功能：对数据文件生命周期流向提供全面监控，实现气象数据采集过程中各类数据文件的统一监管，同时基于图形化配置工具，可查看或调整数据采集、存储策略，实现数据文件流向全面跟踪、全面管理、全面监督。历史数据的归集整理,对于现有的各类历史数据，包括结构化数据和非结构化数据

11、等，结合不同的数据特征及使用情况进行分类梳理，通过建立数据同步推送等机制或对历史数据重新进行归纳整理和保存，将各类历史数据融入数据底座的统一存储体系，为项目建设和其他业务系统提供基础数据。3.L22数据资源门户网站开发数据资源门户网站，实现气象数据资源可视化展示、数据描述（数据结构、访问方式、技术说明）、数据检索、数据统计（数据种类、数据规模、访问情况）、数据调用测试、数据访问权限管控等功能。主要包括以下建设内容：数据资源可视化展示：提供基于可视化技术的气象数据资源综合展示，系统前台以可视化图表及文字的形式展示各类气象数据及数据接口的详细信息，对数据资源总体情况、归集情况、共享情况、质量管理、

12、建设情况等实时监控及分析。基于GlS的一张图展示：采用“一张图”的设计理念，对各类基于位置的自动站、雷达等设施设备通过电子地图进行整体分布的直观展示，通过图层或图标区分不同的设备类别，并可在地图上点击查看设备详细信息，同时可展示设备的运行状态。数据资产管理：对气象数据底座的所有数据资产基于可视化图表方式进行综合管理，可按照分类对接入数据底座的各类数据情况进行展示并进行统计分析，并可进行统一的浏览和检索，方便直观查看系统当前管理的所有数据资产情况。典型应用案例：基于可视化方式，以业务系统、用户、主题等分类方式对数据的典型使用案例进行展示，包括每个应用案例的详细介绍、使用单位情况、使用的数据信息等

13、，提供给使用人员直观查看数据底座的数据应用情况。数据访问统计：实时监控及统计XX市气象观测、雷达与卫星、预警预报、气候资料等各类气象业务数据访问服务量，系统支持按数据种类、数据规模、访问情况进行统计查询，并基于可视化图表综合展示。数据白皮书：编写各类气象数据的详细说明白皮书并定期更新，可通过在线浏览方式查看，也可通过提供下载功能，方便用户随时保存。3.1.3数据供给系统包括气象数据接口模块及可视化气象插件模块，以及GIS数据的服务接口。3.L3.1气象数据接口管理模块气象数据接口管理主要包含服务接口注册、权限设置、接口查询、接口展示、访问统计等功能。主要包括以下建设内容：接口注册：实现把各类气

14、象数据服务接口的相关信息注册到数据接口管理平台上，便于对实况监测、预报预警、决策服务等数据服务接口的统一管理。权限设置：系统管理员针对不同用户赋予或禁止不同的数据接口的访问权限,从而满足数据访问的权限管理要求。接口查询：提供数据接口查询功能，实现多种角度的关键字搜索功能，方便用户查找到所需的接口信息。接口展示：提供当前用户全部可调用的气象数据接口清单，可按时间段、数据类型等条件进行查询检索，查询结果以列表形式显示，并可查看详细接口清单。访问统计：实现各类数据接口的调用情况分析展示，对接口调用的用户行为进行分析，进行多维度的展示。3.1.3.2可视化气象插件服务模块开发轻量级定制化的插件页面，在

15、各类数据基础上，整合平台多种资源，提供满足用户需要的高效、多样的可视化服务，可为社会和行业用户提供形式多样的可视化插件式场景服务和产品。可视化气象插件接口框架基于插件式的开发模式，实现服务化构架、统一用户认证、服务发布资源，提供插件超市、在线调试、权限管理、访问统计等功能。主要包括以下建设内容：插件超市：通过插件超市模块实现可视化插件的综合展示，提供可视化插件轮播、插件检索、插件详细描述、插件调用管控、插件即时数据监控等功能。在线调试：基于人机交互技术，开发插件在线测试模块，对各类气象数据可视化插件和数据接口的调用进行测试，确保气象数据调用可以正常使用。权限管理：针对可视化插件服务模块的权限进

16、行管理，包含业务操作权限和数据权限。访问统计:通过访问统计功能实时监控及统计数据供给系统中各类气象插件的用户访问量，包括用户实时统计、页面点击量访问统计等。3.1.3.3GIS数据服务接口借助于WebGIS数据来发布气象数据，实现气象数据的在线数据抽取、在线实时展示分析、发布与共享，为气象监测和预测工作提供参考。GIS数据接口服务包括空间数据服务、在线电子地图服务、地理编码服务、数据应用分析服务。3.L34气象协同公共服务引擎（组件中台）在各类气象数据接口及可视化插件的基础上，通过建立组件中台实现气象协同的公共服务引擎，基于接口及插件的权限设置与统一调用管理机制，结合接口调用的负载均衡设置及运行监控，实现各类气象服务数据及产品的公共服务。3.1.4全链条业务监控系统包括数据全链条监控及业务监控大屏模块。3.1.4.1 数据全链