基于分布式数据仓库的监管报送系统建设实践.docx

《基于分布式数据仓库的监管报送系统建设实践.docx》由会员分享，可在线阅读，更多相关《基于分布式数据仓库的监管报送系统建设实践.docx（9页珍藏版）》请在优知文库上搜索。

1、近年来，随着银行业应用场景的持续创新，金融监管数据报送模式也随之不断变化，且银行数据不仅规模庞大、类型复杂，数据量更是呈几何级数增长。然而，传统的银行监管报送系统在海量数据提取、加工、上报等方面均面临诸多问题，如数据异构、数据量大、耦合度高、时效性差等，己愈发难以适应报送模式变化，也无法满足银行业务快速发展的需求。对此，邯郸银行基于分布式数据仓库建设，创新搭建了统一监管报送系统，以期能更好地应对大数据背景下面临的各类监管数据报送挑战。一、分布式数据仓库建设思路针对银行业数据处理能力和数据标准问题，邯郸银行适时展开数据仓库建设，以进一步统一全行数据标准，提高数据治理能力与数据质量;同时，通过引入

2、分布式技术，采用分布式计算框架，将数据分层处理，高效解决了计算复杂度和数据存储难题，为促进业务稳健发展提供了有力支撑。1.基础平台建设在平台建设方面，邯郸银行运用HadooP分布式大数据技术，在X86服务器上搭建了基础硬件平台，不仅有效降低了软硬件成本，还为海量数据处理夯实了资源基础。此外，为解决数据整合度不高、数据标准不统一、数据应用难等问题，邯郸银行整合客户信息、交易信息等多个应用场景数据，实现了数据合理有序存储与快速使用。总体而言，基础硬件平台主要包括运行层、设施层、平台层、任务调度控制台、用户网关层与客户应用层。其中，运行层负责为基础软件提供运行环境；设施层负责为平台层提供系统命名、文

3、件信息管理等服务，包括ZoOkeePer和HadooP软件。平台层主要为用户网关层提供应用服务，由HBaSe、任务调度控制台、HiVe组件组成。任务调度控制台作为任务执行调度中心，负责根据业务数据优先级安排任务处理顺序，并由客户端反馈执行结果。用户网关层负责对用户进行身份认证，以及提供用户与数据平台的调用接口，实现硬件平台与数据平台的交互。客户应用层负责根据应用程序的差异化功能，高效支撑客户服务。2 .数据治理体系随着银行业务的快速发展，商业银行的业务系统越来越多且各系统间相互独立，同时各系统在数据库、存储方式、数据分发接口等方面也不尽相同，由于缺乏统一的数据标准，各系统间无法实现数据共享。针

4、对上述问题，银行机构通过建设数据仓库集中管理全局数据，执行统一调度、关联共享，有助于构建高效的数据治理体系。在数据标准方面，为统一全行数据标准，邯郸银行从源系统层面即制定数据交换标准，包括标准化数据分发接口、数据文件、数据存储、数据接收接口等，并建立了统一的数据交换平台。同时，在数据仓库的开发过程中，进一步制定了基础数据标准，包括表命名标准、字段命名标准、类型标准、值域映射标准、数据存储标准、数据清洗标准、数据ETL代码标准等，且一旦发现有不满足标准的数据，就会展开分析、记录，并推送至相关业务系统进行改进。此外，在数据应用方面，数据仓库中还制定了业务口径标准、基础指标定义标准等，并支持可扩展、

5、可修改等功能，显著提升了数据仓库支持业务发展的能力。在数据质量方面，邯郸银行在建设数据仓库的每一个环节都严格执行数据质量监控，全方位覆盖了以下层级：一是文件级，检查文件个数、命名规范、完整性、文件大小；二是表级，检查表命名规范、记录唯一性、索引定义、主键定义；三是字段级，检查数据类型、字段长度、格式、值域、代码规范；四是业务级，检查业务口径与数据标准是否一致，检查业务数据是否满足主键校验。最终，通过严格落地数据标准、监控数据质量，邯郸银行不仅实现了数据共享，大幅提高了数据可用性，还能够及时发现并解决问题。3 .数据仓库模型实践中，数据仓库中整合了众多的源系统数据，且涉及大量的数据表。对此，邯郸

6、银行结合银行操作性业务系统的特性，在数据仓库中采用面向主题的方法，按照第三范式规则进行设计，将其划分为八大主题，即当事人、内部机构、资产、产品、协议、事件、渠道、财务，从而实现了对业务数据的有效整合。分布式数据仓库数据模型如图1所示。当事人事件图/分布式数据仓库数据模型二、监管报送系统架构与功能设计针对监管数据报送系统面临的数据耦合性、时效性等问题，邯郸银行选择建设监管数据集市来降低数据冗余、提升数据利用率；同时，通过定制化设计监管数据模型来提升数据管控效能，从而在高效匹配银行业务全面发展需求的基础上，解决了数据的耦合性问题。此外，通过整合监管报送上层应用系统，邯郸银行搭建了面向监管部门的统一

7、报送平台，覆盖监管部门所需的各种监管报表，并支持快速修改或增加报送模块，以切实响应监管数据报送的新变化和新要求，解决了监管报送的时效性问题。1 .监管数据集市作为监管报送系统的核心模块，监管数据集市负责为报送应用提供数据支持，集中管理监管数据需求。对此，邯郸银行基于分布式数据仓库建设，以监管统计为出发点，全新构建了架构清晰、多层次化的监管数据模型，并搭建统一的监管信息视图，对报送数据进行规划整合，实现了对数据的一致性理解，且数据来源共享、报送口径统一。具体而言，监管数据集市主要由接口数据层、历史数据层、汇总数据层、模型数据层、报送数据层构成，其总体架构如图2所示。图2监管数据集市总体架构Had

8、oop模型 数据层Hadoop接口 数据层Hadoop汇总 数据层MySQL报送 数据层Hadoop历史 数据层数据仓库 Hadp监管数据集市应用系统EAST 系统接口数据层以监管应用数据需求作为驱动，以源数据和补录表作为数据来源，属于增量模型，旨在实现数据标准化与数据适配功能。同时，该层通过对主要监管报送系统数据项的梳理及归类，可按监管应用数据需求执行分类，并对不同类型的数据按业务主题进行统一管理、统一存储，以及按宽表方式设计数据模型，将多业务系统分散的数据进行有效整合。历史数据层主要负责接口的历史数据存储，以及完成接口数据的切片存储，为报送提供历史数据，实现报表对历史数据的统计，保证历史数

9、据完整。同时，历史层的表为切片表，支持将接口层的数据直接插入历史层的切片表中，且与接口层数据模型逐一对应。汇总数据层通过以业务建模方式进行数据重构，可实现业务口径统一、业务规则清晰、业务数据适配。同时，该层数据模型按照需求驱动，支持对明细数据进行整合，除保证业务数据通用外，还可有效提高查询响应速度、ETL处理效率和数据存储效率，并可对各类监管报送系统的共性查询请求和频度较高的数据项进行归并，从而提高数据的可理解性，易于维护和使用。模型数据层主要负责为非现场监管、金融统计、利率报备等统计报表提供支持，其通过实现数据的个性化处理，可针对相同业务报表单独设计数据表，从而保证其个性化、可扩展、松耦合。

10、同时，该层还按照监管需求划分了贷款、资金、存款、银行卡、利率等数据模型，并基于历史层或汇总层提供的明细数据，将其汇总成监管指标，进而保证了各监管系统口径统一，最终实现减少计算时间、提高数据质量等目标。报送数据层使用MySQL数据库，可为每个应用提供“私有”数据空间，即为应用系统提供专属的数据库，实现物理统一存储、逻辑相互独立。此外，该层还包括报表展现和数据报送服务，同时可为存储应用平台提供运行所需的机构、用户、权限、流程等支撑数据。2 .功能设计鉴于统一监管报送系统是面向所有监管应用的报送平台，旨在实现监管数据的集中处理、统一报送，因此需要具备后续快速增加、迭代其他报送应用的能力。对此，邯郸银

11、行在设计系统功能时遵循可扩展性的原则，将功能拆分为若干模块，从而使系统可通过配置、增加报送模块，覆盖监管要求的各种报送应用，如满足数据采集、补录、加工、生成、校验、异常提示、对比等要求。数据补录方面，监管报送数据涉及众多系统，且部分数据需提前进行补录，其在补录后将先保存在MySQL数据库中，之后再导入大数据平台，与存储于数据仓库的原始数据合并作为监管报送数据来源。此外，通过“Hadoop+MySQL”系统架构进行数据读写、回流，系统还实现了自动抽取与手工补录相结合的工作模式。数据填报方面，监管报送系统按照工作任务流模式对填报任务进行分配、跟踪，并将填报结果汇总、锁定，实现了总行业务部门对分支行

12、数据填报工作的全流程控制管理。同时，填报功能基于MySQL数据库实现，支持修改结果在MySQL数据库更新保存。此外，系统还提供多种方式进行数据填报，如可以在页面填报，也能够以EXCel表格导入、导出等方式填报，进一步增强了可操作性。数据预警和校验方面，监管报送系统基于监管集市和指标，实现了数据统一校验、合规预警、高级分析等扩展功能。其中，数据校验功能配置监管部门下发的校验规则及自定义校验公式，支持对校验公式进行修改、增加、导入、导出，以及开展跨系统校验。同时，系统配备了可扩展的合规预警指标及度量刻度，可针对指标运行情况，根据设定阈值展开分析，并在相关指标超过阈值时，通过仪表盘、红绿灯、突出显示

13、、字体变色、背景变色等多种方式进行预警提示。报文生成方面，不同监管机构所要求的数据文件通常存在一定差异，而且其实现算法也不尽相同。对于不同的监管报送应用，邯郸银行采用“适配器”处理方式，为每一项监管内容均开发一个适配器，负责从指标库中抽选指标并生成对应的上报数据文件。基于该方式，业务人员在处理不同监管内容时，可通过统一的方式和界面进行操作，不仅能有效提升填报体验、降低处理差错，同时也增强了报送数据的准确性和时效性。报表信息维护方面，监管要求的调整往往还涉及监管报送的新增、修改。对此，监管报送系统提供了特定的维护功能，支持报表新增、基本信息管理、填报指标项配置、取数公式维护等操作，并可通过时间戳

14、控制报表的生效版本，进而支持按照时间范围查询相应版本的报表。公共管理方面，在数据填报过程中，监管报送系统提供了报送机构管理、用户的角色和权限管理，以及参数配置、日志管理等一系列基础功能服务，以支持完成公共模块的管理及配置。三、总结与展望综上，本文所述监管报送系统定位于全行角度，支持实现数据的统一采集、加工、管理与检验，以及一站式满足各类监管报送要求，通过从数据采集、数据转换、数据管理、数据校验、数据报送等技术环节全链条规划，从非现场监管、金融统计、新版客户风险统计、金融标准化报送、利率报备、EAST系统等应用场景全方位设计，高效实现了对监管数据全生命周期的综合管理。同时，邯郸银行通过建设以Hadoop大数据平台为基础的分布式数据仓库，实现了对监管数据的统一采集、统一加工、统一管理、统一检验，不仅有效提升了监管报送数据质量，也为银行同业在该领域的探索实践提供了有益参考。未来，邯郸银行将继续常态化推动数据治理工作，有计划、有目标地推动源系统数据治理，保证源系统的数据能用、可用，并进一步完善监管报送系统的校验规则，健全监管数据校验体系，以使其适应不断更新的数据标准和规范，持续提高报送数据的时效性和准确性，更好地推动银行业务蓬勃稳定发展。