文件类数据存储系统架构优化实践经验分享.docx

《文件类数据存储系统架构优化实践经验分享.docx》由会员分享，可在线阅读，更多相关《文件类数据存储系统架构优化实践经验分享.docx（20页珍藏版）》请在优知文库上搜索。

1、对于很多中小金融机构来讲，由于历史原因，企业的存储形态往往较为单一，存储系统并未做分类和分级建设.比如，对于集中式存储来讲，只有SAN存储，而并未使用NAS存储.这样一来,对于文件共享场景，很多企业有用到GPFS来构建分布式集群文件系统来满足业务系统文件共享场景需求.实际上，GPFS是一种高性能的并行文件系统，其底座很多也是使用FC组网的SAN存腐。GPFS大多适用于高性能计算场景，或者是和企业其他IT技术生态捆绑使用。另一方面，GPFS在构建同城或异地容灾时，也有一定的局限性，很妥也是基于底层SAN存储来做的数据级容灾。如果从企业的存储系统发展来看，随着企业存储管理的精细化,可以看到，GPF

2、S和NAS的使用场景也开始逐渐分流，两种技术分别适用于不同的业务场景中，可以说两者是术业有专攻”.对于氐时延的高性能场景或者是多业务系统之间文件交互场景,即插即用的NAS存储可以说带来了极大的便利.此外，集中式的NAS存储也有成熟的双活以及异步巨制解决方案艮好的匹配了企业的文件高可用性建设需求。此外，在海量非结构化数据存储优化方面，对象存储技术扮演了圣要角色近年来，对演存慵凭借其优异的成本优势、强大的横向和快速扩展能力以及丰S的服务接口特性在国内取得了快速发展，同时交付了很多成功案例。而对于传统的银行业，对象存储也有不少落地案例.从应用场景来看,主要用于对接ECM内容管理平台和箭份系统的分屋建

3、设中.一、背景和必要性目前我行的非结构化数据主要存储在构建于传统集中式块存储之上的IBMGPFS并行文件系统中.这些非结构化数据的文件数量和容量随着业务规模的发展呈逐年激增的趋势，而这种使用存储的方式灵活性不高，同时带来了过高的成本开销.GPFS构建在FCSAN存储之上，消耗了蛟多的SAN存储资源以及中间的FC交换网络资源.而从使用场景来看，GPFS主要用于前端的应用服务器集群，随着行里云平台的广泛使用，这种应用服务器外联FCSAN存储的架构也给应用服务器入云带来了制约，进而由于消耗了史多的物理服务器也会带来额外的成本开俏.另外，由于GPFS和数据库类的应用争抢存储资源，也给这些联机交易类系统

4、带来了一定的性能冲击.醺若行里的业务种类越来越丰富,不同类型数据的合理存放成为亟待解决的问题。针对上述问题，我行2018年引入了中低端NAS存储设备,用于存惭文件类的数据，为数据的分类存储提供了便利，使得存储的使用方式更趋于合理化.然而，按照我行存硫资源池的分级架构建设规划，需要额外建设具备双活能力的高端NAS存储系统，满足GPFS场景中歪要业务系统的文件共享需求和同城双活的高可用需求.为此，我行近两年来构建了商瑞NAS同城双活架构，同时,异地部署了一台低端NAS存储，进而实现了依托NAS存储宜制技术的3DC高可用架构.而现有的中低端NAS存储，可以继续承载GPFS场景中的一般更要业务系统的文

5、件存储需求.除了非结构化数据存储架构优化之外，我行另一个需要逐步优化的场景是系统间的文件交互。目前，我行使用专门的文件传输工具进行各系统间的文件传递，软件架构较为复杂，同时运城难度也略大.此外，由于各业务系统分布在不同的网络区域，鹿区的文件传输流量也会给各区域的边界防火墙带来性能压力.为此，我们可以借助NAS存储构建文件交互平台，不但省去了文件在各系统间的频繁传递，提高业务系统效率，同时，依托NAS存储的多网络区域覆盖能力，可以避免产生跨区流最，进而规避对边界防火墙的性能冲击.下面两张图分别是NAS引进前、后的文件类数据存储系统高可用架构图：l,-r.同俄大图一构建在SAN存鳍豆制技术上的文件

6、高可用架构M3生产中心同城灾备中心*MA10ilW海发学u图二依托NAS存储3DC方案构建的文件高可用架构实际上,在我行的整体存储体系和存楮架构规划中，SAN存储、NAS存储和对象存储有其各自的定位和应用场景.SAN存储适用于存储结构化数据，如数据库类应用，满足其高并发、低延迟的高性能需求.NAS存储适用于多服务器共享文件场景或构建文件传输平台，对性能要求没有SAN存储高，但成本要低。对象存储适用于存储海量非结构化数据（文件、影印件、音视频等），当文件数量达到数十亿、存储容量达到几十PB以上的员级时，其性能和总体拥有成本蛟之于NAS更具优势.二、技术路线对比对于文件类数据存悻的解决方案，实际上

7、我们从业界不难看到基本包括分布式集群文件系统、分布式NAS存储、传统集中式NAS存储以及对象存赭等.这些存储技术各具特色,分别适用不同的业务场里.比如分布式集群文件系统或者称为并行文件系统解决方案，例如：GPFS,Cephfs.GIusterFS.HDFS.GFS等.对于这些集群文件系统，有些存在元数据节点，有些则是没有元数据节点的对称架构，另外在文件的分片尺寸上也略有区别，但总体上来讲，这些分布式文件系统或者是分布式NAS存储基本适用于高性能计算场品或者是大文件处理场景中。而对于一般文件共享场景以及多系统文件交互场景,采用传统集中式NAS存储则更为便捷.如果从文件规模角度来看，对于文件数最在

8、千万级以下，文件容量在百TB级别，传统NAS技术可以承载。而对于文件数量在亿级别，文件容量在几十PB以上的情况下，采用对釜存储则更能凸显价值.对象存储可以说是云存储中一个正要技术分支，是近年来在国内发展最快的存储形态之一。无论是在传统行业还是互联网行业都有很多落地案例.在架构体系形态上，由于对象存储用于存储和处理海量的非结构化数据，例如文件、图片、音视频、影印件等，所以要求其有强大的扩展能力，而无疑采用分布式架构更便于横向、快速的扩展.在应用形态上，对蕊存储品露给前端的主要是S3协议，一种面向Web的RESTfUlAPl接口，需要前端应用针对这种特别的接口进行定制化开发.而为了兼容老的应用，对

9、象存储在前端还可以进行特别包装，从而可以提供丰富的NAS接口协议,甚至和Had。P大数据平台还有S3A接入适配协议.从对象存储在银行业的应用场景来看，可以分为两个大类，分别是业务系统处理和历史数据备份及归档.在业务系统支持上，对象存储可以对接ECM内容管理平台，作为后端的数据存储系统。这样一方面可以有效发挥其处理海量非结构化数据的性能和成本优势,另一方面，对釜存储还可以提供丰富的业务附加功能，如业务元数据Metadata标签,便于对业务数据做标记，提高业务数据快速检索能力.另一个场景可以用在备份系统的分居建设中.对繇存慵可以作为备份系统中磁带介质层的上层，用于作为近线备份的存储，提升历史数据的

10、检索效率。此外，在大数据平台场景中对象存储凭借S3A适配协议可以实现和大数据平台的对接,提供历史数据归档能力。三、存储分类分级建设通过项目实施，实现了我行NAS文件存储资源池的分级建设.随着NAS应用的推广和落地，逐渐降低了块存储使用成本，提高了存储的使用灵活度，实现不同类型业务数据的合理存描.特别是借助高端NAS存储设备构建同城双活架构,实现了正要业务系统对于文件存幡的高可用需求.较之于先前的GPFS方案,在RPO同为0的情况下，RTO指标得到极大提升。最后，利用NAS存储构建业务系统间文件交互平台，显著提升了业务处理效率.可以说，在企业IT基础架构优化中，很难有一种技术可以完美替代另一种技

11、术.就如同对象存储的引入并不是对现有企业存储架构的彻底颠遒,而是一种技术的有力补充，分类分级建设的存储资源池可以匹配各自适用的业务场品.传统集中式SAN存硫以其高并发、低延迟的特性，适用于数据库类业务场景。NAS文件存储资源池用于解决文件共享或者是系统间的文件交互场景.而对于音频、视频等非结构化数据的处理，采用对象存储则更为合理。正是这些技术的相互补充，才得以最大化地发挥各种技术的效能，从而更好地支撑前端业务系统的稳定、高效运行.GPFS迁移实践篇在计划进行GPFS向NAS转型前,要对目标NAS存储做好规划和设计.为了保证NAS存储可以彳艮好地支撑业务需求，同时确保NAS存储系统自身的架构健壮

12、性和性能，可以从容量、性能、架构以及规范等层面对NAS存储进行i锚设计.而对于GPFS向NAS的迁移,要以项目管理的方式进行工作推进.首先是人员的准备，要明确各个条线的工作职责,从而便于各条线做好配合,进而可以保证项目的交付质量。对于具体的迁移工作，要按迁移前、迁移中和迁移后做好整个迁移工作的闭环省理.此外，要做好经验总结，通过持勾9PDCA,可以使后续的迁移工作更顺畅和高效.一、目标NAS存储的规划和设计在进行GPFS向NAS技术转型之前，要对目标的NAS存储做好规划.可以从容量设计、性能设计、架构设计、规范设计等方面对目标NAS存阵提前进行规划。具体来讲，对于容量设计方面，要以GPFS台账

13、为依据，梳理GPFS文件总容量，此外，需要考虑存储容最年增长率因素，评估出满足业务至少3-5年的存储容最需求.对于性能设计，可以利用存储性能监控工具，形成GPFS业务系统的性能基线，并充分考虑波峥（带宽和OPS）,以此作为存储配芭的依据。在做性能统计时，有几个注意事项.一是GPFS业务系统在存储上往往较为分散，不同的业务系统服务器会分布在不同的存储设备上,这也是汇总性能数据的一个难点和要注意的地方.二是要特别关注交易量大的系统，抓住带来存储性能消耗的几个关键系统.三是要建立典型业务商峰时点的性能基线，如季度结息、年终决第、双十一等.四是在做性能分析时，要注意辨别共用存储资源的情况.例如GPFS

14、和数据库业务共用存储前端口的情况在做性能数据收集时，要收集GPFS涉及1.UN的性能，而不是端口的性能数据.因为端口属于共用资源，除了GPFS流最，还包括数据库业务贡献的澹量.对于架构设计，存储系统首先没有单点故障.然后用于承载点要系统的NAS存储构建基于存储复制技术的3DC架构.此外，为了提升NAS存储系统各张网络的健壮性和性能，建议构建功能独立、物理隔离的网络。对于业务网络，可以通过1.ACP链路聚合的方式扩充存储侧的网络带宽，最后，对于规范设计方面，要充分利用NAS存储提供的租户特性，实现各业务系统的安全隔离。有关NAS存储的架构设计将在后续的文章中进行更详细地说明.下图是华为高端NAS

15、双活系统网络拓扑图，从图中可以看出，正是采用了四网分离的网络架构，即业务网络、豆制网络*仲裁网络、管理网络分离，才得以保障各张网络的高可用和高性能.空）Ba中。图三华为高端NAS双活系统网络拓扑图二、迁移原则在GPFS向NAS迁移工作实施前，为了保证迁移质量，同时提升迁移效率，首先制定了迁移的四大原则.第一是先做减法原则，一方面，对于已下线及待下线的系统，积极推动系统下线流程，然后回收所用存储资源.另一方面，推动各业务系统历史数据清理，降低数据迁移量.第二是以睁制动原则，对于有改造计划的系统，待系统改造完成后，再决定是否迁移或回收老系统所用存慵资源.第三是“分批推进原则，为了平稳、高效地完成迁

16、移任务，合理划分迁移批次.此外，迁移工作要由易到难，从简到繁，不断积息经验。第四是精细方案原则，首先，迁移方案要做实做细，要做好迁移前、迁移中、迁移后整个迁移工作的闭环管理.此外，针对不同业务系统，需要定制最佳的个性化迁移方案,比如对于文件目录很深、文件数量特别大的系统，可以采用分批次的迁移方案.三、迁移方案如前所述，为了做好整个数据迁移工作的闭环管理，下面将从迁移前的准备工作、迁移实施过程以及迁移后的收尾工作等环节对迁移方案进行展开陈述。（一）迁移前的准备工作人员是项目实施的关惚因素，在迁移项目中,各个技术条线要做到分工明确，进而才可实现通力合作.系统条线作为提供和保障IT基础设施的技术条线，将作为整个迁移项目的项目经理角色，负责牵头整个数据迁移项目.应用条线配合确认和推进已下线和待下线系统的下线流程，同时，在数据迁移完成后，配合进行必要的业务