分布式存储架构发展及技术分析与分布式存储典型问题解读.docx

《分布式存储架构发展及技术分析与分布式存储典型问题解读.docx》由会员分享，可在线阅读，更多相关《分布式存储架构发展及技术分析与分布式存储典型问题解读.docx（22页珍藏版）》请在优知文库上搜索。

1、分布式存储架构发展及技术分析存储域 SerVerServer z Scncr 国分布式施基于新型极简共享存储的DiCkSS架彻底座从云和互联网的业务场景来看，其存储域主要采用基于服务器部署分布式存储服务的融合方式，它面临如下挑战：1 .数据保存周期与服务器更新周期不匹配。大数据、人工智能等新兴业务催生出海量数据，大量数据需按照其生命周期策略（例如810年）进行保存。2 .性能可靠与资源利用率难以兼得。支撑业务的分布式存储系统大致可以分为性能型存储和容量型存储，它们均无法同时实现高性能可靠与高资源利用率。具体地，性能型存储主要运行数据库、虚拟化等关键业务，通常采用三副本或两副本并配合独立冗余磁盘

2、阵列卡模式；这类方案虽兼顾了性能和可靠性，但其大约30%的空间利用率却是对存储资源的极大浪费。容量型系统为了提升空间利用率，采用纠删码（EraSUreCode,EC）方式，然而，EC计算过程中的读写、重构等会消耗大量网络资源，导致系统重构效率低下、重构时间长，给系统可靠性带来风险（如图1所示）。云和互联网分布式存储系统性能可靠性影响大EC计算过程中读写、重构等消耗大量网络资源，系统存储资源利用率低常采用多副本方式保证可靠性不同系统烟囱式构建存储.无法跨系统池化存储重构效率低下、重构时间长图1分布式存储资源利用率3 .新型分布式应用的极简高效共享存储诉求。以无服务器（SerVerleSS）应用为

3、代表的新型分布式应用在近些年涌现，这类应用从无状态化向有状态化扩展，比如数据库、消息总线等组件纷纷容器化，数据共享访问的诉求不断增多。与此同时，人工智能和机器学习等应用需要大量异构算力协同，甚至产生共享内存访问的诉求，它们关注高带宽、低时延的访问能力，仅需要轻量、便捷的共享存储系统即可，不需要搭载具有复杂企业特性的传统存储。4 .数据中心税导致数据密集型应用效率低下。面向数据密集型场景，在基于以CPU为中心的服务器架构下，应用为获取数据所缴纳的“数据中心税”（datacentertax）日益加重。例如，服务器内的CPU为处理网络及存储IC）请求，需要消耗高达30%的算力3；此外，由于通用CPU

4、并不擅长数据处理运算，导致其能效比低下。传统存算分离架构将算力资源和存储资源（机械硬盘、固态硬盘等）分离至彼此独立的计算域和存储域，并通过以太网或专用存储网络（例如光纤通道）将二者互连，实现了存储资源的灵活扩展和高效共享（如图2左侧所示）；该架构主要为复杂的传统企业特性设计，难以应对上述挑战，为了让云和互联网存储域服务兼顾资源利用率、可靠性、性能、效率等众多诉求，亟须基于新型软硬件技术构建新型存算分离架构。ECSI存储域 Server计算域 Server计Il无盘化直建存储模组 Mr. Nk V NOF似Mtn化M业务 Oia化 v9 三景YW 3y Bh 卜、Wl 2” KVanlaMnlJ

5、T内朗酝、J JsLUScncr分的W仓am出容凰FSfO分布式EC.和IHiS布JS 6. Hxk r RftMAtHMmt务M内在拉远谢匕大内存加速应用X、.*u.(1MMCSl(SI基于新型极筒共享存储的DiSIdeSS架构底座高通.数据总我名总线、弊总鼻11M机OPriealJe弊)图2传统存算分离架构与新型存算分离架构时比一、硬件技术趋势面对数据中心在容量利用率、存力效率等方面的挑战，近年来，专用数据处理器、新型网络等技术快速发展，为数据中心基础设施的重构提供了技术基础。首先，为取代服务器本地盘，很多厂商推出以太网闪存簇(EthemetBUnChOfFlash,EBOF)高性能盘框(

6、例如，近期陆续发布的西数OPenFlex、VaStDataCereS高性能盘框等)。这类盘框不再具有复杂企业特性，而是注重采用新型的数据访问标准，比如支持NOF(NvMExpressoverFabric)等接口，以提供高性能存储实现对本地盘的替换。NoF协议由NVMExpress(NVMe)标准组织在2016年发布，提供了NVMe命令到多种网络传输协议的映射，使一台计算机能够访问另一台计算机的块存储设备。同时，一些研究机构进一步探索远程内存池化技术，例如，韩国KAIST实验室实现了基于FPGA的CXL(ComputeExpressLink)互连协议；CXL为英特尔于2019年3月在Interc

7、onnectDay2019上推出的一种开放性互联协议，能够让CPU与GPU、FPGA或其他加速器之间实现高速高效互联，从而满足高性能异构计算的要求。其次，业界涌现出整来越多的数据处理单元(DataProcessingUnit,DPU)和基础设施处理单元(InfrastructureProcessingUnit,IPU)专用芯片，在数据流处理路径上取代通用处理器，提升算力能效比。同时，基于可编程交换机的网存协同也是研究热点，例如在网数据缓存的NetCacheKV-Direct,在网数据协调的NetLockSwitchTx,在网数据聚合的SwitchML.NetEC,在网数据调度的FLAIR、Al

8、NiCO等。最后，数据访问网络标准也在持续增强，比如CXL协议新版本加强了内存池化方向的技术特性，同时吸收了Gen-Z(由AMD、ARM、HPE等公司发起定义的面向内存语义的技术)、OpenCAP(OpenCoherentAcceleratorProcessorlnterface,最早由IBM提出的异构计算接口)等技术的成果，正逐步成为业界主流高速互联标准。NVMe2.0也在向着语义统一、Fabric统一和介质统一方向演进。这些新型存储、计算和网络硬件为构建面向云和互联网场景的新型存算分离架构带来了诸多机遇，譬如使用DPU等专用芯片能够打破传统以CPU为中心的服务器架构，由此提升数据密集型应用

9、的效率。二、新型存算分离架构的特征随着远程直接内存访问(RemoteDireCtMemOryACCess,RDMA)CXL可编程网络设备、高性能NVMeSSD、持久性内存等新型硬件技术的发展，需要构建新型存算分离架构，以确保云和互联网存储域服务能够兼顾资源利用率、可靠性、性能、效率等众多诉求。相较于传统架构，新型存算分离架构最为显著的区别在于：(I)更为彻底的存算解耦，该架构不再局限于将CPU和外存解耦，而是彻底打破各类存算硬件资源的边界，将其组建为彼此独立的硬件资源池(例如处理器池、内存池、机械硬盘(HDD)/固态硬盘(SSD)池等)，从真正意义上实现各类硬件的独立扩展及灵活共享；(2)更为

10、细粒度的处理分工，即打破了传统以通用CPU为中心的处理逻辑,使数据处理、聚合等原本CPU不擅长的任务被专用加速器、DPU等替代，从全局角度实现硬件资源的最优组合，进而提供极致的能效比。总结来说，新型存算分离架构具有如下特征：1 .无盘化的服务器。新型存算分离架构将服务器本地盘拉远构成无盘化(diskless)服务器和远端存储池，同时还通过远程内存池扩展本地内存，实现了真正意义上的存算解耦，可极大提升存储资源利用率。业务使用时.，可根据应用需求选择配置不同性能、容量的虚拟盘及池化内存空间，这样一方面可以避免由于不同服务器本地存储空间利用率过低导致超配造成的浪费；另一方面，当服务器出现故障或者更新

11、换代时，也不影响数据的保存，不需要额外的数据迁移。2 .多样化的网络协议。连接计算和存储间的网络协议从当前的IP或光纤通道(FibreChanneLFC)协议扩展到CXL+NoF+IP协议组合。CXL协议使得网络时延降低到亚微秒级别，有助于内存型介质的池化；NoF协议加速SSD池化;IP协议可满足HDD等慢速介质访问诉求。通过这几类协议组合构建的高通量网络，满足了多种场景池化接入诉求。3 .专用化的数据处理器。数据存储、访问等操作不再由通用处理器负责，而是卸载到专用数据处理器。此外，特定的数据操作可由专用硬件加速器进行进一步加速，如纠删码、加密压缩、网络通信等。通过专用数据处理器，可以释放通用

12、处理器算力，用于服务更适合的场景，显著提升系统整体能效比。4 .极高存力密度的存储系统。分离式存储系统(disaggregatestorage)是新型架构的重要组件，作为持久化数据的底座，在存储介质的集约化管理基础上，结合芯片、介质的深度协同设计，整合当前系统、盘两级的空间管理，通过大比例纠删码算法减少冗余资源开销比例。此外，还可通过基于芯片加速的场景化数据缩减技术提供更多的数据可用空间。三、面向云和互联网场景的存算分离架构新型存算分离架构意在解决前文所提的当前架构面临的几大痛点挑战，通过将原有架构的多级分层资源进行彻底解耦池化和重组整合，形成新的三大简化分层：存储模组、总线网络和算力模组，从

13、而提供服务器本地存储拉远池化、新型网络灵活组装、以数据为中心的多元处理、高容量极简盘框等几大新兴能力。1、存储模组面向云和互联网数据中心，需要以更专业的存储能力重新定义云和互联网的存储架构。新型存算分离架构中，存储型模组主要以EBOF,以太网内存簇(EthemetBunchofMemory,EBOM)以太网磁盘簇(EthernetBUnChofDisk,EBOD)等新型盘框形态存在，RAID/EC/压缩等传统存储能力下沉到新型盘框中，构成“盘即存储”的大盘技术，对外通过NoF等高速共享网络提供块、文件等标准存储服务。这一类新型盘框将传统磁盘阵列的冗余池化技术和数据缩减技术进行了高度集约化和小型

14、化。场景 存储模组替换计H/存储的本地SSD/HDD 盘RAIDBlock:、E tM) lll)lftHma tt、泣IrMe IHWMtMM.m.H ll*kV KVS R M S分根啊、Clteni图3存储模组的三类典型应用场景云和互联网的多样业务主要分为三种典型的应用场景（如图3所示）。第一种场景是针对虚拟化业务，直接将数据中心存储域服务器的本地盘拉远，对分布式开源存储集群的物理硬盘层形成替代。第二种场景是为数据库、大数据服务等需要极热数据处理的业务提供大内存、键-值（Key-Vake,KV）接口,加速数据处理效率；第三种场景是针对容器等新业务场景，为Ceph.Lustre等分布式应用

15、直接提供文件语义，卸载本地数据布局，并支持将温热数据分级到更冷的EBOD等机械硬盘或磁带型存储模组中，提升整系统资源使用效率。2、算力模组当前，摩尔定律演进变缓，只有采用专用处理器才能进一步以异构方式发挥出下一阶段的算力。引入专用处理器后，算力池化是必然选择；否则，如果为每台服务器配置异构算力卡，不仅使整机功耗巨大,还会导致资源利用率十分低下。以DPU为代表的专业数据处理器具备成本更低、功耗更低、即插即用、即换即用等独特优势，并且在运行状态下不与业务应用发生资源争抢，保证用户业务正常运行的同时也保障了基础设施的服务质量。3、高通量数据总线ResourcecanbeDisaggregated介质DRAMPMSCM