块存储、文件存储、对象存储的区别与联系.docx

《块存储、文件存储、对象存储的区别与联系.docx》由会员分享，可在线阅读，更多相关《块存储、文件存储、对象存储的区别与联系.docx（17页珍藏版）》请在优知文库上搜索。

1、1、块存储典型设备：磁盘阵列，硬盘块存睹主要是将棵磁盘空间整个映射给主机使用的，就是说例如磁盘阵列里面有5块硬盘（为方便说明，银设每个硬盘IG）,然后可以通过划逻辑盘.做Raid、或者1.VM（逻羯卷）等种种方式逻辅划分出N个逻辑的硬盘.（假设划分完的逻指盘也是5个，每个也是IG,但是这5个IG的逻辑盘已经与原来的5个物理硬盘意义完全不同了.例如第一个逻辑硬盘A里面，可能第一个200M是来自物理硬盘1,第二个200M是来自物理硬盘2,所以逻辑硬盘A是由多个物理硬盘逻辑虚构出来的硬盘.）接若块存储会采用映射的方式将这几个逻辑盘映射给主机，主机上面的操作系统会识别到有5块硬盘，但是操作系统是区分不

2、出到底是逻担还是物理的，它一概就认为只是5块裸的物理硬盘而已，跟直接拿一块物理硬盘挂载到操作系统没有区别的，至少操作系统惑知上没有区别。此种方式下，麋作系统还需要对挂我的裸硬盘进行分区、格式化后,才能使用，与平常主机内置硬盘的方式完全无异。优点：1.这种方式的好处当然是因为通过了Raid与1.VM等手段对数据提供了保沪.2、另外也可以将多块廉价的硬盘组合起来，成为一个大容飙的漫期盘对外提供服务，提高了容量.3、写入数据的时候，由于是多块磁盘组合出来的逻辑盘，所以几块磁盘可以并行写入的，提升了读写效率.4、很多时候块存储采用SAN架构组网，传输速率以及封装协议的原因，使得传输速度与读写速率得到提

3、升.缺点：1、采用SAN架构组网时，需要额外为主机购买光纤通道卡，还要买光纤交换机，造价成本高.2、主机之间的数据无法共享，在服务器不做集群的情况下，块存储棵盘映射给主机，再格式化使用后，对于主机来说相当于本地盘，那么主机A的本地盘根本不能给主机B去使用，无法共享数据.3、不利于不同操作系统主机间的数据共享：另外一个原因是因为操作系统使用不同的文件系统，格式化完之后，不同文件系统间的数据是共享不了的。例如一台装了WlN,文件系统是FAT32/NTFS,而1.inux是EXT4,ET4是无法识别NTFS的文件系统的。就像一只NTFS格式的U盘，插进1.inux的笔记本，根本无法识别出来.所以不利

4、于文件共享.2、文件存储典型设备：FTP、NFS服务器为了克服上述文件无法共享的问题，所以有了文件存储.文件存储也有软硬一体化的设备，但是其实普通生一台服务器/笔记本，只要装上合适的操作系统与软件，就可以架设FTP与NFS服务了，架上该类服务之后的服务器，就是文件存储的一种了。主机A可以直接对文件存储进行文件的上传下载，与块存储不同，主机A是不需要再对文件存储进行格式化的，因为文件管理功能已经由文件存储自己搞定了。优点：1、造价较低：随便一台机器就可以了，另外普通以太网就可以，根本不需要专用的SAN网络，所以造价低.2、方便文件共享：例如主机A（WIN,NTFS文件系统），主机B（1.inux

5、,EXT4文件系统），想互拷一部电影，本来不行.加了个主机C（NFS服务器），然后可以先A拷到C,再C拷到B就OK了。（例子比较肤浅，请见谅）缺点：读写速率低，传输速率慢：以太网，上传下载速度较慢，另外所有读写都要1台服务器里面的硬盘来承担，相比起磁盘阵列动不动就几十上百块硬盘同时读写，速率慢了许多.3,对象存储典型设备：内笆大容曜硬盘的分布式服务器对象存储最常用的方案，就是多台服务器内置大容量硬盘，再装上对象存储软件，然后再额外搞几台服务作为管理节点，安装上对象存储管理软件.管理节点可以萱理其他服务器对外提供读写访问功能。之所以出现了对象存储这种东西，是为了克服块存储与文件存储各自的缺点，发

6、扬它俩各自的优点。简单来说块存储读写快，不利于共享，文件存储读写慢，利于共享,能否弄一个读写快，利于共享的出来呢。于是就有了对象存储。首先,一个文件包含了了属性（术语叫metadata,元数据，例如该文件的大小、修改时间、存储路径等）以及内容（以下简称数据）.以往像FAT32这种文件系统,是亘接将一份文件的数据与metadata一起存储的，存储过程先将文件按照文件系统的最小块大小来打散（如4M的文件，假设文件系统要求一个块4K,那么就将文件打散成为100O个小块），再写进硬盘里面.过程中没有区分数据/metadata的.而每个块最后会告知你下一个要读取的块的地址，然后一亘这样顺序地按图索强,最

7、后完成整份文件的所有块的读取.这种情况下读写速率很慢，因为就算你有100个机械手臂在读写，但是由于你只有读取到第一个块，才能知道下一个块在哪里，其实相当于只能有1个机械手臂在实际工作.而对象存储则将元数据独立了出来，控制节点叫元数据服务器（服务器+对象存储管理软件），里面主要负责存储对象的属性（主要是对象的数据被打散存放到了那几台分布式服务器中的信息），而其他负责存储数据的分布式服务器叫做OSD,主要负责存储文件的数据部分.当用户访问对象，会先访问元数据服务器，元数据服务器只负责反馈对象存储在哪些OSD,假设反馈文件A存储在B、C、D三台OSD,那么用户就会再次直接访问3台OSD服务器去读取数

8、据.这时候由于是3台OSD同时对外传输数据，所以传输的速度就加快了。当OSD服务器数量越多，这种读写速度的提升就越大，通过此种方式，实现了读写快的目的.另一方面，对象存储软件是有专门的文件系疣的，所以OSD对外又相当于文件服务器，那么就不存在文件共享方面的困难了，也解决了文件共享方面的问题.所以对蕊存储的出现,很好地结合了块存储与文件存储的优点.最后，为什么对软存储兼具块存储与文件存储的好处，还要使用块存储或文件存储呢？1、有一类应用是需要存储宜接裸盘映射的，例如数据库.因为数据库需要存储裸盘映射给自己后，再根据自己的数据库文件系统来对裸盘进行格式化的，所以是不能够采用其他已经被格式化为某种文

9、件系统的存偌的.此类应用吏适合使用块存储。2、对象存储的成本比起普通的文件存储还是较高，需要购买专门的对象存储软件以及大容员硬盘。如果对数据员要求不是海量，只是为了做文件共享的时候，百接用文件存储的形式好了，性价比高.二、从应用角度比较块存储、文件存储、对象存储产品和市场需求有各种相互影响的关系，但不管是哪一种，最终呈现都是产品和应用需求需要对应匹配.应用需求越妥样化，市场也就划分得更加细，产品种类也就更加丰富,在存储行业，我们也可以从应用适段”这个角度来聊聊各类存储.传统认知上来说，IT设备分为计算/存储/网络三大类，相互之间是有明显的是河汉界的.计算大家都清整，服务器，小型机，大型机；网络

10、也就是路由器交换机；存储有内置存储和外营存储，最常见的就是磁盘阵列.在HC1（超融合）这个概念没被热炒之前，计凭网络存储还都是泾渭分明，各担其责的。今天我们先不讨论超融合的情况，仅基于传统理解，看看存储的情况。从逻辑上存储通常分为块存储，文件存储，对象存储.这三类存储在实际应用中的适配环境还是有着明显的不同的.块存储（DAS/SAN）通常应用在某些专有的系统中，这类应用要求很高的随机读写性能和高可靠性，上面措载的通常是OraCIeDB2这种传统数据库，连接通常是以FC光纤（8Gb16Gb）为主，走光纤协议.如果要求稍低一些，也会出现基于千兆万兆以太网的连接方式,MySQ1.这种数据库就可能会使

11、用IPSAN,走iSCSI协议.通常使用块存储的都是系统而非用户，并发访问不会很多，经常出现一套存储只服务一个应用系统，例如如交易系统，计器系统.典型行业如金融，制造，能源，电信等.文件存储（NAS）相对来说就更能兼顾多个应用和史多用户访问，同时提供方便的数据共享手段.毕竟大部分的用户数据都是以文件的形式存放，在PC时代，数据共享也大多是用文件的形式，比如常见的的FTP服务，NFS服务，Samba共享这些都是属于典型的文件存储.几十个用户甚至上百用户的文件存储共享访问都可以用NAS存储加以解决.在中小企业市场，一两台NAS存储设备就能支撑整个IT部门了.CRM系统，SCM系统，OA系统，邮件系

12、统都可以使用NAS存储统统搞定.甚至在公有云发展的早几年，用户规模没有上来时，云存储的底层硬件也有用几套NAS存储设备就解决的，甚至云主机的镜像也有放在NAS存储上的例子.文件存储的广泛兼容性和易用性，是这类存储的突出特点.但是从性能上来看,相对SAN就要低一些.NAS存储基本上是以太网访问模式，普通千兆网，走NFS/CIFS协议.TllA*JDocMailCRMOASelVerIseiverSerwrSeNer对象存储慨念出现得晚一些，存储标准化组织SINA早在2004年就给出了定义,但早期多出现在超大规模系统，所以并不为大众所熟知，相关产品一直也不温不火.一直到云计算和大数据的概念全民强推

13、，才慢慢进入公众视野.前面说到的块存储和文件存储，基本上都还是在专有的局域网络内部使用，而对釜存储的优势场景却是互联网或者公网，主要解决海最数据，海量并发访问的需求,基于互联网的应用才是对象存储的主要适配（当然这个条件同样适用于云计算，基于互联网的应用最容易迁移到云上，因为没出现云这个名词之前，他们已经在上面了），基本所有成熟的公有云都提供了对象存储产品，不管是国内还是国外.对象存储常见的适配应用如网盘、媒体媒乐，医疗PACS,气釜，归档等数据量超大而又相对“冷数据”和非在线处理的应用类型.这类应用单个数据大，总量也大，适合对象存储海盘和易扩展的特点.网盘类应用也差不多，数据总后很大，另外还有

14、并发访问量也大，支持10万级用户访问这种需求就值得单列一个项目了（这方面的扫盲可以想想12306）.归档类应用只是数据量大的冷数据，并发访问的需求倒是不太突出.另外基于移动端的一些新兴应用也是适合的，智能手机和移动互联网普及的情况下，所谓UGD（用户产生的数据，手机的照片视频）总量和用户数都是很大挑战.毕竟直接使用HTTPget/put就能直接实现数据存取，对移动应用来说还是有一定吸引力的.对象存储的访问通常是在互联网，走HTTP协议，性能方面，单独看一个连接的是不高的（还要解决掉线断点续传之类的可靠性问题），主要强大的地方是支持的并发数量，聚合起来的性能带宽就非常可观了.从产品形态上来看,块

15、存储和文件存储都是成熟产品，各种规格形态的硬件已经是琳琅满目了。但是对象存储通启你看到都是一堆服务器或者增强型服务器，毕克这东西现在还是互联网行业用得多点，DIY风格.关于性能容昆等方面，我做了个图，对三种存储做直观对比.块存储I文件存储I对象存储块存储就像超跑，根本不在意能不能多载几个人，要的就是极限速度和高速下的稳定性和可靠性，各大厂商出新产品都要去纽北赛道刷个单圈最快纪录，千方百计就为提高一两秒,跑不进7分以内都看不到前三名.（块存储容量也不大，TB这个数量级，支持的应用和适用的环境也比较专业（FC+0rade）r在乎的都是IOPS的性能值，厂商出新产品也都想去刷个SPC-I,测得好的得

16、意洋洋，测得不好自动忽略.）文件存储像集卡，普适各种场合，又能装数据（数百TB）,而且兼容性好,只要你是文件，各种货物都能往里塞，在不超过性能载荷的前提下，能拉动常见的各种系统.标准POXIS接口，后车门打开就能装卸.卡车也不挑路，不像块存储非要上赛道才能开,普通的千兆公路就能畅通无阻.速度虽然没有块存储超跑那么块，但跑个80/100码还是稳稳当当.而对象存储就像海运货轮，应对的是真海量”,几十上百PB的数据，以集装箱/container（桶/bucket）为单位码得整整齐齐，里面装满各种对象数据，十万客户发的货（数据），一条船就都处理得过来，按照键值（KeyVauIe）记得清清楚楚.海运速度慢是慢点，有时候遇到点网络风基还不稳定，但支持断点续传，展终还是能安全送达的，对大宗货物尤其是非结构化