解析国产数据库架构、应用场景及其存储适配.docx

《解析国产数据库架构、应用场景及其存储适配.docx》由会员分享，可在线阅读，更多相关《解析国产数据库架构、应用场景及其存储适配.docx（8页珍藏版）》请在优知文库上搜索。

1、1 .国产数据库的市场格局，技术背景以及发展格局1.1 国产数据库的发展情况数据库（DatabaSe,简称DB）是按照数据结构来组织、存储和管理数据的仓库.数据库管理系统（简称DBMS）用于建立、使用、麋纵和管理数据库，与数据库共同组成数据库系统.数据库向下调用底层硬件资源，向上支撑应用业务,是三大基础软件之一，更是计算机功能实现的正要基础.数据库发展出多种技术路径.按照数据模型、业务负载特征、部署方式、适配硬件架构,数据库可分为多种类型。数据模型决定了数据库的逻辑结构以及数据的存储，组织和操作方式，是最正要的要素.从全球视野来看,数据库发展起源追溯到20世纪60年代.上世纪七十年代，关系型数

2、据库模型首次出现，面世后在使用中因其对于逻期模型的高度描述能力进入大众视野，如IBM公司的DB2以及甲骨文公司的Oracle.20世纪末，传统的关系型数据库得到广泛应用，OraCIe、IBM等商业化数据库也随之到了蓬勃的发展.而在中国，Orade、IBM、Microsoft,SAP四家传统厂商的产品曾一度占据国内商业数据库市场超90%,目前OraCIe在中国数据库市场可谓是一手遮天.为了在数据方面实现安全可靠，自上世纪90年代以来，我国就有大大小小众多企业开始涉足国产数据库领域.虽然早期我国数据库厂商发展艰辛，但也获得了不小的成果：中国拥有了第一代原型数据库，也堀起了诸如东软Openbase、

3、中软Cobase和华科DMDatabase等一系列优秀国产数据库产品.迸入21世纪，阿里喊出了去IOE的口号，选择使用开源的MySQ1.,棱镜门事件的吸光，同时基于863计划、核高基计划等国家政策支持,一批拥有高校背景的国产厂商成立，也让达梦、金仓等一批国产数据库得到了广泛的关注，PostgreSQ1.HBase等开源数据库也开始活跃起来，国产数据库真正进入了授勃发展的时代,一时间数据库行业百花齐放，目前国产数据库产品已有两百余种。1.2 国内数据库市场格局目前海外的OraCle数据库与IBMDB2数据库在我国金融行业占据主导，国产化仍有广阔空间.同时在金融行业国产化数据库建设中，国产数据库已

4、经从边缘系统逐步走向核心系统，显示出国产数据库产品功能、性能水平不断增强，国产数据库厂商竞争力不断提升.借助政策东风，国产厂商厚积薄发，市场版图快速扩张。以阿里云、达装数据库为代表的国产数据库厂商，在某些行业持续拓展自身业务，获得了一定的市场领先地位.据统计，2020年国外数据库厂商的市场份额下降至52.6%,达梦金仓等传统国产厂商的市场份额上升至7.1%.目前国产数据库大致可以分为集中式和分布式.集中式发力较早的例如南大通用Gbase,武汉达梦DM,人大金仓kingbase、神通数据库.分布式数据库技术在互联网公司较早研发和应用，其由于自身业务压力或者是被动的研究和改进数据库.例如阿里云OC

5、eanBase、腾讯云TDSQ1.p。IarDB,后也有一些大型11厂商跟迸进行分布式研发例如华为的GaussDB.OpenGauss.中兴通讯GoIdenDB.亚信AntDB.从技术路线上来进行划分，PostgreSQ1.系有OPenGaUSS（Huawei）及基于OpenGauss开源MogDB（云和恩墨）和VaStbaSe（海量数据）、AntDB（亚信）、TeIePG（中国电信）、Tbase（腾讯）、TDSQ1.forPostgreSQ1.（腾讯）等.MySQ1.系有TDSQ1.-C（腾讯）、GaUSSDBfOrMySQ1（华为云）、PoIarDBforMySQ1.（阿里云）、GoIde

6、nDB（中兴）、AIiSQ1.（阿里巴巴）、GreatDB（万里开源）等.InfOrmiX系有GBasae8T（南大通用）、Toprow（华胜信泰）及SinoDB（星瑞格）.1.3 O1.AP和O1.TP数据库随着数据时代的发展，企业对于数据也有了不同的处理需求，从场景上分有分析和交易两种类型.面对事务处理和分析决策的需求，O1.TP（OnlineTransaCtionalProcessing）事务型数据库和O1.AP（OnlineanalyticaIProCeSSing）分析型数据库应运而生.O1.TP系统主要使用关系模型，保证强一致性，面向一线业务人员，支持多并发、实时、快速地增删查改，例

7、如银行交易.零住电商、车票预订等；O1.AP系统可以高速多维分析来自数据仓库、数据集市或者数据湖的数据，可使用关系型或者非关系型的数据库，主要面向分析师和管理者，支持对历史数据的复杂分析掇作，从而赋能企业商业智能决策.随着数据价值的进一步挖掘，企业对数据库系统也提出了新的要求。现阶段企业为满足交易处理和分析的需求.往往采用O1.TP+O1.AP的组合方案.但二者之间往往存在时延，无法满足企业实时分析的需求；同时管理两个平台往往凝要组建两支团队，运维成本高。HTAP（HybridTransactionalZAnaIyticaIProcessing）混合型数据库基于新的计算存储框架，能够同时支撑O

8、1.TP和O1.AP场景，避免传统架构中大量数据交互造成的资源浪费和冲突.此外，HTAP基于分布式架构，支持弹性扩容，可按需扩展吞吐或存储，轻松应对商并发、海量数据场景。1.4 国产集中式数据库各方面对比目前国产数据库都有替换Orade的能力，只是替换程度、效率和性能等各有差异.无论那个国产数据库替换Orade,都可能需要付出一定的代价，支出一定的成本,而根据项目系统制定一个完好的移植方案将会事半功倍减少代价和成本.一个好的方案需要经过对项目系统的全方面调研，根据业务场景、数据量、业务量、应用特性等诸多方面分析，结合预期移植数据库产品本身特性,如Oracle的兼容性、高可用性、数据安全性及性能

9、情况，选择移植后的架构、以及Sql优化等等进行考虑。在Sql兼容性上，目前市面上达梦数据与Orade数据库的语法兼容性相对高；M他基于pg系的如OPenGUaSS略低于达梦；MySQ1.以及InfOrmiX系与OraCIe的兼容性则更弱，在表类型、索引类型、高级数据库对象、OraCIe语法兼容性、Oracle特色功能兼容性等指标的支持程度上相对范困较小，不支持高级数据库对象、OraCle兼容接口；从架构上分析，主流集中式数据库拥有甫规的主备集群、读写分离集群架构，达梦目前实现了DSC+ASM功能，仿照银行常用的RAC+ADG架构，目前能提供DSC+DMDW架构。其他集中式数据库目前主要还是使用

10、主备集群的架构。可靠性方面，部分数据库备份还原不支持分级别的备份还原和跨平台备份还原，数据豆制均只支持同构巨制不支持异构豆制；仍然有部分数据库不支持行存储.在数据库智能套件产品方面，目前主流集中式和分布式数据库，均能提供数据迁移工具，Sql分析工具等.从国产数据库的产品适用的应用场景进行分析比较.达梦适用于大规模事务处理、大规模分析处理（中小规模同样适用）和混合型应用；神通、金仓和虚谷都适用于中小型事务处理和中小型分析处理场景;南大通用适用于大规模及中小型的分析处理.比较项达梦神通金仓南大通用大规模事务处理OUP型应用（数据量100T以上）X中小型事务处理O1.TP型应用（数据景100T以下）

11、X大规模分析处理O1.AP型应用（100o并发用户及以上）XX中小型分析处理O1.AP型应用（1000并发用户以内）混合型应用XXX2 .”国产数据库+服务器本地盘架构“与“国产数据库+SAN存储”不同搭配间性能对比在信创项目的国产化改造中，数据库的高效的运行离不开高性能的基础设施，尤其是数据库数据的存储介质.对于分布式数据库，存储的性能扩展和容量扩展可以通过增加检盘数量或者存储节点数量实现，而集中式数据库,主要是通过提升本地磁盘或者阵列性能、容量来实现.无论集中式数据库是以服务器本地磁盘阵列方式作为数据存储，还是以SAN存储阵列作为数据库的存储设备，从磁盘类别选择上，都推荐使用高性能的SSD

12、层至NVMESSD磁盘；但是从集中式数据而采用本地磁盘和采用SAN存储两种方案进行对比，采用SAN存储在多个方面具备一定优势.以下是从各指标架构的对比情况.项目本地盘SAN存储性能通过使用高性能磁盘组成本地阵列，可以达到较高性能，满足绝大部分需求场景,单台服务器io扩展能力有限，难以支持超大IO需求场景.通过存储服务器内置的存储管理系统，读写机制经过澡作系统和存储厂商的优化，用更多高性检磁盘组成存储阵列提高整体IO能力，结合多犍路等技术，整体能够藤得较高性能，可以满足更高性能要求的场景安全性通过服务甥本地陈列卡可以组建磁盘阵列，保证数据库的冗余。分布式数据库，数据有多副本机制，如果是集中式数据

13、库数据均存储在单台服务器上，单台服务器硬盘raid损坏则可能导致数据丢失.通过存储服务器内置的存储告理系统机制，组建存储阵列，存慵具备故障硬盘的预损坏状态监控，坏盘导致数据丢失可能性相对较低，同时存储本身也可以组建高可用提至双活，可以有更多的数据复制方案，安全性更高.可先性由于86服务器可靠性本身较低，而磁盘安装在本地，服务器或梯盘阵列卡故障会降低可兑性。集中式存储经过长期、大量的使用案例，技术较为成熟，具有高可靠性.通过存储服务器内Si的存储管理系统机制，组建存储阵列，同时存储本身也可以组建高可用甚至双活，稳定性高扩展性单台服务器本地盘位一般有限，在一定程使上限制了扩展性存储服务器拥有更多的

14、盘位，同时存储服务器支持进行横向扩展,犷展性更好.数据库可移植能力数据库迁移通过两种方案进行迁移：1、通过数据库软件本身自带卖群内主番豆制能力完成数据豆制后进行切换；数据库迁移通过两种方案进行迁移：1、通过数据库软件本身自带集群内主备复制能力完成数据豆制后进行切换；2、可以将存储通过SAN网络映射，挂载到2、通过拔播机盘进行数据迁移，目需要保证raid信息等一致性其他物理服务器节点，实现跨设备迁移数据库.3、可将存储进行卷豆制、存储间复制等操作，便捷实现数抠复制和迁移.成本投入单台插硬盘的服务器成本相对较低，但多台服务器支撑多个数抿库，成本逐渐与集中式存储持平.需要采炮存储设管相对较高，但一套

15、集中式存播可提供多个集中式数据库使用，均摊后成本甚至可能低于多套使用本次磁盘的数据库。数提屈的架构支持商可用集群支持支持RAC集群服务器的本地硬盘无法支持映射给多台物理服务器，故而无法支持RAC集雎功能.通过SAN网络支持将存储映射给多个服务器,支持多台服务器同时读写一个数据存储，因此可以支持RAC集群功能.从业务场段上来评估，如只是普通非关键业务系统，对数据库的性能、瑁定性、可靠性和数据安全性要求不高,且无扩展性要求，或本身环境无SAN存储条件的情况下，可以选择国产数据库+服务器本地盘的架构，在服务器本地构建磁盘阵列共数据库存放相关数据文件,如果是关键业务系统，对数据库的性能、稳定性、可免性和数据安全性要求都很高，且对磁盘犷展性也有要求，建议在有条件的情况下使用SAN存储，业务类型和要求架构选择普通业务，无高可用要求一般物理机+服务器本地盘+单机普通业务，有高可用要求一般物理机服务器本地盘+高可用集群关键业务，负载较高，性戳要求较高高性能物理机SAN存储单机关被业务，负教蛟高，性能要求较高,有高可用要求，对FaiIOVer不敏感高性能物理机+SAN存储+高可用集群+读写分离关城业务，负载较高，性能要求较高,有高可用要求，对Fa订。Ver敏感，对业务连续性要求很高高性能物理机+SAN存储+高