![点击分享此内容可以赚币 分享](/master/images/share_but.png)
2022年中国数据库研究报告.pdf
《2022年中国数据库研究报告.pdf》由会员分享,可在线阅读,更多相关《2022年中国数据库研究报告.pdf(39页珍藏版)》请在咨信网上搜索。
1、中国数据库研究报告2022.12 iResearch Inc.22022.12 iResearch I摘要来源:艾瑞咨询研究院自主研究绘制。数据库行业趋势洞察:数据库出海成为国产厂商的全新增量逻辑,欧美线路和东南亚线路是国产厂商出海的优选项;云原生进入2.0时代,实现了云资源对数据库的细粒度资源拆解和优化编排,云托管数据库进一步向原生式数据库推演;数据库与大数据技术的边界不断模糊,呈现融合趋势。中国数据库市场规模:据艾瑞统计,2021年中国数据库市场总规模达286.8亿元,同比增长16.1%。中国数据库市场虽受疫情影响,但整体稳步增长,由多方面因素促成:1)信创利好;2)需求驱动;3)国产厂商
2、厚积薄发;4)国内用户对基础软件的IT支出,尤其是国产数据库的付费意愿逐年提升。在数据库市场供给侧:分布式架构的技术特性趋于融合,云化部署大势所趋,使用门槛不断降低;数字化业务场景不断丰富,业务需求驱动HTAP技术成为重要的技术底座;在开源数据库领域,国产开源时间不长,整体表现尚有提升空间;国产数据库借信创东风,迎来了前所未有的发展机会。在数据库市场需求侧:在数字化转型浪潮下,企业用户的数据已初具规模,业务场景和数据结构越来越复杂,对于数据分析的需求日趋强烈。数据库部署方式呈现多元化,其中分布式架构和云部署的渗透率显著提升。随着国产数据库的技术创新以及产品性能提升,国产产品的头部效应明显,用户
3、体验仍有待进一步完善。3数据库供给侧分析2数据库需求侧分析3典型企业案例4数据库概述1行业趋势洞察542022.12 iResearch I定义数据库是由DBMS统一管理的,有组织、共享的数据集合数据是描述事物的符号记录,具有多种表现形式,包括文字、图形、图像、声音和语言等。数据库是相互有关联关系的若干数据的集合,特点是数据间联系密切、冗余度小、独立性较高、易扩展,并且可为各类用户共享。数据库管理系统(DBMS)是负责数据库搭建、使用和维护的系统软件,通过组织、索引、查询、修改数据库文件,实现数据定义、组织、存储、管理以及数据库操作、运行、维护等主要功能。围绕DBMS构建包含硬件操作系统、数据
4、库管理系统、数据库管理员以及相关机制配套在内的数据库系统(DBS),才能有组织、动态地存储大量相关数据,方便多用户访问。来源:公开资料,艾瑞咨询研究院整理及绘制。数据库系统架构统一管理、长期储存在计算机内、有组织的相关数据集合数据库(DB)数据库管理系统(DBMS)负责数据库搭建、使用和维护的系统软件存储节点存储节点存储网络节点网络节点网络计算节点计算节点计算数据库管理员(DBA)数据库应用程序(DBAP)DBAP 1DBAP 2DBAP 3终端用户52022.12 iResearch I发展历程硬件技术、应用场景等快速变化,行业格局百花齐放来源:公开资料,艾瑞咨询研究院整理及绘制。数据库行业
5、发展历程MySQL诞生1960IDS:基于网状模型的数据库系统IMS:基于层级结构模型的数据库系统1970Codd提出关系型模型199020002010NoSQL 数据库诞生NewSQL 数据库诞生,鼻祖为Google Spanner2021System R诞生Oracle Release 1诞生1980DB2:IBM 发布,至今广泛应用Oracle 和 Ingres 均完成了商业化Ingres问世,为PostgreSQL 的前身Postgres 系统支持了标准SQLOLAP 数据库出现,要用于构建数据分析类型的数仓,多以分布式部署,列存为主HTAP 数据库诞生云数据库诞生62022.12 i
6、Research I分类数据库按照不同维度,分类方法多种多样来源:艾瑞咨询研究院根据公开资料整理及绘制。按数据结构分类按架构分类按部署模式分类按功能分类按存储介质分类按商业模式分类NoSQL数据库键值数据库宽列数据库文档数据库图数据库NewSQL数据库可扩展性高性能ACID特性多模数据库多模型存储和查询数据为异构数据提供解决方案传统关系型数据库分布式数据库单机数据库简单性可靠性扩展性差成本高昂云原生数据库存算分离高可用高性能多云管理支持本地部署规范标准扩展性差成本高昂混合部署云托管数据库公有云上的MySQLPostgreSQL公有云私有云物理机部署环境变化OLTP强一致性多并发支持实时增删查改
7、OLAP多维分析列式存储发现趋势支持决策HTAP内存数据库磁盘数据库开源数据库费用低配套能力、服务能力、版本更新方面较差商业数据库安全可靠高稳定性数据强一致性高响应速度属性属性属性属性属性全局数据库管理系统局部系统局部系统数据库数据库OLTPOLTPOLTPOLTPHTAPOLTPOLAPSQL引擎应用内存磁盘磁盘SQL引擎内存应用(可选)7数据库供给侧分析2数据库需求侧分析3典型企业案例4数据库概述1行业趋势洞察582022.12 iResearch I2022.12 iResearch I分布式现状分布式数据库是通过计算机网络将物理分散的多个数据库单元连接组成的逻辑上统一的数据库。目前分布
8、式数据库的技术路线分为三类:分库分表+中间件方案、共享存储分布式数据库、去中心化的分布式数据库。当下分布式数据库市场产品繁多,但其技术特性逐渐趋同,从两个角度分析:其一,系统架构。存储采用开源或者自研内核,用一主多从的数据副本保证数据完整性,计算通过 SQL 语句解析分发和结果汇聚,管控用于保证各模块的高可用和故障切换等管理功能。其二,开源和自研两条研发线路。开源主要基于 MySQL 和 PostGreSQL,难点在于源代码改造的技术难度大;自研周期长且技术要求高,国内完全自研产品屈指可数,如 TiDB 和 OceanBase 等。未来分布式数据库的核心竞争要素为分布式事务的稳定性、产品全面性
9、以及生态工具的完备性。来源:艾瑞咨询研究院根据公开资料整理及绘制。来源:艾瑞咨询研究院根据公开资料整理及绘制。分布式数据库技术线路分类数据库中间件技术特性趋于融合,云化部署大势所趋,使用门槛不断降低SQLAPI内存层SQLAPI并发控制层方案:分库分表+中间件,下层单机数据库提供存储,其上封装中间层补足分布式能力优势:兼容性好,学习成本低,用户门槛低劣势:代码修改成本高,计算节点扩展性、全局事务能力及高可用不佳,机器冗余度高方案:共享存储分布式,共享存储集群,提供动态扩容的分布式高性能存储,计算节点独立优势:兼容性好,应用无需改造;事务性能好,读写响应快;共享存储一致性高劣势:依赖共享存储系统
10、,扩展性有限,难以做到跨地域高可用,架构可改造性较低方案:去中心化的分布式,各节点独立计算和存储功能,且不共享数据(shared-nothing),架构存算分离,通过共识算法保证副本高可用优势:架构高度解耦,按需扩展,无数量和规模限制,数据一致性的安全机制更好,高可用高兼容劣势:对硬件要求较高,上下游生态适配度仍需进一步完善分布式数据库发展方向技术特性融合,能力补齐分布式数据库的不同技术路线逐渐融合,取长补短,丰富产品能力,集中体现于两方面:第一,分布式事务的一致性提升,全局一致性协议保护加强;第二,分布式场景下数据分片智能化,多副本细粒度控制能力得到加强。云化与云原生设计分布式数据库与云环境
11、加速融合。一方面,分布式的架构优势可将传统部署与公有云资源结合,解决私有部署灵活度低、成本高等问题;另一方面,云环境可低成本加强分布式架构的高容灾和算力扩展,融合云基础资源实现云原生。软硬件结合,异构芯片混合部署以多核 CPU、异构计算(如DSP、GPU、ASIC、FPGA)持久化内存等为代表新硬件,为分布式数据库提供丰富的想象空间。通过异构芯片的混合部署,让分布式数据库在不同层级上提供锁定模式的安全机制,提供分离模式的性能。单体分布式一体化数据库架构在单机部署下实现分布式数据库的完整功能,从技术上突破分布式数据库的单机性能瓶颈,极大降低分布式数据库的部署门槛。无论用户自身规模大小,采用单机部
12、署抑或水平扩展部署,一套数据库系统便可满足核心系统要求。92022.12 iResearch I2022.12 iResearch I分布式前瞻来源:墨天轮,艾瑞咨询研究院整理及绘制。来源:艾瑞咨询研究院根据公开资料整理及绘制。墨天轮数据显示,国产分布式数据库自2019年以来保持高速增长,热度持续高涨。而通过用户调研了解到,面对分布式数据库的故障时,运维人员往往束手无策。主要原因是相较集中式数据库,分布式数据库对 IT 基础设施可靠性要求更高了,其核心代码主要覆盖了 SQL 实现和数据存储,而未能自动感知各种对数据库稳定性、性能、并发能力有重大影响的故障隐患,也难以在代码层面对此类问题进行处理
13、,从而实现故障自动规避。未来分布式数据库应提升基础数据探测和分析能力,随时针对出现的异常隐患提前处置,实现无需运维人员过多干预的高效自治运行,让分布式数据库从 IT 工程化产品变为真正开箱即用的通用型产品。加强底层故障隐患感知,提升异常处置能力,实现开箱即用2019-2022年国产分布式数据库规模及增速用户对分布式数据库的需求115284122373%62%45%2019.112020.112021.112022.11国产分布式数据库(个)增长率(%)简单灵活稳定可靠超大简单稳定安全无需备份,自动容灾动态扩展永远在线永不出错大型服务集群102022.12 iResearch I2022.12
14、iResearch IHTAP现状业务驱动HTAP技术成为重要底座,与分布式技术天然适配随着业务系统接入数据源复杂性提升,混合负载需求愈发强烈,数据库技术正向多源异构、高实时并发、多 SQL 标准接口的方向演进。过去,HTAP 数据库的技术架构以扩展主行存技术,在行存基础上加列存的方式为主,典型代表有 SQLServer,Oracle 和 L-store 等。随着分布式技术不断成熟,天然适配 HTAP 数据库,于是开启了分布式的架构实现,满足了高并发需求,典型代表有 SingleStore、MySQL Heatwave 和 Greenplum。我们认为未来 HTAP 仍应是在 OLTP数据库的
15、基础上,引入原生分布式架构和低成本存储引擎以扩展大数据量 OLAP 能力。最后,为更好支持 OLAP 的数据开发和建模能力,提升实时分析,HTAP 支持物化视图和外部表,并与各类数据开发工具和 BI 工具适配对接。来源:公开资料,艾瑞咨询研究院整理及绘制。来源:公开资料,艾瑞咨询研究院整理及绘制。现阶段 HTAP 数据库主要架构HTAP 面临的主要挑战特征:主行存为TP负载,内存列存为AP负载,行存经内存优化后高效将增量存储并至列存优势:TP和AP高吞吐,数据新鲜度高劣势:AP扩展性差,负载隔离性差主行存储+内存中列存储特征:依赖分布式架构,主存储为行存,部分从节点作为列存服务器为AP查询加速
16、优势:高扩展性,负载隔离性高劣势:数据新鲜度低分布式行存储+列存储副本特征:RDBMS为TP负载,列数据从行存提取,热数据留在 IMCS,冷数据移至磁盘优势:TP和AP高吞吐,高扩展,负载隔离性好劣势:数据新鲜度低磁盘行存储+分布式列存储特征:主列存为AP负载,增量行存处理TP负载优势:AP高吞吐,数据新鲜度高劣势:TP扩展性差,负载隔离性差主列存储+增量行存储行存列存硬盘TPAP列存TPAP节点分区分区节点分区分区主节点分区分区节点TPAP硬盘行存列存节点列存节点TPAP列存行存不同系统同一系统工程难度低,无法保证对事务的支持能力、数据的时效性、复杂的系统架构等架构技术和工程难度偏高,存在A
17、P和TP负载干扰问题,但事务的支持能力和数据的时效性方面更佳负载隔离数据新鲜度HTAP 数据库中 OLTP 和 OLAP 之间的负载隔离程度与 OLAP 读取事务性数据的时效性是目前需要重点权衡的性能指标。未来有待通过物理隔离与逻辑隔离的协同配合和技术创新,打破或减低二者的权衡与妥协。Trade-off数据时效性数据导入及查询优化当前 HTAP 数据库还未能实现将 TP 生成的实时数据快速同步至 AP 系统进行统计分析,很多 HTAP 数据库是在 TP 数据提交后,通过日志同步将 TP变更同步至 AP 部分,数据载入时间过长,数据时效性没法保证一方面是数据加载问题,包括全量数据快速准确导入和增
18、量数据的实时导入都是 HTAP 数据库亟需快速提升的能力;另一方面是查询性能的有待优化,在 AP 和 TP负载识别、索引等的准确性和响应效率方面存在比较明显的问题112022.12 iResearch I2022.12 iResearch IHTAP前瞻来源:墨天轮,艾瑞咨询研究院整理及绘制。来源:艾瑞咨询研究院根据公开资料整理及绘制。运用内置流处理能力进一步加强AP和TP间的融合墨天轮数据显示,自2020年以来国产 HTAP 数据库发展迅猛,几乎成为新兴数据库的必选项。Gartner 也指出 HTAP 已经成为全球范围内新一代数据库的入场筹码,HTAP 能力成为数据库重要选项。随着数据技术的
19、不断创新,未来 HTAP 数据库会进一步加强 AP 和 TP 之间的连接和融合,在数据库内部实现 AP 和 TP 之间的内置流(Streaming)处理能力。通过将 ETL 工作内置于数据库当中,让 HTAP 数据库同时具备 AP、TP 和流(Streaming)能力。用户可以按需创建各类表,运用流处理能力将表连接,从而获得简单、便捷的数据处理能力。数据库技术的进一步融合会打破当下数据栈的割裂状态,HTAP、流批一体、湖仓一体等技术趋势最终会让数据集中在简单易用、安全可靠、高性价比的数据平台。2019-2022年国产 HTAP 数据库规模及增速7142128100%50%33%2019.112
20、020.112021.112022.11国产HTAP数据库(个)增长率(%)基于内置流处理能力的 HTAP 架构日志层流存储列存HDFS硬盘S3行存分析型功能集群管理层资源管理预调度事务性功能数据源存储层临时存储Serverless 层统一计算管道流处理能力122022.12 iResearch I智能运维融合智能技术实现复杂数据库环境的管理自治DT 时代数据库技术架构和运行环境日趋复杂,种类从单一产品转变为混合型商业数据库和开源数据库组合,依靠人工运维显得捉襟见肘。作为智能化的数据库周边工具,数据库管理平台将机器学习与数据管理在功能上融合统一,利用机器学习增强系统设计开发,以标准化、自动化、
21、智能化的方式提供实时监控、健康巡检、智能诊断、多维分析等数据库管理服务。数据库管理平台的本质是数据库管理经验的代码化,核心方法论是云资源池化、分层解耦以及服务化,实现手段是基于微服务、分布式等云技术实现多元混合数据库环境的统一管理,目标是实现海量数据高安全、高可用、高性能的运维要求,助力数字化转型。来源:艾瑞咨询研究院自主研究及绘制。智能化的数据库管理生态数据库专家经验行业客户最佳实践机器学习融合统一转化为管理平台实施模块数据收据监控诊断1.收集系统指标:包括CPU、内存和磁盘等信息2.收集数据库性能指标:通过指针接入数据库系统采集性能指标1.监控:实时数据及调度相关任务更新配置2.诊断:基于
22、规则策略和专家经验,结合学习引擎处理提供智能诊断主要功能实时监控健康巡检智能诊断多维分析细粒度指标监控异常分析算法集群概览,告警趋势知识库巡检算法专家经验,最佳实践潜在风险告警系统性能实时多维度指标数据实时状态锁定异常快速处理指标和性能可视化多维动态钻取和查看计划分析和优化建议应用场景100%障碍0%障碍事中监控事前预防事后恢复提前规避主动巡检统一监控智能定位快速主备切换保障业务连续132022.12 iResearch I全球开源热度持续,成为国产数据库走向国际化的重要途径开源即开放源代码,用户可在源代码的基础上完成学习和修改。DB-Engines数据显示,截至2021年1月,开源数据库的全
23、球部署首次超过商业数据库。此后,开源数据库凭借在成本、产品丰富度、社区活跃性等方面的突出优势,持续获得了全球的高关注度。开源成为驱动数据库技术和市场变革的重要力量。在此趋势下,开源成为数据库项目冷启动的最佳方式,也是构建国产自研数据库生态、加速技术迭代、让国产数据库走向国际化的重要途径。注释:1、DB-Engines排名是按照当前流行程度的排名,较实际使用情况具有一定的超前性,具体指标包括网站上系统提及的频次、Google trends、IT论坛上系统讨论的频率、提及系统的工作机会数量、专业网络中提及系统的配置文件数和系统在社交网络中的提及次数;2、开源、商业-排名分数(%)为相对值。来源:D
24、B-Engines,艾瑞咨询研究院自主研究及绘制。2013-2022年全球数据库流行趋势2022.1052%48%30354045505560657013-Jan13-Apr13-Jul13-Oct14-Jan14-Apr14-Jul14-Oct15-Jan15-Apr15-Jul15-Oct16-Jan16-Apr16-Jul16-Oct17-Jan17-Apr17-Jul17-Oct18-Jan18-Apr18-Jul18-Oct19-Jan19-Apr19-Jul19-Oct20-Jan20-Apr20-Jul20-Oct21-Jan21-Apr21-Jul21-Oct22-Jan22-
25、Apr22-Jul22-Oct开源-排名分数(%)商业-排名分数(%)142022.12 iResearch I2022.12 iResearch I国产开源国产数据库开源时间不长,整体表现有待提升来源:Github,艾瑞咨询研究院根据公开资料自主研究及绘制。来源:艾瑞咨询研究院根据公开资料自主研究及绘制。国产数据库开源的必要性和发展趋势必要性获取市场信任基于国产数据库行业现状,只有选择开源,彻底打开“黑盒”,才能真正获取用户信任,打开市场局面构建成熟的数据库生态单纯依靠个别技术或软件很难构建成熟、完善的产品,只有选择开源,依赖社区生态推进,才能打磨出出色的数据库产品满足业务场景敏捷性闭源数据
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 2022 年中 数据库 研究 报告
![提示](https://www.zixin.com.cn/images/bang_tan.gif)
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【Stan****Shan】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【Stan****Shan】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。