2022年分布式存储技术与产业分析报告.pdf
《2022年分布式存储技术与产业分析报告.pdf》由会员分享,可在线阅读,更多相关《2022年分布式存储技术与产业分析报告.pdf(34页珍藏版)》请在咨信网上搜索。
1、 1 分布式存储技术与产业分析报告 ODCC-2022-05002 分布式存储技术与产业分布式存储技术与产业 分析报告分析报告 编号 ODCC-2022-05002 分布式存储技术与产业分析报告 开放数据中心标准推进委员会开放数据中心标准推进委员会 2022-04 发布发布 III 分布式存储技术与产业分析报告 ODCC-2022-05002 前言前言 云计算、大数据、人工智能、5G等新一代信息技术快速发展,对存储的需求不断提高,作为信息系统不可或缺的组成之一,存储在支撑数字经济发展中,扮演着至关重要的角色。当前,随着数字化转型的不断深入,整个社会加速向数字化、网络化、智能化方向发展,由此带来
2、的海量数据对存储提出了新的要求。传统存储虽有技术成熟、性能良好、可用性高等优点,但面对海量数据,却在可扩展性、成本等方面存在明显不足,而分布式存储技术则有较好的表现。分布式存储技术从出现开始就吸引了众多企业的关注,成为存储产业发展的重要方向。分布式存储技术的发展历程具有“迎合应用需求”和“技术创新突破”的特点,随技术的演变而迅速发展,总体呈现高性能、易于扩展以及智能化等优势。本白皮书基于全球视角和我国现状,对分布式存储市场趋势和产业政策进行了梳理,从技术创新、产业图谱等维度对分布式存储产业的发展进行了重点分析,并对我国分布式存储发展进行了展望。由于时间仓促,水平所限,错误和不足之处在所难免,欢
3、迎各位读者批评指正。如有意见或建议请联系。IV 分布式存储技术与产业分析报告 ODCC-2022-05002 目录目录 版权声明.I 编制说明.II 前言.III 一、分布式存储概况.1(一)分布式块存储.1(二)分布式文件存储.1(三)分布式对象存储.2 二、分布式存储产业发展分析.2(一)全球分布式存储分析.2 1 市场趋势.2 2 产业政策.5(二)我国分布式存储分析.5 1 市场趋势.5 2 产业政策.7 三、分布式存储技术分析.7(一)关键技术分析.8 1 存储组网与协议.8 2 存储部件.14 3 系统软件.17(二)技术创新.20 1 网络方面.20 V 分布式存储技术与产业分析
4、报告 ODCC-2022-05002 2 硬件设备.21 3 软件系统.21 四、分布式存储产业图谱.22(一)分布式存储产业上游.24(二)分布式存储产业中游.25(三)分布式存储产业下游.26 五、分布式存储产业发展趋势.28 六、总结.29 1 分布式存储技术与产业分析报告 ODCC-2022-05002 一、一、分布式存储概况分布式存储概况 数据中心作为新基建的重要“底座”,是助推数字经济发展的重要力量。在国家战略的指引下,推进数据中心产业高质量发展,成为全行业“十四五”时期的重要任务。当前,随着数字化转型的不断深入,整个社会加速迈向数字化、网络化、智能化,加快了数字化转型的步伐。与此
5、同时,大数据、人工智能、5G 等新型技术的应用普及,让“数据洪流”更加汹涌,数据中心存储技术的创新和发展迫在眉睫。存储设备基于存储架构的差异,主要分为集中式存储和分布式存储。集中式存储采用“控制框+硬盘框”架构,已经演进多年,系统的稳定性和增值功能逐渐强大。分布式存储基于通用存储服务器,与集中式存储相比,可扩展性较强,系统更易管理。据 IDC 发布的数据时代 2025报告显示,预计 2025 年全球数据量达到 175ZB,超过 2020 年数据量的 3 倍1,数据已成为第五大生产要素。面对爆炸式增长的数据存储需求,尤其是非结构化数据,业界一致认为分布式存储是未来存储的发展趋势。(一)(一)分布
6、式块存储分布式块存储 分布式块存储是通过分布式块存储软件将通用存储服务器的本地存储资源组织起来,构建全分布式存储池,支持大规模横向扩展的存储产品,为上层应用和客户端提供 SCSI、iSCSI 等标准的访问接口协议,满足云资源池及数据库等场景的存储需求。(二)(二)分布式文件存储分布式文件存储 分布式文件存储采用分布式文件存储软件,将通用存储服务器的本地存储资源整合成统一的资源池,对外提供统一命名空间。通过 NFS、CIFS、POSIX 等 1 ODCC 2020 开放数据中心峰会亮点剧透之全闪存阵列技术规范 2 分布式存储技术与产业分析报告 ODCC-2022-05002 标准文件协议接口访问
7、,具备大规模横向扩展能力,为用户提供非结构化数据共享存储资源,应用于视频、音频、高性能计算、视频监控等多业务场景。(三)(三)分布式对象存储分布式对象存储 分布式对象存储通过分布式对象存储软件,组织通用存储服务器的本地存储资源,构建分布式存储池,为上层应用提供 S3 等标准访问接口协议。分布式对象存储具有高速直接访问和数据共享等优势,不但提供了高可靠性、跨平台性以及安全数据共享的存储体系结构,而且适用于存储海量的、非结构化的、读多于写的数据。表1 分布式块、文件、对象主要技术指标对比 存 储类型 常用接口 支持操作 冗余 策略 特性 应用耦合程度 分 布式 块存储 SCSI、iSCSI 创建、
8、删除、扩容、挂载、卸载卷等操作 多 采 用副本-业务与块存储部署在同一局域网 分 布式 文件 存储 NFS、CIFS、FTP、POSIX 目录可以嵌套或重命名等;文件支持多用户并发读写、随机修改、重命名等。多 采 用EC-业务与文件存储部署在同一局域网 分 布式 对象 存储 S3 V2 REST API、S3 V4 REST API、openstack swift 支持对象常规操作、分段上传、多版本、生命周期管理等;一般不支持修改写。多 采 用EC 支 持 丰 富的 语 义、用 户 可 自定 义 对 象属性 应用与对象存储可不在同一局域网 二、二、分布式存储产业发展分析分布式存储产业发展分析
9、(一)(一)全球分布式存储分析全球分布式存储分析 1 1市场趋势市场趋势 3 分布式存储技术与产业分析报告 ODCC-2022-05002 全球数据总量急剧增长,数据价值不断释放。随着云计算、大数据和人工智能等技术的发展,信息技术已经广泛融入到生产、生活、交易、社会治理等方面,数据的产生和应用更为广泛。在数据产生方面,据 IDC 预测,2018 年到2025 年之间,全球产生的数据量将会从 33ZB 增长到 175ZB,复合增长率达到27%,到 2025 年全球数据总量将达到 163ZB,相当于 2016 年的十倍。在数据总量快速增长的同时,数据资产的价值也在不断凸显,如通过大数据分析刻画用户
10、画像,为用户提供更加优质的服务,实现精准营销;利用数据分析对生产参数进行精细控制,制造出质量更高的产品,实现精益生产等。云端及边缘市场需求不断扩大,市场规模占比显著提升。近年来,移动终端及智能感应终端设备快速增长,且终端产品存储容量也在不断提升,但不可否认的是云端和边缘端依然是数据存储的重心。IDC 数据统计,2022 年云端存储占比将达到 47.6%,超过边缘存储成为最大的数据存储位置,到 2023 年云端数据存储容量将超过边缘存储和端侧数据存储的总和,占比达到总量的 50.4%。当前,云边端协同发展成为数字经济发展的重要趋势,世界主要国家都在加速推进数据中心、边缘数据中心的建设与发展。在云
11、边协同战略发展的背景下,分布式存储将迎来新的发展机遇。全球分布式存储厂商开始进一步关注到互联网数据中心和边缘数据中心对存储产品的需求,并结合特定业务场景、建筑布局及运维管理需求开展存储产品研发设计。软件定义的存储市场规模持续攀升。随着大数据、云计算以及人工智能的发展,推动了存储技术的重大进步。软件定义存储技术与网络连接存储等传统存储技术相比,具备自动化、灵活、可扩展的特性,成为存储市场的新兴力量。据Transparency Market Research发布的Software Defined Storage Market表明,从2019年到2027年,全球软件定义存储市场年复合增长率达到25%
12、,市场规模将达到536亿美金。北美和欧洲的存储市场受到政策引导和资金扶持,将持续保持高速增长,其中北美仍是软件定义存储的主要市场,如图1所示。同时,根据Gartner 2020年存储战略路线图预测,到2024年,全球存储容量的50将作为SDS部署在本地或公共云上。与2020年相比,2024年的大型企业将会存储在本地,边缘或公共云的文件或对象存储的非结构化数据将增加两倍,如图2所示。4 分布式存储技术与产业分析报告 ODCC-2022-05002 数据来源:Transparency Market Research 图1 软件定义存储市场预估 数据来源:Gartner 图2 全球各种存储类型市场占
13、比 43.50%54.30%67.60%78.40%84.50%1.20%1.50%1.10%0.80%0.50%45.70%38.30%28.70%18.90%13.50%9.60%5.90%2.50%1.90%1.50%0.00%10.00%20.00%30.00%40.00%50.00%60.00%70.00%80.00%90.00%100.00%20182020202320252030Server/DAS Off-PremisesECB off-PremisesServer/DAS On-PremisesECB On-Premises 5 分布式存储技术与产业分析报告 ODCC-202
14、2-05002 2 2产业政策产业政策 美国政府发布多项政策培育和推动高端半导体技术发展。半导体存储是现代分布式存储产业发展的重要方向,美国政府高度重视半导体存储芯片在下一代信息技术中的应用前景,鼓励国内半导体厂商进行技术创新。2022 年 2 月,美国发布2022 年美国竞争法案(America COMPETES Act of 2022),强调对半导体芯片产业领域的支持和补贴。除了政策支持外,美国的行业协会也积极通过商业形式加强了存储产品的测试和认证,如美国存储性能委员会(Storage Performance Council)推出了 SPC 存储设备测试规范,对存储设备性能进行了全方面的评
15、估,有助于推动美国及全球存储产业发展。日韩政府积极出台产业支持政策,加速分布式存储产业发展。依托于美国存储产业发展,依靠人力成本及精细管理的优势,日本企业快速进入存储产业赛道。2021 年 5 月,日本政府成立了旨在强化日本半导体产业的“推进半导体战略议员联盟”,构建半导体存储产业链,推进和美国的联盟合作,提升日本企业的竞争实力。2021 年底,在批准的预算修正案中“半导体产业基盘紧急强化一揽子方案”获得 7740 亿日元的预算,涵盖半导体生产、半导体设备、5G通信等。频繁的半导体产业政策预示着日本半导体存储产业链将迎来高速发展新时代。与此同时,韩国半导体产业在 20 世纪 90 年代末进入到
16、快速发展时期。2020 年 10 月,韩国政府颁布了人工智能半导体产业发展战略,在“政府+大企业”的战略推动下,加强了“资金+技术+人才”的深度融合,为韩国半导体存储产业发展提供了强大的推动力。2021 年 5 月,韩国政府发布了旨在主导全球半导体供应链的“K-半导体战略”文件,指出了政府和企业将在京畿道和忠清道建设半导体产业集群的规划战略,构建集半导体设计、原材料、零部件、尖端设备等生产体系,推动全球半导体供应链加速发展。(二)(二)我国分布式存储分析我国分布式存储分析 1 1市场趋势市场趋势 我国分布式数据市场规模持续攀升,大容量、高性能存储设备增长最快。随着我国新基建的全面开展,以及数字
17、化转型的不断深入,数据中心、云计算、6 分布式存储技术与产业分析报告 ODCC-2022-05002 工业互联网等建设规模将保持快速增长的态势,对于分布式存储的需求也将快速增长,为存储市场发展提供不竭动力。据 IDC 数据显示,2021 年我国存储市场规模达到 59.046 亿美元,比 2020 年市场规模增长 17.9%,未来 5 年存储市场仍将保持增长趋势,如图 3 所示。政府发布“十四五”规划和“新基建投资计划”,鼓励用户投资数据中心和基础设施,推进企业数据化转型,实现业务和应用数字化,增加数据消费和存储支出,拓宽我国存储市场规模。从细分领域看,为应对数据激增和时间敏感业务的挑战,适用于
18、大规模数据存储、可扩展性较强的分布式存储成为支撑我国存储市场持续增长的存储技术。数据来源:IDC 图 3 中国存储市场预测 新应用场景成为推动分布式存储发展的有力抓手。据 IDC 发布的中国软件定义存储(SDS)及超融合存储(HCI)系统市场季度跟踪报告,2020 年第四季度报告显示,2020 年软件定义存储与 2019 年相比增长了 51.7%,超融合存储系统增长了 36.5%。随着各行业新兴技术的不断涌现,激发了新应用场景和多元化产品的兴起,促进了中国存储市场的发展。从新应用场景角度来看,金融行业出现了如“远程柜台”、“人脸/指纹识别”等新型金融应用,实现了结构化数据向非结构化、多类型数据
19、的转变;教育行业积极部署信息化和网络辅助教育,教学模式多样化如“线上教学”、“混合式教学”等形式对存储容量要求也不17.40%17.90%11.20%9.50%7.80%6.30%4.80%0.00%2.00%4.00%6.00%8.00%10.00%12.00%14.00%16.00%18.00%20.00%01020304050607080902019202020212022202320242025价值(亿美金)增长率 7 分布式存储技术与产业分析报告 ODCC-2022-05002 断提高。针对多类型数据混合存储带来的存储性能问题,分布式存储系统能够有效解决。2 2产业政策产业政策 新型
20、基础设施建设推进不断加速,分布式存储助力新基建发展。2020 年 3月 4 日,中共中央政治局常务委员会召开会议,明确指出“加快 5G 网络、数据中心等新型基础设施建设进度”。2020 年 4 月 20 日,国家发改委进一步明确新基建的范畴,包括信息基础设施、融合基础设施、创新基础设施。分布式存储作为重要的信息技术之一,是信息基础设施和融合基础设施的主要组成,是创新基础设施的重要赋能基础。以新基建中的数据中心为例,面向云计算、大数据、5G、工业互联网、移动互联网等应用需求,在关于加快构建全国一体化大数据中心协同创新体系的指导意见、全国一体化大数据中心协同创新体系算力枢纽实施方案、新型数据中心发
21、展三年行动计划(2021-2023 年)等政策助推下,全国数据中心建设规模快速稳定增长,拉动了我国分布式存储市场发展。同时存储设备及存储解决方案应用也进一步提升了数据中心基础设施的存储服务能力。近年来,我国颁布多项政策法规支持分布式存储产业技术发展。2019 年 10月,工信部发布关于政协十三届全国委员会第二次会议提案答复的函中指出“工信部将继续支持中国工业半导体领域成熟技术发展,推动中国芯片制造领域良率、产量的提升。”2021 年 3 月,“十四五”规划和 2035 年远景目标纲不仅提出了加快数字新基建的建设目标,增强数据感知、传输、存储和运算能力,同时还提及了加快布局存储等前沿技术。202
22、1 年 5 月,国家发改委、网信办、工信部、能源局发布全国一体化大数据中心协同创新体系算力枢纽实施方案指出“加大分布式计算与存储等软硬件产品的规模化应用,支持和推广分布式数据操作系统等方面的平台级原创技术”。近年来,产业界对于分布式技术的研究也在逐步深化。众多存储产业政策支持文件出台,充分表明了我国对分布式存储产业及高端前沿存储技术发展的高度关注。三、三、分布式存储技术分析分布式存储技术分析 8 分布式存储技术与产业分析报告 ODCC-2022-05002(一)(一)关键技术分析关键技术分析 1 1存储组网与协议存储组网与协议 (1)存储组网 存储系统根据组网方式的不同主要分为 IP(Inte
23、rnet Protocol)组网存储、FC(Fiber Channel)组网存储、IB(InfiniBand)组网存储等。IP 组网存储 IP 组网存储是采用以太网技术进行组网的存储设备,具备高兼容、低成本的优势,常见的速率包括 1Gb、10Gb、25Gb、100bG 等。用户不但能够在 IP 环境下享受 SAN 环境优势,降低搭建 SAN 所需的光纤网络成本,构建 IP SAN 存储平台,提高用户体验。FC 组网存储 在信息化时代背景下,数据产生量呈爆发式增长,数据存储需求日趋增多,企业和服务商逐渐选择 FC 组网存储作为网络基础设施。FC 组网存储是采用 FC光纤技术进行组网的存储设备,具
24、备高效率、高灵活的特性,通过支持存储和服务器之间传输海量数据,为数据备份提供有效存储方式。IB 组网存储 IB 组网存储是采用 InfiniBand 技术进行组网的存储设备,具备低延迟、高速率的特性,常见速率包括 40Gb、56Gb、100Gb、200Gb 等。IB 组网结构设计紧密,有效提高系统的性能、可靠性和有效性,缓解各硬件设备之间的数据流量拥塞。IB 作为一种“通用载体”技术,与其他以太网、LAN 以及 WAN 等标准兼容,具备解决大型集成问题的能力,促进应用领域的创新,满足用户的多样需求。9 分布式存储技术与产业分析报告 ODCC-2022-05002(2)存储协议 SATA 协议
25、SATA 是一种基于行业标准的串行硬件驱动器接口,以连续串行的方式传输数据,主要用于 SATA 主机与大容量存储设备之间的数据传输。SATA 协议通信模型如下图所示,分为应用层、命令层、传输层、链路层和物理层,每层有各自功能定义并彼此协作完成存储命令,具体每层的功能如表 2 所示。图 4 SATA 模型结构 表 2 SATA 协议通信各层功能 类别 定义和功能 物理层 1.具备以 1.5Gbps、3.0Gbps 或者 6Gbps 的速率传输 DNRZ 串行数据流;2.发送端和接收端提供 100 欧姆的终端匹配电阻;3.串化从链路层接受的并行数据进行发送;4.接受以及发送带外信号。链路层 1.接
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 2022 年分 存储 技术 产业 分析 报告
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【Stan****Shan】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【Stan****Shan】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。