2023新型算力中心调研报告.pdf
《2023新型算力中心调研报告.pdf》由会员分享,可在线阅读,更多相关《2023新型算力中心调研报告.pdf(130页珍藏版)》请在咨信网上搜索。
1、算力经济时代 数字中国万里行2023新型算力中心调研报告3序:算力经济发展趋势分析与展望 P0011、从洞察算力到提出“算力经济”2、狭义算力经济与广义算力经济 3、AGI 时代来临,模型服务(MaaS)商业模式呈现 4、科学计算:传统科学与 AI 深度融合 5、算网融合带来算力市场变局 6、用算力服务标准确保算力服务健康发展 P001 P003 P004 P005 P006 P006第一章 算力经济时代的基础设施新价值 P007多类算力基础设施并行发展 P011多元算力与高速互联 P016高效绿色的数据存储与管理 P022 高安全数字基础设施是趋势 P024 绿色低碳持续推广 P027 能源
2、与算力协同 P029 第二章 多元算力:CPU+GPU P031GPU:大芯片与小芯片 P033CPU:性能核与能效核 P034摩尔谢幕,Chiplet 当道 P037 摩尔定律放缓 P037 Chiplet 简史 P037 四等分:形似神不似 P040Chiplet 与芯片布局 P041 网格架构:Arm 与 Intel P043Arm 新升:NVIDIA Grace 与 AmpereOne P045网格架构的两类 Chiplet P049 EMIB 及其带宽估算 P053目录 CONTENTS4第三章 算存互连:Chiplet 与 CXL P055SRAM 的面积律 P056向上堆叠,翻越
3、内存墙 P057 回首 eDRAM 时光 P061HBM 崛起:从 GPU 到 CPU P063 中介层:CoWoS 与 EMIB P065向下发展:基础层加持 P067标准化:Chiplet 和 UCIe、CXL P072 CXL:内存的解耦与扩展 P073 UCIe 与异构算力 P080 Chiplet 的中国力量 P084 Chiplet 走出“初级阶段”P085第四章 算力互连:由内及外,由小渐大 P087 为 GPU 而生的 CPU P088NVLink 之 GPU 互连 P094NVLink 组网超级集群 P096InfiniBand 扩大规模 P102第五章 绿色低碳和可持续发展
4、 P105 液冷应用 高性能计算中心跨越功耗墙 P110液冷实践 全栈数据中心理念落地 P1111、业务前置 模块化交付 P1142、以全栈的视角 垂直整合 P1153、产业生态融合演化 P117智算中心 跑出液冷加速度 P119节能减排新实践 重构排碳之源 P1212023 新型算力中心调研报告 目录1序:算力经济发展趋势分析与展望在今年两会期间,我递交了一份关于算力发展的提案:关于合理规划算力网建设,确保东数西算健康发展的提案(W01072),核心内容是算力网和东数西算。在算力经济时代数字中国万里行 2023 新型算力中心调研报告 出版之际,希望通过这篇文章来解释这份提案产生的背景,同时也
5、对当前算力经济的发展做一些展望。当人类社会从热力时代过渡到算力时代,计算也随之成为未来智能设备的关键驱动力,这点在数字经济时代尤为突出,算力经济名词也在 2018年被提出。1、从洞察算力到提出“算力经济”算力经济最初定义的维度是比较简单的。在从事超级计算 30 余年的过程中,我对计算技术的发展和应用有深刻的理解,早期的超算并不倾向于使用 GPU。2008 年英伟达提出 Fermi 架构,将显卡扩展为通用计算GPU,希望用在超级计算机上,但在当时,GPU在科学计算的应用都不是很成功,如超级计算机中的曙光星云、天河1、天河 2 等在使用中的效果没有达到预想效果。到 2010 年,我们团队整理中国高
6、性能计算机 TOP100 排行榜的计算机结构后发现,CPU+GPU 正成为超级计算机的技术发展趋势。这一趋势在 2015 年之后更为明显,AlphaGo 围棋大战之后,人工智能取得成功,发现 GPU 其实更适合深度学习,英伟达将 GPU 的应用重点从超级计算机转到人工智能上。全国政协委员中国科学院计算技术研究所研究员益企研究院首席专家顾问 张云泉22023 新型算力中心调研报告 序 迈进算力经济时代一直以来,超级计算主要是做科学计算和基础研究,需要具备长期投资的理念,很难直接和国民经济发生关系,地方政府在算经济账时,会考虑投资的回报率是多少、投资周期是多长?多少年能收回投资成本?能拉动多大的经
7、济增长?因此说服政府投资超级计算平台很难。2018 年,有了“算力”这个名词后,这一问题出现了转折点。起初算力这个词来源于区块链、挖矿领域,相对比较狭窄、有点偏负面。但随着超级计算和人工智能、云计算的结合,甚至包括区块链和大数据的融合,“算力”似乎和国民经济的关系更密切了。过去面临的关于超算的经济回报问题,在人工智能时代(我们称之为“智能计算时代”),应该可以说清楚了。基于这个想法,在区块链的启发下,国内的专家们开始把超级计算的“计算”,泛化成“算力”。2018 年,我参加地方政府的相关活动时提出“算力经济”这一理念,当时认为,随着超级计算技术的发展,大数据、云计算、人工智能、区块链彼此之间的
8、融合创新,算力经济会成为经济发展的重要抓手,会成为地方政府新旧动能转换的重要手段。但在那时,“算力经济”其实还不太被社会接受。那时最热的是大数据、人工智能、区块链,但算力不热,没什么人谈“算力经济”。这一观点在随后就得到印证,2018 年益企研究院(E 企研究院)开启数字中国万里行,实地考察了全国 8 个超大规模云数据中心,并出版了首个中国超大规模云数据中心考察报告聚焦数据中心架构创新和技术迭代,探索智能基础设施的上层应用,呈现新技术和新型算力基础设施的价值。2019 年发布的中国高性能计算机 TOP100 排行榜中我们发现,这一年超算应用的领域也发生了极大的变化。过去超算主要集中于科学计算、
9、政府行业、能源行业、电力行业以及气象领域。但随着许多互联网公司开始申报超级计算机,在TOP100中,有30%的系统都来自互联网行业,比如云计算、机器学习、人工智能、大数据分析以及短视频领域。这些领域对于计算需求的急剧上升,超级计算继续与互联网技术进行融合。同时,算力基础设施中除了云数据中心和超算中心,还出现智能计算中心为代表的算力基础设施。其中较为典型的案例就是国家超算济南中心科技园与腾讯在上海松江打造的人工智能计算中心。2020 年,益企研究院发起数字中国万里行第三年之际,我在接受益企研究院访谈中,正式提出:我们即将进入一个依靠算力的人工智能时代,这3也是未来发展的必然趋势之一,同时,随着用
10、户对算力需求的不断增长,算力经济时代将登上历史舞台。2020 年后,我在相关调研实践中不断总结,最后形成了“超算与人工智能融合创新的算力经济时代”的思考。2、狭义算力经济与广义算力经济中国高性能计算机 TOP100 排行榜已经发布了 20 多年,行业一直通过排行榜观察中国超级计算产业的发展趋势。到 2021 年,我们又发现一个新的现象:在 TOP100 的前 10 名有 7 台机器,它们不是专门服务某些行业,而且这些机器没有具体的应用目标,是公司买过来之后专门用于卖算力的,而且这些机器性能很强。面对这个新出现的状况,TOP100的专家委员定义了一个新领域叫算力服务业。当时间进入 2022 年,
11、算力服务的性能指标相比上一年已经翻倍,增长速度很快。算力服务业在 20212022 年的异军突起,也意味着中国正式进入算力经济时代,其背后的原因是超级计算技术的发展,大数据、人工智能、区块链彼此之间的融合创新,而这些因素背后的核心要素就是算力。算力应用已经开始渗透到千行万业之中,这也是在 2018 年提出算力经济概念之后,我们观察到这个行业的极速变化。算力经济最初定义的维度是比较简单的。首先计算要成为算力经济的核心,未来,以计算能力来衡量一个地方或地区的数字经济发展水平,使之成为一个很重要的指标。一个地区的算力产业是不是发达,也意味着数字经济是不是有机会,尤其在东数西算成为国家发展战略之后,算
12、力经济也成为西部地区新一轮经济发展的强力抓手。就目前来说,针对算力还没有一个统一的定义,我们可以将其理解为硬件和软件的配合,共同执行某种计算需求的能力,这个定义现在看来不是很全面。我认为狭义的算力经济定义是指与算力强关联的算力服务产业链,其中包括了 4 类参与者:一是算力生产者,二是算力调度者,三是算力服务商,四是算力消费者;他们共同闭环成为一种商业模式。随着认识的深化,随后又有一个广义的“算力经济”,我们称之为算力+。这不是我一个人提出来的。凡是可以用到算力的国民经济的各个方向单元,都是算力经济的范围。只要以算力为核心生产要素,以算力为引擎,就都是广义的算力经济。这是数字经济很重要的一个组成
13、部分,在数字经42023 新型算力中心调研报告 序 迈进算力经济时代济中的比重会越来越大。统计数据显示,在世界各国的算力排名中,中国排在世界第二,人均算力处于中等国家的水平,目前中国还是有很大的算力鸿沟。在我国,算力的需求毋庸置疑,人工智能、5G、区块链、元宇宙的发展都对算力提出了强烈的需求,其增长前景是没有问题的。现在有各种各样新的概念,很多课题组也开展了很多研究。在针对算力研究的著作中,算力:数字经济的新引擎这本书正式把算力进行系统的研究,提出来无数据不经济,这个定义非常好,比算力经济最初的概念更近了一步,提出了引擎性自主创新驱动的先进计算产业以及算力赋能和服务衍生的新模式、新业态形成了算
14、力经济,作者是经济学家,从经济学角度阐述了算力对于经济的巨大影响力。书中指出,算力经济是数字经济衍生的新经济形态,数据作为主要的生产要素通过算力、算法的技术创新,促进数据经济和实体经济的深度融合,实现效率、效能、质量提升和经济结构优化升级。综上所述,围绕算力本身产生的算力服务产业中,我们看到里面有芯片、操作系统,我认为可以从狭义和广义两个角度来看算力经济,狭义的算力经济指算力服务业产业链;有更广义的算力经济叫数字产业化、产业数字化、城镇数字化这种提供各种基础设施、提供各种支撑保障的新模式、新业态,也就是是算力+产业。3、AGI 时代来临,模型服务(MaaS)商业模式呈现随着算力经济的发展,超级
15、计算机技术和人工智能融合创新会产生一类新的基建,专门用于人工智能计算的中心,也成为当下非常热的资产中心。就在 ChatGPT 面世之前,我们还不知道大模型可以实现令科技界为之兴奋的应用水平,只是知道它可以写一点新闻、聊天、画画,这些简单的功能会在更多应用场景中带来价值。从 GPT3 到 ChatGPT 的过程,是大模型技术发展的关键节点,也是中国人工智能之路和美国人工智能之路的分歧点。这两年大模型国内也有相当数量的公司参与其中,但我们追求的是参数量,从千亿级到万亿级很快的跃进,但是智能属性没有涌现。OpenAI 走了另外一条路,利用人工反馈的训练机制,通过标注、对齐高质量数据,最后把这条路走通
16、了,用千亿参数的大模型把通用智能挖掘出来了,这个事情是值得国内科技界去反思的。5另外一条路是人工智能内容生成 AIGC,包括大家在微信朋友圈里看到各种画,也成为现在的热门赛道。在 AIGC 赛道国内已经有布局了,从上游、中游到下游都有一些中国公司在做。这些都意味着人工智能进入通用人工智能(AGI:Artificial General Intelligence)时代,具备五个特性:涌现性(参数超过临界值,模型能力实现突变)、工程化、通用性、密集型、颠覆性。这里就不多展开阐述。4、科学计算:传统科学与 AI 深度融合当计算改变科学,人工智能生物算法反过来被融合到科技计算建模中,相当于把数据科学和计
17、算科学(AI for Science)整合在一起,这时产生一个新的“智能科学”赛道。以前科学计算的四个范式分别是实验科学、理论科学、计算科学和数据科学,智能科学范式(AI 范式)被称之为第五范式。其代表是斩获 2020 年戈登贝尔奖的 Deep Potential 方法展示了 AI 和分子动力学模型的有效结合,在保证精度的同时,指数级地提升了物理模型的效率。基于科学计算的深度学习怎么反哺科学计算、解决计算问题,AI 范式确实创造了新的科学计算的方向,尤其是制药这个行业特别有效,极大提高了科学计算的精度,降低了成本。比如近年来,AlphaFold 等人工智能(AI)工具的出现,在生命科学领域促成
18、了多项突破性进展。蛋白质的功能预测与设计成为最先受益的领域之一,在 科学(Science)杂志上,Baker 教授团队带来了蛋白质设计的又一项革命性突破:利用强化学习,“自上而下”(top-down)设计蛋白质复合物结构。在几年前,预测蛋白质三维结构都遥不可及,更不用说从头进行设计了。这套颠覆了传统方案的全新突破不仅可能为我们带来更有效的疫苗及药物,还有望引领蛋白质设计的全新时代。AI for Science 的数据来自各个学科的数据积累;模型来自各领域科学家发现的科学原理和规律;算法源自机器学习算法和数值方法等方面的创新。需要多样算力融合的综合型智能计算平台,通过分布式异构并行体系结构,实现
19、多样算力的融合、优势互补,为 AI 训练、AI 推理、数值模拟等不同应用提供不同算力,实现高精度到低精度算力的全覆盖、多种计算类型的全覆盖,以及 AI 训练+推理全覆盖。65、算网融合带来算力市场变局在算力布局方面,国内目前有很多算力中心,有超算中心、智算中心,还有超大规模云数据中心,我认为未来算力中心慢慢会融合到统一的形态上,只是功能不同。随着算力中心的发展,我国的算网融合也取得了长足的进步。算力网络,是一种根据业务需求,在云、网、边之间按需分配和灵活调度计算资源、存储资源以及网络资源的新型信息基础设施。算力网络体系包括算力度量、算力感知、算力路由、算力编排、算力交易等内容。目前,中国联通、
20、中国移动、中国电信的算网融合战略很清晰,标准也很清楚,他们将通过实施算网融合战略转型为算力供应商。6、用算力服务标准确保算力服务健康发展对于未来的展望讲过很多,东数西算工程标志着算力经济时代正式的拉开帷幕。未来,算力将加速普及,类似于电力插座变成算力插座。我们使用算力不需要带一台电脑,随便一个卡或者一个东西,就可以通过一个标准的计量方式来使用算力。未来还可能会出现类似于发电厂的算力工厂,尤其在西部地区会出现,据说在煤矿、水电站的附近已经开始建设算力工厂,电力极其便宜,成本特别低。工业时代有公路、电网,算力时代也有算力网络。随着算力服务的发展,未来在算网时代有三类不同角色:一是网络通信商,通过算
21、网融合参与进来;另外超算的供应商、云计算供应商,通过超算互联网也会参与提供算力服务;还有国家电网通过建设发电厂,参与提供算力服务。三类角色从不同的技术途径抢占算力服务市场。基于此,市场也在呼唤算力服务标准,确保算力健康发展。新一年度的数字中国万里行即将开启,希望有更多的力量参与到算力+产业的考察实践中,推动中国算力经济的发展和升级。2023 新型算力中心调研报告 序 迈进算力经济时代72023 新型算力中心调研报告CHAPTER1算力经济时代的基础设施新价值8第一章算力经济时代的基础设施新价值2023 年始,ChatGPT 和 GPT-4 再次掀起了人工智能的热潮,并打开了海量的应用场景:生成
22、应用和布局、搜索和数据分析、程序生成和分析、文本生成、内容创作ChatGPT 基于其庞大的算力和算法分析,可覆盖教育、科研、新闻、游戏等行业。从 2018 年第一代生成式预训练模型 GPT-1 诞生以来,GPT 系列模型几乎按照每年一代的速度进行迭代升级,2022 年以来,新的通用人工智能开始以更加高效的方式解决海量的开放式任务,它更加接近人的智能,而且能够产生有智慧的内容,也带来了新的研究范式基于一个非常强大的多模态基础模型,通过强化学习和人的反馈,不断解锁模型的新能力。ChatGPT 是 AI 大模型创新从量变到质变长期积累的结果,是通用人工智能(AGI,Artificial Genera
23、l Intelligence)发展的重要里程碑。以 GPT-4 为例,超大规模预训练模型展示了一条通向通用人工智能的可能方向,人们通过输入提示词和多模态内容,便可生成多模态数据。更重要的是,它可以用自然语言方式生成任务描述,以非常灵活的方式应对大量长尾问题和开放性任务,甚至是一些主观的描述。“大模型+大算力+大数据”成为迈向通用人工智能的一条可行路径,比如大模型技术是自动驾驶行业近年的热议趋势。自动驾驶多模态大模型可以做到感知和决策一体化。在输出端,通过环境解码器可对 3D 环境进行重建,实现环境的可视化理解;行为解码可生成完整的路径规划;同时,动机解码器可以用自然语言描述推理的过程,进而使自
24、动驾驶系统变得可以解释。而大规模深度学习模型的参数和数据量达到了一定量级,超大规模AI 大模型的训练一般必须在拥有成百上千加速卡的 AI 服务器集群上进行,需要相应算力的支撑。根据 OpenAI 的数据,GPT-3 XL 参数规模为 13.2 亿,训练所需算力为 27.5PFlop/s-day。由于 ChatGPT是在 13 亿参数的 InstructGPT 基础上微调而来,参数量与 GPT-3 XL接近,因此预计 ChatGPT 训练所需算力约为 27.5PFlop/s-day。+新的通用人工智能开始以更加高效的方式解决海量的开放式任务,它更加接近人的智能,而且能够产生有智慧的内容,也带来了
25、新的研究范式基于一个非常强 大 的 多 模 态 基 础 模型,通过强化学习和人的反馈,不断解锁模型的新能力。2023 新型算力中心调研报告 算力经济时代的基础设施新价值9(截止 4 月份国内 AI 大模型项目发布情况汇总,信息来源网络 益企研究院整理)企业AI 名称发布情况具体发布日期百度文心千帆2023 年 3 月 16 日2023 年 3 月 16 日华为盘古 NLP 模型2023 年 4 月 10 日未知昆仑万维天工 3.52023 年 4 月 17 日测试未知搜狗百川智能2023 年 4 月 10 日预计 2023 年底字节跳动My AI2023 年 4 月 11 日2023 年 4
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 2023 新型 中心 调研 报告
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【Stan****Shan】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【Stan****Shan】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。