2022年中国运力白皮书.pdf

运力白皮书 中国运力白皮书（2022）I 中国运力白皮书（2022 年）前前 言言 2021 年 10 月，习近平总书记在主持中共中央政治局第三十四次集体学习时强调，“要加快新型基础设施建设，加强战略布局，加快建设高速泛在、天地一体、云网融合、智能敏捷、绿色低碳、安全可控的智能化综合性数字信息基础设施”。集信息计算力、数据存储力、网络运载力于一体的算力基础设施是信息基础设施的重要组成部分，对于夯实我国网络强国战略，支撑数字经济发展意义重大。网络运载力支撑数据要素高效流动，是优化我国算力供需关系，推动我国经济社会数字化转型的关键。本白皮书从网络运力要满足算力多元化供给、便捷化连接、普惠化使用的现实需要出发，综合考虑网络运力在算力间、数据中心内部、用户入算等三个环节以及在安全能力、运营效率等维度所面临的现状和挑战，白皮书首先梳理了全球主要国家及我国出台的网络运力发展战略及政策，分析了我国骨干网、城域网、数据中心内网的发展状况和未来趋势，总结了网络运力大带宽、低时延、高可靠、弹性智能、高安全等五大特性下的热点技术。最后，对我国网络运力发展进行展望，从技术、人才、标准、产业等方面对网络运力高质量发展提出建议，推动网络运力行业全面发展。白皮书仍有诸多不足，恳请各界批评指正。如有意见建议请联系中国信通院云大所数据中心团队，邮箱:。II 中国运力白皮书（2022 年）目目 录录 1 网络运力定义与内涵.1 2 网络运力产业发展分析.3 2.1 政策分析.3 2.1.1 全球各国出台网络运力战略和政策.3 2.1.2 我国网络运力相关战略和政策.4 2.2 现状和趋势分析.7 2.2.1 骨干网络.7 2.2.2 城域网.10 2.2.3 数据中心内网络.12 3 技术发展分析.16 3.1 大带宽.16 3.1.1 400GE、800GE 光模块.16 3.1.2 C+L 光频带扩展技术.17 3.1.3 超低损耗光纤.18 3.2 低时延.19 3.2.1 总线级数据中心网络技术.19 3.2.2 ROADM 和 OXC 技术.20 3.3 高可靠.21 3.3.1 多框集群技术.21 3.3.2 Ason 技术和 Mesh 组网.23 3.4 弹性智能.24 3.4.1 SRv6 和 APN6 技术.24 III 中国运力白皮书（2022 年）3.4.2 OSU 和 FlexE 技术.26 3.4.3 数据中心内智能无损技术.27 3.5 高安全.28 3.5.1 加密技术.28 3.5.2 主动防御技术.28 4 中国网络运力发展展望与建议.30 1 中国运力白皮书（2022 年）1 网络运力定义与内涵 算力基础设施是集信息计算力、数据存储力、网络运载力于一体的新型信息基础设施，是新基建的核心组成部分，呈现多元泛在、智能敏捷、安全可靠、绿色低碳等特征，对于我国数字经济发展支撑意义重大。当前，我国电子商务、平台经济、共享经济等数字化新模式接替涌现，工业互联网、智能制造等领域发展全面加速，为我国产业数字化持续健康发展注入强劲动力。以数据中心为核心代表的算力基础设施随着经济社会信息化实现了快速发展，为推进网络强国、数字中国建设贡献了重要力量，推动我国经济社会加快数字化转型。网络运力是以数据通信网和光传送网等网络基础设施为支撑，通过网络资源智能化管理编排调度平台，支撑数据要素在算力之间、数据中心内、以及用户与算力之间高效流动的网络运载力。网络能力是优化全国算力供需关系的关键，也成为新时代赋能数字经济发展的关键力量。近年来，国家发布多个文件加快基础网络建设，推动网络质量提升，优化我国网络布局，取得了积极成效。但不断深化的产业数字化要求对网络运力在算力间、数据中心内部、用户入算等环节以及运营效率、安全能力等维度提出了新的要求，需加快技术研发和应用，推动网络运力实现大带宽、低时延、灵活智能、安全可靠，保障算力基础设施高质量发展，满足算力多元化供给、便捷化连接、普惠化使用的现实需要。提升算力间网络运力质量。提升算力间网络运力质量。在数字化转型加速的背景下，单一数据中心无法满足指数级增长的业务需求，算力间跨区域和跨集群的计算和存储资源的调度需求将持续上升，数据中心虚拟化、资源池化能力对网络运力质量的要求不断提升。但从我国网络运力发展现状来看，东部地区网络运力相对较好，西部地区可再生能源丰富，气候条件适宜，但存在跨区域网络调度能力和质量不佳等问题。因此，随着各 2 中国运力白皮书（2022 年）行业对算力需求的不断增长，网络运力质量需要不断提升，实现全国算力的按需统筹和调度。提高数据中心内部提高数据中心内部网络质量网络质量。数据中心内部数据处理的过程包括数据存储、计算和应用三个环节，数据存储区的节点间通过存储网络互联，高性能计算区节点间通过高性能计算网络互联，通用计算区通过通用计算网络与外部用户终端对接提供服务。当前，数据中心内部网络成为满足实时交互需求、持续推进数字化建设、适应数据快速增长的重要途径和关键要素，需不断优化数据中心内网络质量，最大化利用计算、存储和网络资源，提升数据处理效率实现数据实时访问，满足大数据、人工智能、元宇宙等新兴技术和业务的发展需求。提高用户入算网络质量提高用户入算网络质量。随着数字经济的发展，一方面有越来越多的企业开启了数字化转型之路，从大城市向中小城市、向乡镇延伸；另一方面，产业数字化也推动企业加速将核心生产系统上云。企业生产系统不同于基本的办公和互联网需求，对网络运力的质量也提出了更高的要求。因此用于连接用户和算力之间的入算网络在覆盖范围、能力和质量上都需要有进一步的提升。推动网络安全能力建设推动网络安全能力建设。数字经济快速发展一方面依靠海量数据交换和算力调度，另一方面也对网络运力安全性提出了更高的要求，尤其是在和国家安全息息相关的行业。需加强网络传输加密技术和主动网络防御技术，持续提高网络监测、分析和管理能力，有效增强算力间和数据中心内部数据流通的可靠性和安全性。提高网络运营效率质量提高网络运营效率质量。人工智能、机器学习等方面的应用需求带来的海量数据的处理和传输，给当前的网络架构和管理带来一定挑战。在算力间、用户入算、数据中心内部均需要技术创新和升级，采用直连网络、超融合网络、网络切片、灵活以太网等新技术满足各类业务对网络质量、智能化管理等方面的要求，实现业务的降本增效。3 中国运力白皮书（2022 年）2 网络运力产业发展分析 2.1 政策分析 全球主要国家聚焦数字经济发展，同步推进网络运力相关战略布局与落地实施。从整体上看，网络运力发展战略层级不断提升，信息基础设施等领域政策以顶层设计的形式陆续出台；网络运力发展战略落地加快，各国以发布备忘录、行动计划与路线图等方式推动网络运力实施建设；网络运力发展战略主体日渐丰富，欧盟、英国、美国、日本、韩国、新加坡等发达经济体持续强化网络运力战略布局的同时，中国、沙特等发展中国家也将网络运力战略纳入到国家长期战略发展规划中，成为网络运力战略布局的重要组成。2.1.1 全球各国出台网络运力战略和政策 欧盟欧盟 2021 年 3 月发布2030 数字罗盘：欧洲数字十年之路，提出要构建安全、高性能和可持续的数字基础设施。到 2030 年，欧洲所有家庭应实现千兆网络连接，所有人口密集地区实现 5G 网络覆盖，并在此基础上发展 6G；应建成 1 万个碳中和的互联网节点，以确保该地区的所有企业能够无延迟的访问数据服务。英国英国 2022 年 1 月发布2022 年国家网络战略，该战略提出英国未来五年的行动计划，包括建设有弹性和繁荣的数字英国，降低网络风险，使企业最大限度利用数字技术的经济利益。美国美国 2020 年 11 月发布Completing the Transition to IPv6，旨在推进联邦机构的 IPv6 全面升级。该备忘录从基础设施、采购要求、USGv6 计划、网络安全等角度介绍了联邦政府对 IPv6 业务部署和使用的指导，要求到 2023 财年末，联邦网络 IP 资产中使用 IPv6 的占比应达到至少 20；到 2024 年至少达到 50；到2025 年至少 80。4 中国运力白皮书（2022 年）日本日本 2022 年 6 月发布数字田园都市国家构想，该构想提出日本在 2027 年底前会将高速互联网通信光纤线路覆盖 99.9%家庭，到 2030 年底把 5G 移动通信系统的人口覆盖率提升至 99%。沙特沙特 2017 年 4 月发布沙特阿拉伯 2030 愿景，明确了沙特未来 15 年的发展目标，其中指出沙特将大力发展高速宽带等通信和信息技术基础设施,将其城乡覆盖率分别提高至 90%和 66%。韩国韩国 2019 年 4 月发布实现创新增长 5G+战略，旨在以 5G 商用化为契机，带动 5G 上下游产业发展，并将 5G 全面融入整个国家社会经济当中，战略提出要重点建设 5G+创新中心、5G 验证等基础设施。新加坡新加坡 2020 年 12 月发布研究、创新和企业 2025，提出要在智慧国家和数字经济领域发展技术领导力，以建设智慧国家和锚定新加坡作为可信赖的数字创新枢纽的地位。计划于 2021 年 1 月推出两个独立的 5G 网络，在 2022 年底前建成至少覆盖半个新加坡的5G网络，并在2025年底前建成覆盖整个新加坡的5G网络。2.1.2 我国网络运力相关战略和政策 习近平总书记在 2016 年 4 月召开的网络安全和信息化工作座谈会上指出，我国在互联网创新能力、基础设施建设、信息资源共享、产业实力等方面，同世界先进水平相比，同建设网络强国战略目标相比，还存在不小差距，要尽快突破互联网核心技术；，在 2021 年 10 月主持中共中央政治局第三十四次集体学习时提出，“要加快新型基础设施建设，加强战略布局，加快建设高速泛在、天地一体、云网融合、智能敏捷、绿色低碳、安全可控的智能化综合性数字信息基础设施”。近年来，我国持续加强顶层设计，国家信息化发展战略纲要、“十四五”国家信息化规划陆续出台，信息化发展战略、国家大数据战略、“互联网+”行动计划、“东数西算”工程等密集部署，网络强国基础逐步夯实。2021 年 3 月，工业和信息化部发布了 “双千兆”网络协同发展行动计划（2021-5 中国运力白皮书（2022 年）2023 年），指出要适度超前部署“双千兆”网络，同步提升骨干传输、数据中心互联（DCI）能力。推动基础电信企业面向数据中心高速互联的需求，持续扩容骨干传输网络，按需部署骨干网 200/400Gbps 超高速、超大容量传输系统，加快推动灵活全光交叉、智能管控等技术发展应用，引导 100Gbps 及以上超高速光传输系统向城域网下沉。鼓励在新建干线中采用新型超低损耗光纤。鼓励开展数据中心直联网络、定向网络直联等的建设。结合业务发展，持续推动 IPv6 分段路由（SRv6）、虚拟扩展局域网（VXLAN）等 DCI 核心技术的应用；推进软件定义网络（SDN）技术在数据中心互联中的应用，提升云网协同承载能力。2021 年 5 月，国家发展改革委等有关部门发布了全国一体化大数据中心协同创新体系算力枢纽实施方案，提出构建数据中心、云计算、大数据一体化的新型算力网络体系。国家枢纽节点要加快网络互联互通，建设数据中心集群之间，以及集群和主要城市之间的高速数据传输网络，优化通信网络结构，扩展网络通信带宽，减少数据绕转时延。围绕数据中心集群，稳妥有序推进国家新型互联网交换中心、国家互联网骨干直连点建设，促进互联网企业、云服务商、电信运营商等多方流量互联互通。2021 年 5 月，国家统计局发布数字经济及其核心产业统计分类（2021），界定了数字经济及其核心产业统计范围。其中界定了数字要素驱动业信息基础设施建设网络基础设施建设的统计范围：指光缆、微波、卫星、移动通信、工业互联网、物联网、5G 等网络基础设施的建设活动。“分类”的出台对推动网、云、数基础设施建设有很大的指导意义。2021 年 7 月，工业和信息化部、中央网络安全和信息化委员会办公室发布 IPv6流量提升三年专项行动计划（2021-2023 年）指出要强化基础设施 IPv6 承载能力，加快数据中心 IPv6 深度改造。主要数据中心运营企业进一步完善数据中心 IPv6业务开通流程，按需扩容数据中心 IPv6 出口带宽，新建数据中心应支持 IPv6。企 6 中国运力白皮书（2022 年）业自建自用的数据中心应支持 IPv6。2021 年 7 月，工业和信息化部发布新型数据中心发展三年行动计划（2021-2023 年），确定了网络质量升级行动方向。第一是要提升新型数据中心网络支撑能力。以新型数据中心高速互联应用需求为牵引，推进骨干网建设升级，持续优化国家互联网骨干直联点布局，提升网间互联质量；第二是要优化区域新型数据中心互联能力。优先支持国家枢纽节点内的新型数据中心集群间网络直连，稳妥有序推进国家新型互联网交换中心建设，促进跨网、跨地区、跨企业数据交互，支撑高频实时交互业务需求；第三是要推动边缘数据中心互联组网。推动边缘数据中心间，边缘数据中心与新型数据中心集群间的组网互联，促进数据中心、云计算和网络协同发展。2021 年 12 月，国务院印发“十四五”数字经济发展规划，提出要优化升级数字基础设施。一方面要加快建设信息网络基础设施，建设高速泛在、天地一体、云网融合、智能敏捷、绿色低碳、安全可控的智能化综合性数字信息基础设施。有序推进骨干网扩容，协同推进千兆光纤网络和 5G 网络基础设施建设，推动 5G 商用部署和规模应用，前瞻布局第六代移动通信（6G）网络技术储备，加大 6G 技术研发支持力度，积极参与推动 6G 国际标准化工作。另一方面要推进云网协同和算网融合发展。加快实施“东数西算”工程，推进云网协同发展，提升数据中心跨网络、跨地域数据交互能力，加强面向特定场景的边缘计算能力，强化算力统筹和智能调度。2022 年 1 月，工业和信息化部办公厅、国家发展改革委办公厅印发 关于促进云网融合 加快中小城市信息基础设施建设的通知，指出要持续完善城区光缆网络，加快建设新型 IP 城域网、光传送网络（OTN）、5G 承载网、云专网等。升级中小城市至中心城市、中小城市至乡镇、中小城市之间的光缆和传输系统，有条件的地区全面推广部署 100G OTN 设备，满足云边互联、公众宽带、政企专线等业务承 7 中国运力白皮书（2022 年）载需要。明确了增强中小城市网络基础设施承载和服务能力，推进应用基础设施优化布局，建立多层次、体系化的算力供给体系，提升公众用户端到端网络访问体验，有效满足企业数字化转型。2022 年 2 月，国家发展改革委会同有关部门分两批联合复函，同意在京津冀、长三角、粤港澳大湾区、成渝、贵州、内蒙古、甘肃、宁夏等 8 地启动建设国家算力枢纽节点，并规划设立了 10 个国家数据中心集群，推动数据中心合理布局、优化供需、绿色集约和互联互通。至此，全国一体化大数据中心体系完成总体布局设计，优化东西部间互联网络和枢纽节点间直连网络也成为枢纽节点的重要建设任务。2.2 现状和趋势分析 2.2.1 骨干网络 我国算力基础设施建设持续高速增长，据 2022 中国算力大会发布的中国综合算力指数和中国存力白皮书显示，截至 2021 年底，我国算力核心产业规模达 1.5 万亿，衍生产业规模近 8 万亿，存储总容量已达 800EB，出货量年均增长速度已达 50%，截止 2022 年 6 月底，在用数据中心机架总规模超过 590 万标准机架，服务器规模约 2000 万台，算力总规模超过 150 EFlops。为了优化我国数据中心基础设施建设布局，国家陆续出台了关于加快构建全国一体化大数据中心协同创新体系的指导意见 和 全国一体化大数据中心协同创新体系算力枢纽实施方案，设立 8 个算力枢纽、10 个数据中心集群，优化数据中心建设布局，实现全国性算力资源调度，推动算力、算法、数据、应用资源集约化和服务化创新。在网络运力方面，提出了“优化国家互联网骨干直连点布局”“优化数据中心跨网、跨地域数据交互”“积极推动在区域数据中心集群间，以及集群和主要城市间建立数据中心直连网络”“数据中心集群端到端单向网络时延原则上在 20 毫秒范围内”等具体要求。8 中国运力白皮书（2022 年）来源：国家发展改革委高技术司 图 1 国家枢纽节点 长期以来，国内运营商持续推动网络扁平化发展，缩短业务转接跳数和路由长度，形成了包含核心层、汇聚层、接入层在内的三层骨干网架构。骨干核心层采用节点间直连和全网状互联方式进行大区间流量的交换，并负责全网与国际Internet、国内其他运营商的互联；骨干汇聚层负责汇接各省到骨干网的连接，以省会城市及部分重点城市为汇聚节点，负责大区内省份流量间的交换；骨干接入层负责汇聚本省省际流量和出网流量，各个地市的业务先上联核心节点，再通过核心层进行业务的转发。当前，枢纽节点的多个集群，如韶关、庆阳等，不是骨干网架构内的核心节点，若继续沿用上述骨干网架构，业务访问算力枢纽节点必须要绕转到省会经骨干节点 9 中国运力白皮书（2022 年）转接，业务传输的路径和时延就会大大增加。各集群纷纷依据枢纽节点建设方案、结合集群网络现状，编制专项网络规划，统筹协调各基础电信运营企业全面提升集群网络节点层级，建设枢纽间的直连链路。骨干网在网络运力中处于核心位置，骨干网所承载的数据流量猛增对骨干网网络设备的转发性能和可靠性也提出了更严格的要求。长期以来我国西部地区的业务量较小、距离东部城市远，导致东西部的光缆部署不均衡不充分，难以保证到东部地区的路由最优、时延最短。因此未来一方面要提升国家枢纽节点间光网传输与承载能力，丰富和优化国家枢纽节点的光缆路由，实现国家枢纽节点间直联路由最短，进而缩短业务时延；另一方面要逐渐采用集群方式扩容，使路由设备在不改变网络拓扑，不影响现网业务的情况下，具备平滑升级的能力，以适应不断变化的客户需求使运维变得更加简单。来源：中国信息通信研究院 图 2 骨干网络承载能力发展情况 如上图所示，当前我国已全面建成覆盖全国的 100G 骨干光传送网络，但随着多云协同、存算分离、业务远程集约化部署等业务场景进一步发展，骨干光传送网与骨干 IP 网络已经成为支撑网络运力发展的需要选择。未来，我国仍需进一步提升骨干网络承载能力，部署 200G/400G 超大容量光传输系统，发展 IPv6+体系结构，10 中国运力白皮书（2022 年）打造 P 比特级骨干网传输能力，建设超宽、低时延、智能、安全可靠的骨干网。2.2.2 城域网 云计算技术正在不断改变数据被使用、存储和共享的方式，随着越来越多的数据进入云端，企业使用和访问云的行为变得趋于日常。特别是新冠疫情全球流行以来，云上办公成为主流趋势，疫情驱动了企业加速上云的步伐，对服务模式的需求发生了巨大变化。从以前单一的云或者单一的网的服务，转变为云+网的一体化服务，推动城域网向融合架构快速发展。来源：中国信息通信研究院 图 3 城域网架构图 与此同时，在构建全国一体化大数据中心的大背景下，城域网需要向新型化、智能化发展。在网络架构上，城域网的架构需更加弹性、灵活；从接入能力上看，要引导 100G 及以上光传输系统向城域综合业务接入区下沉靠近用户部署，方便用户便捷接入网络和快速开通业务；在网络控制和管理上，需实现集中化、智能化，以及算与网的深度融合与协同。11 中国运力白皮书（2022 年）来源：中国信息通信研究院 图 4 城域网架构演进 但从现状上看，运营商的传统城域网，IP 城域网、IPRAN/PTN 等多域网络烟囱式并立，移动业务与固网宽带业务分网承载，网络功能与设备紧耦合，存在网络架构复杂、网络协议繁多、运营管理难度大、网络利用率低等问题，已无法适应新需求，面向未来，需要提升区域内算力调度水平，优化现有城域网网络架构向新型智能城域网网络演进。国内运营商相继发布了城域网相关战略规划，中国电信提出“网是基础、云为核心、网随云动、云网一体”的云网融合战略，并推动承载网向智能城域网和全光网络 2.0 发展;中国移动将全光城域网与智慧城市建设相结合，依托广泛覆盖、超大带宽、超低时延、灵活调度的全光网络底座，赋能政府、金融、医疗、教育等各行各业，当前已在北京落地实施；中国联通提出了面向 5G 时代的“固移融合、云网一体、物理+虚拟”的新型城域网架构，新架构打破了独立烟囱式网络架构，建设融合承载网络平台。12 中国运力白皮书（2022 年）来源：中国信息通信研究院 图 5 新型智能城域网 新型智能城域网将网络结构简化、协议简化、设备简化，网络控制和管理智能化。对外可通过网络切片在一张物理网络上划分出多张逻辑网络满足不同业务的资源和指标需求、支持 IPv6+可实现业务快速灵活的部署开通，满足业务高标准、多元化、服务化的需求。对内可融合现有网络向城域一张 IP 综合承载网演进，提升网络运营效率和效能。2.2.3 数据中心内网络 在数据中心中，不同类型的应用对于数据中心网络有着不同的要求，从业务角度，一般划分为计算网络、存储网络和前端网络。（1）前端网络是指数据中心网络(Data Center Network，DCN)与外部用户终端对接的网络，也可称为互联网络或应用网络,通常采用传输控制协议(Transmission Control Protocol，TCP)。因为成本低、扩展性好、易于维护等原因，IP/以太网络技术成为前端网络主流技术。（2）存储网络一直在追求大带宽、高吞吐以充分发挥存储盘和 CPU 的效率。13 中国运力白皮书（2022 年）20 世纪 90 年代末，存储网络主要采用光纤通道（Fiber Channel,FC）技术，FC技术相对于同时期的以太网而言，具有更高的速率。然而，随着以太网技术的发展,其逐渐成为网络应用的主流技术，且速率越来越快,最终以太网的技术优于 FC 技术。随后，业界出现了以太光纤网络（Fiber Channel over Ethernet，FCoE）。在存储技术的发展过程中，又出现了更低时延、更高吞吐的 RDMA（Remote Direct Memory Access，远程直接数据存取）技术。当前，将 RDMA 和以太网结合所形成的RoCE（RDMA over Converged Ethernet，基于融合以太网的 RDMA）技术成为了存储网络技术的新趋势。而软件定义存储、Ceph 分布式存储解决方案的广泛应用进一步加速了 RoCE 的发展趋势。（3）计算网络的典型代表为 HPC 等高性能业务，超低时延是其追求的目标。之前，较多数据中心采用 IB（InfiniBand，无限带宽）专网进行计算网络的建设。事实上，随着深度学习在 HPC 应用中的不断拓展，互联网应用成为另一种趋势，这些新兴的互联网应用则出现与 IB 齐头并进的发展态势。来源：中国信息通信研究院 图 6 传统数据中心内部组网架构 14 中国运力白皮书（2022 年）当前随着数据中心加快建设，尤其是超大型数据中心的数量及占比不断提高，对数据中心网络建设提出了更高的要求。大型与超大型数据中心内部网络复杂，如何优化网络架构，并实现可管可控，也是数据中心网络技术与产业变革的关键所在。随着以太网技术的发展，使前端网络、计算网络和存储网络进行归一，形成三网合一的数据中心架构，显著降低建网与运维成本，对于数据中心绿色节能具有重要意义并已成为产业发展趋势。与此同时，数据中心计算云化与存储云化的需求增加，在网络有损情况下，计算云化中的数据拷贝会引入时延抖动、拥塞丢包等性能损失，造成处理器空闲等待数据，并拖累整体并行计算性能，导致无法通过简单增加处理器数量来提升整体计算性能；基于有损网络的存储云化，因为网络导致的拥塞丢包、时延抖动、故障倒换而严重影响存储云化的效果。为提升数据中心网络性能，支撑数据中心业务发展，IEEE、CCSA 和 ODCC 等国内外团体在数据中心无损网络方面已经开展了很多标准化工作，IEEE 发布了技术白皮书The Lossless Network for Data Centers、CCSA 发布了通信行业标准YD/T 3902数据中心无损网络典型场景技术要求和测试方法、ODCC 发布了无损网络技术与应用白皮书、无损网络测试规范等成果，同时华为、思科等厂商均推出了相关的产品，通过超融合数据中心网络智能无损技术实现计算、存储和业务网络的架构统一。15 中国运力白皮书（2022 年）来源：中国信息通信研究院 图 7 全无损以太组网架构 16 中国运力白皮书（2022 年）3 技术发展分析 3.1 大带宽 网络带宽指的是在单位时间内线路上能传输的数据量。带宽越大，支持在线传送的数据量就越大，也就是拥有更大的信息运送能力。当前，随着算力需求的快速增长，数据中心流量交换激增，为网络运力提出了更高的要求，运营商及设备厂商开展了大量技术研发，包括采用高传输速率光模块作为设备间传输端口，提升光频谱效率扩展光频谱带宽提升单光纤容量，研发高质量低损耗的新型光缆支持高速传送等。3.1.1 400GE、800GE 光模块 在网络运力中，光模块无处不在，光模块是一种光电转换的电子元器件，其作用就是发送端把电信号转换成光信号，通过光纤传送后，接收端再把光信号转换成电信号。当前在大多数设备中，数据仍然是以电信号的形式进行处理和传输的，要想充分利用光通信的优势，就必须做好光电转换。在 400Gbps 数据端到端传送中，400G DWDM 光模块实现光电信号映射并进行传送，主要涉及 400GE 接口和 400GE 处理等相关技术。Cignal AI 最新报告显示，随着大型云计算厂商和一些企业客户从 100G 过渡到 400G，400ZR/ZR+光模块的出货量预计在 2022 年增加两倍。在流量驱动下，未来网络接入层将出现 T（Tbps，1Tbps=1024Gbps）级别的接口，骨干设备每槽位将支持 40-100T 的接入容量，而在数据中心中将出现每槽位 400T 的网络设备。为满足业务发展需求，需要研究 800GE/1.6T 的高速以太网接口技术，和 200GE/400GE接口相比，800GE 以太网是一个全新的技术，还没有实现标准化，目前有两种技术路线，一是继续采取可插拔的模式，二是采取光电合封的技术（CPO），两种技术 17 中国运力白皮书（2022 年）路线预计未来都会占据一定的市场空间。超过 800GE 的可插拔光模块将遇到功率和密度问题，光电合封的技术或将成为主流选择。3.1.2 C+L 光频带扩展技术 光纤通信，就是利用光作为信息载体，在纤芯中传输，进行通信。随着数据中心间流量不断加大，光纤的容量也需要进一步扩大，可通过扩大单根光纤中的纤芯数量、采用更大的频谱带宽增加波段数量、研发频谱整形技术和偏振复用、空分复用甚至角动量复用等技术实现。受经济成本、技术手段等方面因素的限制，当前行业扩大光纤容量方式主要是扩展现有波段。光纤通信中，不同波长的光（可以理解为颜色不同的光），在光纤中的传输损耗不同。早期的 850nm 波段的波长区域传输损耗比较大，也没有合适的光纤放大器，仅适宜于短程传输。低损耗波长区域（1260nm-1625nm）的光波段，由于线损较低，更适合应用于长距离传输。来源：中国信息通信研究院 图 8 波段和传输损耗关系图 18 中国运力白皮书（2022 年）单根光纤传输的光信号的容量取决于信号的频谱效率和可用频谱带宽，频谱效率越高，可用频谱带宽越大，光纤的容量就越高。提升单纤容量，前期的主要思路是提升信号的频谱效率，带来 WDM 系统的单波长速率不断提高，当前单波长 100G和 200G 等速率已经在城域和算力间互联实际应用。来源：中国信息通信研究院 图 9 C+L 波段频谱资源提升 增加可用频谱带宽也是提升容量的方法之一。波道采用传统 C 波段，频谱资源是 4THz。扩展为 CE 波段后，频谱资源增加 20%，为 4.8THz。在采用 C+波段的情况下，频谱资源可达到是 6THz。如果采用 C+L 波段，频谱资源可以是 12THz，相比传统 C 波段提升了 200%。当前理论可用的传输频谱带宽范围已经可以扩展到 1260-1675nm，涵盖 O 波段到 L 波段。3.1.3 超低损耗光纤 目前，现网中光缆 G.652 光纤占比较高，超低损大有效面积的 G.654E 光纤正在加快落地应用当中。G.654E 光纤的应用，降低了衰减和非线性等因素的影响，可以减少光放站和光再生中继站的设置，有效降低网络运营成本。随着线路速率的需求持续提升，少模光纤、多芯光纤等空分复用光纤和空芯光纤等新型光纤技术持续落地应用。空芯光纤采用特殊设计结构，将石英变为空气，使得信号在空气介质中传播，具有低时延、低色散、低非线性等特点，降低传输时延近 1/3。但由于制备工艺特殊，尚无法大规模生产。空分复用光纤技术通过开发 19 中国运力白皮书（2022 年）未利用空间提升传输容量，少模光纤拓展了单芯容量，单纤芯多个系统同时传输能大幅增加系统容量，但关键技术和器件尚不成熟还没有达到可商用条件。多芯光纤在原先的单纤芯中构建出更多纤芯，在单根光纤中实现多通道信号的传输，但受限于制备、熔接及器件等方面的技术和成本等因素，多芯光纤的实用化进展仍较为缓慢。3.2 低时延 时延是指一个报文或分组从网络的一端传送到另一端所耗费的时间，是影响用户算力服务体验的关键参数之一。随着新一代信息技术快速发展，数据资源存储、计算和应用需求大幅提升，数据中心正加速与网络、算力融合发展，如何使数据中心网络低时延，满足业务需求实现数网协同也成为网络运力发展的重点方向。在此网络运力快速发展背景下，本文以算力出口互联网为分界，将网络运力时延拆解成数据中心内的网络时延和数据中心间网络时延，从其各自所涉及的技术领域进行阐述。3.2.1 总线级数据中心网络技术 高性能计算在金融、证券、教育、工业、航天、气象等行业广泛应用，而时延是关键性能指标之一。由于以太网丢包、传输转发机制等诸多原因，基于传统以太的数据中心网络时延大多处于毫秒级水平，无法支撑高性能计算业务。要使得 DC as a Computer 成为可能，数据中心网络时延需要向总线级看齐。传统的以太交换机在转发层面，因需要考虑兼容性和众多协议支持等问题，导致转发流程复杂、转发时延较大。与此同时，以太查表算法复杂、查表时延大，导致整体转发处理时延长。目前业界主流商用以太交换机的静态转发时延大约在600ns-1us 左右。总线级数据中心网络技术提出了极简低时延以太转发机制，利用虚拟短地址实 20 中国运力白皮书（2022 年）现了快速线性表转发。基于虚拟地址路由转发技术，解决了传统二层环路和链路利用率的问题，同时保证了规模部署和扩展灵活性。根据应用实测，业界低时延转发机制能实现 30ns 以太芯片报文处理，实现 100ns 左右端到端单跳转发静态时延。总线级数据中心网络技术创新性地提出了收发混合驱动的网络拥塞控制机制。数据报文分为无调度（Unscheduled）和有调度（Scheduled）两类：无调度报文在端口级有限窗口控制下直接发送，快速启动，保证高吞吐；有调度报文由接收端分配令牌报文（Token）后继续发送，限制流量注入，提供近似零队列，支撑更大的网络规模。通过对两类报文进行协同调度，可进一步保证高吞吐浅队列，降低动态时延：极低平均队列时延：通过接收端调度，严格控制网络注入流量，保证接近于0 的平均队列时延。极低最大队列时延：对于不由接收端调度的报文，通过窗口限制注入流量，不会出现大幅震荡，保证最大队列时延极低。3.2.2 ROADM 和 OXC 技术 全国一体化大数据中心协同创新体系算力枢纽实施方案 对数据中心进行统筹规划布局，指出在网络时延方面，数据中心集群端到端单向网络时延原则上在 20毫秒范围内。目前数据中心间的时延首先受制于传输传送的距离影响，第二个是受限于设备处理对网络时延的影响。所以一方面需要对网络架构进行优化，减少跳数；另一方面是最小化骨干网每一跳的处理时延。本地数据中心与互联网数据中心、同一服务商的多个数据中心或者不同服务商间的数据中心要协同运转，需要相互之间交互信息，于是就有了互连需求，产生了数据中心互联网络（Data Center Inter-connect，DCI）。DCI 相关的新技术研究不断深入，通过技术创新，可提供更加平滑、扩展性更强的链路，解决了跨地域带来的传输效率低与成本高等问题。依靠业务需求和技术创新并行驱动网络架构创新，21 中国运力白皮书（2022 年）数据中心间互联互通，促进数据中心与网络高度协同、相互融合，以满足各种上层业务对网络的需求。尤其是随着 IPv6+技术创新体系的不断发展完善，针对时延敏感型业务在骨干网上部署低时延平面成为新的趋势，为各种上层业务提供差异化SLA 保障。在规模大的 DCI 网络中，为适配业务分布的复杂度，需要考虑基于 ROADM（Reconfigurable Optical Add-Drop Multiplexer，可重构光分插复用器）的网络架构。ROADM 是一种使用在密集波分复用（DWDM）系统中的器件或设备，其作用是通过远程的重新配置，可以动态上路或下路业务波长，实现业务灵活配置，增加了网络的弹性，简化了网络规划难度。ROADM 节点的重构能力提升了运营商的工作效率及对客户新需求的反应速度，同时有效地降低运营和维护成本。然而随着维度数的增加，维度间的连纤数量快速增加，不利于系统维护，ROADM 演进发展到 OXC 设备。大容量全光交叉 OXC（Optical Cross-Connect），支持维度数从 ROADM 的 9 维/20维，提升至 32 维。维度间互联方式由光纤跳线直连优化为光背板互联，无需人工连接，做到即插即用。目前的 OXC 主要是 20 维与 32 维，随带宽与光方向增长，核心节点需要更高纬度的 OXC，从 32 维向 64 维演进；而为了实现 OXC E2E 的部署，在城域汇聚与接入节点，需要更低纬度支持 9 维与 4 维的 OXC。3.3 高可靠 随着数据中心的集约化、高密化发展，网络或算力服务的故障对数字经济日常运营的影响或危害越来越大、越来越显性。现阶段，无处不在的泛在智能算力业务场景对网络可靠性提出了更高的要求，主要包括网络无故障、网络无丢包、网络无突发拥塞、故障快速自愈、网络性能确定(路由、时延、带宽等)等方面。本章将阐述多框集群技术，Ason 技术和 Mesh 组网方式等高可靠技术的现状和发展方向。3.3.1 多框集群技术 22 中国运力白皮书（2022 年）骨干网络物理架构一旦建立就要避免频繁变化，否则会对其可靠性带来强大冲击、引入大量隐患，中华人民共和国通信行业标准 YD/T 1097-2009明确规定核心路由器系统应达到或超过 99.999%的可用性。对于组成骨干网的路由器来说，除了要具备快速转发的能力、高安全稳定性之外，更重要的是，容量足够大、可扩展强。业界构筑路由器稳定架构的一个关键措施是把 N 个机框（N2）以级联方式扩展成集群路由器。如下图所示，随着流量的增加，如果某节点核心路由器无法集群，那么它仅能新建节点来满足需求，这样操作的方式存在多个不可靠因素，比如：网元增加，横向端口增加，协议邻居呈指数增加，网络架构变复杂了，增加了网络故障点；新老节点间的流量需要通过业务板来交互（集群内部通过交换网），增加了网络拥塞风险。来源：中国信息通信研究院 图 10 非集群：扩展持续增加节点，网络架构频繁变化 对于单台路由器来说，其扩展是有一定限制的，需考虑光器件的发展成熟度，以及电源、散热、机房承重等方面，而且也无法超越流量增长的摩尔定律。所以对于单台路由器的扩展，就是增加节点内设备数量，通过负载分担的方式减轻设备压力。这种通过改变网络结构来适应流量的增长，主要在网络纵向和横向进行扩展。这两种方法都在一定程度上缓解了单台设备容量有限的局面，但随之而来的却是网络复杂度以及内部互联端口的增加。网络结构的日趋复杂，也增加了运维部门的管理难度，同时也产生了多台路由器之间如何均衡流量的问题。网络架构稳定的一个关键措施是把 N 个机框（N2）以级联方式扩展成