东数西算场景下的算力网关研发及应用.pdf
《东数西算场景下的算力网关研发及应用.pdf》由会员分享,可在线阅读,更多相关《东数西算场景下的算力网关研发及应用.pdf(6页珍藏版)》请在咨信网上搜索。
1、东数西算场景下的算力网关研发及应用马思聪 等热点专题中兴通讯技术2023 年 8 月 第 29 卷第 4 期 Aug.2023 Vol.29 No.4东数西算场景下的算力网关研发及应用Research and Application of Computing Power Gateway in East-Data-West-Computing Project马思聪/MA Sicong,孙吉斌/SUN Jibin,孙一豪/SUN Yihao(中国电信股份有限公司研究院,中国 北京 102209)(China Telecom Corporation Research Institute,Beijin
2、g 102209,China)DOI:10.12142/ZTETJ.202304002网络出版地址:http:/ computing power gateway,a new network device,is proposed for computing power network scenarios,which is the foundation for achieving integrated scheduling of computing power networks.By perceiving the information of services and combining the
3、current computing power and network performance,the routing information will be published to the network to route computing task packets to suitable computing nodes,in order to achieve optimal scheduling of computing resources.Finally,the effectiveness of the computing power gateway technology solut
4、ion is verified through practical verification in the current network.Keywords:computing power gateway;perception of computing power;routing of computing power;east-data-west-computing引用格式:马思聪,孙吉斌,孙一豪.东数西算场景下的算力网关研发及应用 J.中兴通讯技术,2023,29(4):2-7.DOI:10.12142/ZTETJ.202304002Citation:MA S C,SUN J B,SUN Y
5、 H.Research and application of computing power gateway in east-data-west-computing project J.ZTE technology journal,2023,29(4):2-7.DOI:10.12142/ZTETJ.202304002随着数字经济进入新发展阶段,业务数字化、技术融合化和数据价值化等加速演进,开启数字经济引领高质量发展新征程。在此发展过程中,算力作为数字时代核心资源的作用日益突出,以算力为核心的数字信息基础设施建设被提到前所未有的高度1。中国相继出台一系列围绕算力基础设施的政策文件,如全国一体化大
6、数据中心协同创新体系算力枢纽实施方案 新型数据中心发展三年行动计划等2,并加快实施“新基建”“东数西算”等工程,加强区域协同联动,推进热点区域与中西部地区、一线城市与周边地区的数据中心协调发展,引导算力的集群化发展。为了实现算力像电力、热力、水一样,由统一的社会基础设施进行供应,真正地服务于社会经济的各行各业,需要在算力基础设施的供给模式方面进行创新,算力网络应运而生。算力网络是通过网络分发算力节点的计算、存储、算法等资源信息,并结合网络信息和用户需求,提供最佳的计算、存储、网络等资源的分发、关联、交易与调配,从而实现各类资源最优化配置使用的新型网络技术。作为算力网络中的核心网元设备,算力网关
7、以算力度量、算力标识为依据,通过算力路由、算力感知等核心功能,传输发布相关算力策略与数据转发,是实现算力网络一体化调度的基础。1 算力网关架构及组网方案1.1 总体架构算力网关基于开放的白盒网络设备架构,将网络中的物理硬件和节点操作系统(NOS)进行解耦,使标准化的硬件基金项目:国家科技重大专项(2022YFB2901400)02东数西算场景下的算力网关研发及应用马思聪 等热点专题中兴通讯技术2023 年 8 月 第 29 卷第 4 期 Aug.2023 Vol.29 No.4配置与算力网络相关协议进行组合匹配,具有灵活、高效、可编程等特点,有助于算力网络相关协议的制定。算力网关整体架构如图1
8、所示,主要分为硬件基础、基础软件平台、芯片接口和操作系统4个部分3:1)硬件基础硬件是算力网关系统运行的物理基础,主要由CPU、交换芯片、网卡、存储和外围硬件等构成。其中,CPU是对计算机的所有硬件资源(如存储器、输入输出单元)进行控制调配并执行通用运算的核心硬件单元,主要管控系统运作;交换芯片主要提供高性能和低延时的交换能力,是算力网关的核心芯片;网卡分为用于设备管理的管理网卡和用于网关与网络中其他设备通信的业务网卡,业务网卡与交换芯片共同决定了算力网关的转发性能;存储主要包括内存和硬盘,用于设备应用数据的存储和保存;外围硬件主要包括风扇、电源等用于维持设备正常运行的其他基础硬件。2)基础软
9、件平台基础软件平台由开源网络安装环境(ONIE)、开源网络Linux(ONL)以及硬件驱动构成。其中,ONIE为算力网关提供一个开放的安装环境,可实现网关硬件和网络操作系统系统的解耦,支持在不同厂商的硬件上引导启动算力网关操作系统;ONL建立在开放网络硬件上,向网关系统提供基础操作系统,为交换硬件提供管理接口,使用ONIE来安装到板载闪存中。3)芯片接口交换机抽象接口(SAI)是一种标准化的应用程序编程接口(API),可以看作是一个用户级的驱动。在不同的专用集成电路(ASIC)芯片上,SAI为上层应用提供了统一的API。SAI的具体实现由不同ASIC芯片提供商负责,使用者不需要关心网络硬件供应
10、商的硬件体系结构的开发和革新,通过始终一致的编程接口就可以很容易地应用最新、最好的硬件。SAI本质就是在各ASIC的软件开发套件(SDK)之上抽象出统一接口。芯片厂商研发的ASIC的SDK需要与这层抽象适配,使得转发应用能够在不同的ASIC上运行。SAI向上为操作系统提供统一的API,向下可以对接不同的ASIC。4)操作系统算力网关操作系统基于社区版本的云开发网络软件(SONiC)开发,通过拓展协议和网关接口等能力实现了算力网络所需的相应功能。算力网关操作系统由多个功能模块组成,这些模块通过集中式和可扩展的基础架构相互交互。本系统模块间交互依赖于redis数据库引擎(一个键值数据库,提供独立于
11、语言的接口,可以在所有子系统之间进行数据持久化、复制和多进程通信)。通过依赖redis引擎基础架构提供的发布者/订阅者消息传递模型,应用程序可以仅订阅它们需要的数据,并避免与其功能无关的实现细节4。算力网关操作系统将每个模块放置在独立的docker(容器)中,以保持语义相似组件之间的高内聚性,同时减少不相关组件之间的耦合。每个组件都被设计得相对独立,摆脱了平台和底层交互的限制。当前,算力网关操作系统主要包含以下几个 dockers:Bgp、Web、Database、SwSS、Syncd、Teamd、Pmon、DHCP-relay等。1.2 组网方案算力网络目前在技术路线上可以分为集中式、分布式
12、和混合式3种。在算力网关应用部署中,我们主要考虑混合式和分布式两种组网方案5。1)混合式方案在混合式的方案中,算网编排系统依靠云/算管控模块通过算力网关收集来自每个资源池的算力信息,通过网络管控模块收集网络拓扑信息。算网编排系统确定最优算力资源节点和网络路径。云/算管控模块与网络管控模块分别下发算力资源分配指令和路由策略,如图2所示。在此架构下,算力网关主要功能包括:获取算力节点的算力信息及链路信息,接收网络管控模块下发的路径策略信息等。2)分布式方案在分布式方案中,算力网关需要实现算力资源感知、算力路由分发、资源表项生成、策略定制等全部功能,如图3所示。除支持算力信息发布和通告外,分布式方案
13、还需通过算力和路径计算生成路由策略,并依据用户和应用感知对路由策略进行绑定,进而实现对算力资源和网络资源的信息同步与统一调度。CPU:中央处理器ONIE:开源网络安装环境ONL:开源网络LinuxSAI:交换机抽象接口图1 算力网关整体架构算力网关操作系统算力路由模块数据库管理界面其他应用芯片接口安装SAI调用基础软件平台ONIEONL硬件驱动抽象硬件基础CPU芯片网卡存储外围硬件交换芯片03东数西算场景下的算力网关研发及应用马思聪 等热点专题中兴通讯技术2023 年 8 月 第 29 卷第 4 期 Aug.2023 Vol.29 No.42 算力网关核心技术实现算力网关通过感知算力和网络信息
14、,将当前的计算能力状况和网络状况作为路由信息发布到网络,并将计算任务报文路由到合适的计算节点,以实现整体系统最优和用户体验最优。其中,算力感知和算力路由是算力网关的两大核心技术能力。2.1 算力感知能力算力感知是对算力资源的性能、实时负载、网络状况以及业务需求的全面感知,主要是需要明确网络中有多少算力资源,用户有怎样的算力需求。算力感知包括算力信息感知、网络状况感知、业务需求感知。1)算力信息感知算力信息的感知通常包括算力资源池的IP地址、计算能力、存储能力等内容。如图4所示,云资源池一般由云管平台集中纳管,算力网关可以与云管平台通过RESTful API等接口交互,获取算力资源池的IP地址、
15、计算能力、存储能力等,并最终把感知的算力信息上报到算力交易平台。2)网络状态感知网络信息的感知通常包括时延、带宽、丢包率、抖动等内容。以网络时延为例,由于算力资源池分布在不同位置,用户到资源池的网络路径也会根据网络拥塞状态发生变化,因此需要探测用户与各个算力资源之间的时延信息。算力网关的时延探测分为两部分:一是算力网关到算力资源池之间的时延探测;二是算力网关与算力网关之间的时延探测,如图5所示。3)业务需求感知除了对算力资源和网络状况的感知外,算力感知还应具备感知用户业务需求的能力,以实现更优的算力调度。业务需求感知可以在用户入口的算力网关接收业务请求并感知业务需求,包括网络需求(时延、抖动等
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 东数西算 场景 网关 研发 应用
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。