面向大规模网络的服务功能链部署方法.pdf
《面向大规模网络的服务功能链部署方法.pdf》由会员分享,可在线阅读,更多相关《面向大规模网络的服务功能链部署方法.pdf(8页珍藏版)》请在咨信网上搜索。
1、第 49卷 第 8期2023年 8月Computer Engineering 计算机工程面向大规模网络的服务功能链部署方法张冠莹1,2,伊鹏2,李丹2,朱棣2,毛明2(1.郑州大学 网络空间安全学院,郑州 450000;2.中国人民解放军战略支援部队信息工程大学 信息技术研究所,郑州 450000)摘要:网络功能虚拟化(NFV)将网络功能从硬件中间盒中解耦出来,部署功能实例并编排为服务功能链(SFC),从而实现网络服务。针对资源受限情况下大规模网络环境中的 SFC动态部署问题,提出一种基于多智能体的群策部署方法,该方法结合了集中式深度强化学习(DRL)和传统分布式方法的优点。将 SFC部署问题
2、建模为部分可见马尔可夫决策过程,每个节点部署一个 Actor-Critic智能体,仅通过观察本地节点信息即可得到全局训练策略,具有DRL的灵活性和自适应性。本地智能体控制交互过程,以解决集中式 DRL方法在大规模网络中控制复杂、响应速度慢等问题。基于多线程的思想,收集、整合每个节点的经验进行集中式训练,避免完全分布式训练过程中部分节点因请求流量少而导致训练不充分、策略不适用等问题。实验结果表明,该方法无须考虑网络规模而且不依赖特定场景,可以很好地适应现实中复杂多变的网络环境,在相对复杂的流量环境中,与 CDRL、GCASP方法相比,在多种流量模式下所提方法的部署成功率均提高了 20%以上,同时
3、能够降低部署成本。关键词:网络功能虚拟化;服务功能链;深度强化学习;部分可见马尔可夫决策过程;多智能体开放科学(资源服务)标志码(OSID):源代码链接:https:/ J.计算机工程,2023,49(8):122-129.英文引用格式:ZHANG G Y,YI P,LI D,et al.Service function chain deployment method for large-scale network J.Computer Engineering,2023,49(8):122-129.Service Function Chain Deployment Method for Lar
4、ge-Scale NetworkZHANG Guanying1,2,YI Peng2,LI Dan2,ZHU Di2,MAO Ming2(1.School of Cyber Science and Engineering,Zhengzhou University,Zhengzhou 450000,China;2.Information Technology Institute,PLA Strategic Support Force Information Engineering University,Zhengzhou 450000,China)【Abstract】Network Functi
5、on Virtualization(NFV)decouples network functions from hardware intermediate boxes,deploys function instances and arranges them into Service Function Chains(SFC)to realize network services.A multi-agent based group strategy deployment method is proposed for the dynamic deployment of SFC in large-sca
6、le network environments with resource constraints.The proposed method combines the advantages of centralized Deep Reinforcement Learning(DRL)and traditional distributed methods.The SFC deployment problem is modeled as a Partially Observable Markov Decision Process(POMDP),with each node deploying an
7、Actor-Critic(AC)agent.The global training strategy can be obtained only by observing local node information,which has DRL flexibility and adaptability.The local agent controls the interaction process to solve complex control and slow response speed problems in large-scale networks using centralized
8、DRL methods.Based on the multithreading concept,this research aims to collect and integrate the experience of each node for centralized training,to avoid problems such as insufficient training and policy inapplicability caused by low request traffic in some nodes during the fully distributed trainin
9、g process.Experimental results demonstrate that while it adapts well to complex and everchanging environments in practice,it is not necessary for the proposed method to rely on specific scenarios or to consider network scale.In relatively complex traffic environments,compared with CDRL and GCASP met
10、hods,the proposed methods deployment success rate in multiple traffic modes increased by over 20%,while reducing deployment costs.【Key words】Network Function Virtualization(NFV);Service Function Chain(SFC);Deep Reinforcement Learning(DRL);Partially Observable Markov Decision Process(POMDP);multiple
11、agentDOI:10.19678/j.issn.1000-3428.0065169基金项目:国家重点研发计划(2022YFB2901304);国家自然科学基金(62002382);嵩山实验室项目(221100210900-03)。作者简介:张冠莹(1997),女,硕士研究生,主研方向为新型网络、深度学习;伊 鹏,研究员;李 丹,副研究员;朱 棣,硕士研究生;毛 明,博士研究生。收稿日期:2022-07-07 修回日期:2022-10-10 Email:zhang_移动互联与通信技术文章编号:1000-3428(2023)08-0122-08 文献标志码:A 中图分类号:TP391第 49卷
12、第 8期张冠莹,伊鹏,李丹,等:面向大规模网络的服务功能链部署方法0概述 互联网为当今世界的通信发展建立了新的模式,网络服务也因此产生复杂多样的发展需求。运营商提供的复杂业务系统需要大量专用硬件基础设施来支撑1-2 ,而在实际应用中,使用这些专用硬件资源面临着巨大挑战,不仅维护和操作开销巨大3,而且无法快速灵活地提供服务4 。因此,在当前大规模网络环境下,网络功能虚拟化(Network Function Virtualization,NFV)5已成为 5G 和未来网络通信的革 命 性 范 式。通 过 解 耦 网 络 功 能(Network Function,NF)和专用网络设备,NFV 使得
13、NF独立于硬件6,从而降低成本和运营支出。虚拟网络功能(Virtual Network Function,VNF)通常被排列成服务功能链(Service Function Chain,SFC),解决实际且具体的服务请求7。在整个网络中,每次完成服务请求响应需由多个组件来处理,每个组件可以在网络的任意节点上运行,并根据当前需求在线决定如何部署实例化组件8-9以及怎么安排请求流。为了满足复杂多样的网络需求,需要部署网络功能并响应服务请求,但是,网络节点处理能力和链路带宽资源有限,如何最小化资源消耗同时提高部署成功率是亟待解决的问题。SFC 部署问题已经得到广泛研究,但是当前的主要研究方案均存在一定
14、的局限性:现有方案主要集中在如何长期规划给定的服务请求,并通过组件实例的硬连接链处理服务请求,然而,预期资源需求与用户实际服务需求之间存 在 误 差 等 问 题 导 致 实 际 效 果 往 往 偏 离 初 始 计划10;现有方案主要使用启发式算法,对场景和环境的依赖性强,方案可迁移性差11;现有模型大多依赖严格的先验信息,如完整的已知环境状态信息或请求信息,但是实际中对于实时传入的请求信息是无法预知的,基于定期观测获得的相应信息存在延迟。以上研究的局限性主要源自方案均建立在预设的条件上,无法处理现实中随机到达的请求流。为了克服上述局限性,近年来,基于人工智能的方案逐渐成为研究热点,较多方案采用
15、集中式深度强化学习(Deep Reinforcement Learning,DRL)方法,利用单个全局 DRL 智能体观察和控制整个网络。然而,在实际大规模网络中,集中式 DRL 方法可能无法满足实时变化、快速响应的资源需求,成功率也无法得到保证。因此,对神经网络进行分布式训练逐渐替代集中式 DRL 方案,但是其训练过程仍然存在缺陷,如在训练分布式神经网络的过程中,流量较少的智能体由于训练不充分而导致训练策略效果较差。本文提出一种集中式训练、分布式推理的多智能体方法 MAAC(Multi-Agent Actor-Critic),以解决服务功能链的部署调度问题。基于多线程的思想,在网络中的每个节
16、点均部署单独的 DRL 智能体,基于所有智能体的经验进行集中式训练,将训练得到的策略分发给每个分布式节点,节点在本地以一种快速且相对隔离的方式完成部署。每个智能体无需获得全局信息,仅关注本身以及直接邻居节点,并只对传入流的处理进行本地控制。与完全集中式控制方法不同,本文方法中环境和动作空间的大小与网络规模无关,只与网络连通程度相关。相较集中式DRL 方法和完全分布式、启发式方案,MAAC 方法的主要创新点为:用部分可见马尔可夫决策过程(Partially Observable Markov Decision Process,POMDP)描述状态和动作的动态转化过程;以 Actor-Critic
17、 为基础,结合集中式 DRL 与传统分布式方法来完成集中式训练和分布式推理;在 Actor-Critic 的参数更新时应用自然梯度和克罗内克积。1相关工作 近年来,VNF 部署问题已成为学术界的研究热点,众多解决方案相继被提出。文献 12 在边缘网络 上 通 过 整 数 线 性 规 划(Integer Linear Program,ILP)方法解决 SFC 部署问题。文献 13 将该问题建模为混合整数规划(Mixed Integer Programming,MIP)模型并进一步使用禁忌搜索算法进行逼近。文 献14利 用 分 析 队 列 和 混 合 整 数 线 性 规 划(Mixed Integ
18、er Linear Programming,MILP)模 型 优化资源利用率。然而,在大规模网络背景下,求解数学模型非常困难。文献 15 设计 2种启发式算法用于“单型 NFV”部署,验证了恒定近似比,同时提出一种最优贪婪部署算法用于树网络拓扑,其假设每个流都有固定的路径。文献 16 考虑动态流,将VNFs 的动态资源分配建模为马尔可夫决策过程(Markov Decision Process,MDP),利用贝叶斯学习预测未来资源的可靠性,设计一种启发式算法,其中,将 VNFs 放在一个结构简单的数据中心中。然而,在存在约束条件且目标不断变化的系统中,这些数学规划方法适配度较低,且启发式算法基于
19、特定场景制定,建立在特定模型和假设的基础上,如果假设场景发生改变,需要人工重新调整模型,过程耗时且准确率无法保证。以上方案存在求解困难、依赖性强、迁移性差等局限性,因此,基于人工智能的方案逐渐成为研究热点。随着强化学习(Reinforcement Learning,RL)的发展,文献 17-18 基于 Q-learning来完成 VNF部署,使用表格式 Q 学习,但是,Q 表的维度有限,因此,只能用来处理状态和动作离散的低维问题,不支持连续环境变化以及环境之间的泛化,从而限制了在实际中的适用性。随着 DRL 在各个领域取得的较大突破和进展,文献 19 采用深度 Q 网络(Deep Q-Netw
20、ork,DQN)方法,在保证精度的前提下降低 VNF 部署的资源消耗。在 DQN 中,深度神经网络用于近似 Q 函数,Q 函数用于评估策略程度,但是 DQN 存在 Q 值被高1232023年 8月 15日Computer Engineering 计算机工程估 的 情 况。为 解 决 该 问 题,文 献7提 出 DDQN(Double Deep Q-Network),其解耦动作选择和 Q 值评估,可以提高模型训练的稳定性,降低模型在训练过程中 Q 值被高估的概率。但是,上述方案需在每个时间步骤内选择最佳策略,对于快速到达的服务请求,无法保证服务质量(Quality of Service,QoS)
21、。为解决该问题,文献 20 提出一种集中式 DRL 方案,但是在与网络交互的过程中,该方案会依赖延迟的监控信息。以上集中式在线服务功能链部署方案普遍存在响应时间过长、请求可能被丢弃、无法保证成功率等问题。文献 21-24 所提方案在所有节点上都存储转发规则,运行时以分布式方式将这种规则应用于传入的请求流,通过这种方式可以避免伸缩性问题,其中,文献 24 所提方案相比其他方案所需的全局知识更少,速度也更快。然而,DRL智能体需要定期更新这些转发规则,同时方案对动态路由、链路容量、组件的伸缩性能等考虑不足,且使用的启发式算法和策略梯度算法可能出现训练不稳定等不足。本文 MAAC 方法同时考虑部署成
22、本和部署成功率,且集中式训练和完全分布式推理的组合架构在大规模网络环境下更加高效。本文相关变量符号解释如表 1所示。2系统模型和问题规划为了实现网络服务,需要对每个请求中的多个功能组件进行顺序部署,由于网络中链路、节点资源有限,如何在资源受限的情况下既保证 QoS 又提高服务请求成功率同时最小化资源消耗,是本文的主要研究问题。如图 1所示,流f1和f2几乎同时到达节点v1,其中,f1、f2需求组件均为Cs=c1c2。当f1到达节点v1时,节点有足够的空闲资源来处理c1,此时f1就在v1进行处理。如果f2和f1几乎同时达到,v1资源被占用,如果f2排队等待将影响服务性能,甚至可能超出最大允许时延
23、而不被响应。若v1决定将f2转给邻居节点v2,则可以提高网络服务性能。针对部署成功率和资源消耗联合优化问题,本文将物理网络拓扑建模为无向图G(VL),参数V和L分别表示节点和链路的集合。参数vv V表示节点,vv L表示连接v和v这 2个节点的物理链路,Rv表示每个节点的可用资源。这里只考虑单一的资源类型(如计算资源 CPU),其可以扩展到多种资源类型。Rvv表示链路vv L的可用带宽资源,同时链路延迟dvv由节点v和v之间的距离决定。在入口节点处,由于用户有服务请求,因此短期内 会 有 大 量 流 到 达。将 每 条 服 务 请 求 表 示 为f=(sfvftfafdf)F,其中:sf表示请
24、求中的服务,每种服 务s S需 要 实 例 化 多 个 向 量 组 件c Cs=c1cn,不同种类的服务可以共享组件c;vf表示请求到达节点,即入口节点;tf表示服务请求到达时间;af表示请求需要占用的带宽;df表示请求的周期时长。为了在一定时间内实现响应服务请求传入流f、部署服务s、实例化组件c,定义 2 个决策变量xcv(t)和ycv f(t)。二元决策变量xcv(t)表示在t时刻组件c是否实例化在节点v上:如果实例化在节点v上,xcv(t)取值为 1,占用节点资源为Rcnv;否则,xcv(t)取值为 0。变量ycv f(t)表示t时刻流f是否应用实例化在表 1符号解释 Table 1In
25、terpretation of symbols符号VLvvRvRvvdvvS,sCs,cnfsfvftfafdfxcv(t)ycv f(t)Rcnvdfcvzvvf(t)wv(t)wvv(t)davg表示含义节点v的集合链路vv的集合以节点v、v为端点的链路节点v的可用资源链路vv L的可用带宽资源链路vv的延迟S表示服务集合,s表示某种服务Cs表示组件集合,cn表示组件,Cs=c1cn服务请求或者流请求中的服务请求到达节点,即入口节点服务请求到达时间请求需要占用的带宽请求的周期时长在t时刻组件c是否实例化在节点v上在t时刻流f是否应用实例化在节点v上的组件cc 实例化在节点v上、xcv(t)
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 面向 大规模 网络 服务 功能 部署 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。