边缘网络下多无人机协同计算和资源分配联合优化策略.pdf
《边缘网络下多无人机协同计算和资源分配联合优化策略.pdf》由会员分享,可在线阅读,更多相关《边缘网络下多无人机协同计算和资源分配联合优化策略.pdf(11页珍藏版)》请在咨信网上搜索。
1、第 55 卷第 5 期2023 年 10 月Vol.55 No.5Oct.2023南 京 航 空 航 天 大 学 学 报Journal of Nanjing University of Aeronautics&Astronautics边缘网络下多无人机协同计算和资源分配联合优化策略郭永安1,2,王宇翱1,2,周沂1,2,房晶晶1,2,任保全3(1.南京邮电大学通信与信息工程学院,南京 210003;2.南京邮电大学边缘智能研究院,南京 210003;3.军事科学院系统工程研究院,北京 100101)摘要:针对边缘网络环境下多人机之间存在计算负载不均,造成卸载任务失败的问题,提出了一种多无人机间
2、协作的智能任务卸载方案。通过联合考虑多无人机任务分配、计算资源分配和无人机飞行轨迹,引入公平性指数建立了无人机公平负载最大化和能量消耗最小化问题。基于多智能体深度强化学习框架,提出了融合轨迹规划和任务卸载的分布式算法。仿真结果表明,所提出的多无人机协作方案可以显著提高任务完成率和负载公平度,并且有效适用于大规模用户设备场景。关键词:边缘计算;无人机协作;任务卸载;多智能体深度强化学习;资源分配中图分类号:TN929.52 文献标志码:A 文章编号:10052615(2023)05075711MultiUAV Collaborative Computing and Resource Alloca
3、tion Joint Optimization Strategy in Edge NetworksGUO Yongan1,2,WANG Yuao1,2,ZHOU Yi1,2,FANG Jingjing1,2,REN Baoquan3(1.College of Telecommunications&Information Engineering,Nanjing University of Posts and Telecommunications,Nanjing 210003,China;2.Edge Intelligence Research Institute,Nanjing Universi
4、ty of Posts and Telecommunications,Nanjing 210003,China;3.Institute of Systems Engineering,Academy of Military Sciences,Beijing 100101,China)Abstract:Aiming at the problem of uneven computational load among multi-UAVs in the edge network environment,which causes the failure of offloading tasks,a mul
5、ti-UAV collaborative intelligent task offloading scheme is proposed.By jointly considering task allocation,computing resource allocation,and UAV trajectory,the optimization problem is established to maximize the fairness of computing load among UAVs and minimize the power consumption.Firstly,the opt
6、imization problem is modeled as multiple intelligent agent Markov decision process model.Then,a collaborative offloading algorithm based on multi-agent deep deterministic policy gradient(MADDPG)is proposed.The simulation results show that the proposed multi-UAV collaborative scheme can effectively i
7、mprove task completion rate and fairness of computing load,and it is effectively applicable to large-scale user device scenarios.DOI:10.16356/j.10052615.2023.05.002基金项目:江苏省前沿引领技术基础研究专项(BK20202001);江苏省现代农机装备与技术示范推广项目(NJ2022-13)。收稿日期:20230909;修订日期:20231003作者简介:郭永安,男,教授,主要从事智能物联网、网络路由技术与协议等研究工作,现任南京邮电大
8、学边缘智能研究院院长,泛在网络健康服务系统教育部工程研究中心副主任。发表高水平期刊或会议论文 40余篇,授权发明专利 50余项,获中国通信学会科学技术一等奖,中国电子学会技术发明二等奖,中国指挥与控制学会科技进步一等奖等省部级奖励 10余项。通信作者:郭永安,E-mail:。引用格式:郭永安,王宇翱,周沂,等.边缘网络下多无人机协同计算和资源分配联合优化策略 J.南京航空航天大学学报,2023,55(5):757767.GUO Yongan,WANG Yuao,ZHOU Yi,et al.Multi-UAV collaborative computing and resource alloca
9、tion joint optimization strategy in edge networks J.Journal of Nanjing University of Aeronautics&Astronautics,2023,55(5):757767.第 55 卷南 京 航 空 航 天 大 学 学 报Key words:edge computing;UAV cooperation;task offloading;multi-agent deep reinforcement learning;resource allocation随着 5G 的发展,各种新兴的计算密集型和延迟敏感型应用产生,
10、这对物联网中计算受限的低功耗终端设备提出了严峻挑战1。移动边缘计算(Mobile edge computing,MEC)作为一种有前途的技术被提出,可以极大减轻物联网终端设备的计算负载2。无人机因其部署灵活、响应迅速、覆盖范围广等优点,已在各类边缘计算场景广泛应用3。特别是在地面的基础通信设施遭到毁坏时,无人机能够快速覆盖受灾区域,向地面用户提供通信和计算 服 务,已 经 成 为 应 急 通 信 领 域 的 有 效 解 决方案4。目前对于单个无人机辅助 MEC 系统已经有了比较全面的研究,包括任务卸载5、轨迹规划6、资源管理7等。然而,用户的计算需求通常以随机或突发的方式产生,单个无人机完成任
11、务的能力十分有限。因此,多个无人机可以通过协作的方式,为移动终端设备提供更广泛的覆盖范围,以及更灵活的任务卸载方案。文献 8 构建了一个多无人机辅助移动边缘计算系统,多个无人机充当 MEC 节点,向放置在地面上的物联网终端节点提供扩展的计算能力;文献 9 基于多无人机辅助的 MEC 网络模型,提出了双重协同任务卸载机制,充分考虑无人机之间的连通性,有效地进行两级卸载。文献10 提出了一种基于感知与通信集成的计算分流节能策略,联合考虑卸载决策和动态计算资源分配;文献 11 研究了无人机结合无线能量传输技术为物联网终端设备提供能量供应,提出一种基于 Stackelberg 博弈的能量交易方案,解决
12、了充电用户与无人机之间自由公平的能量交易问题;文献12 针对基于雾计算的无人机系统电池和计算资源限制问题进行了研究,通过将计算任务卸载问题转化为双边匹配问题,基于迭代算法,最大限度提高无人机之间协同的效率;文献 13 综合考虑端到端卸载链路和地对空卸载链路,联合优化无人机轨迹、任务卸载率和通信资源分配,利用资源分配(Resource allocation,RA)算法和无人机轨迹选择(UAV trajectory selection,UTS)算法交替求解最优化问题。上述工作主要集中在离线决策,采用迭代和群集算法求解非凸性优化问题。然而,在高度动态的多无人机环境中,任务的随机分配使得优化问题更加复
13、杂且难以生成可行解。深度强化学习则可以有效解决复杂、动态和非凸性问题。文献 14 基于协作多智能体深度强化学习框架,利用双延迟深度确定性策略梯度算法,考虑高维连续动作空间,求解非凸性优化问题以获得最小执行延迟和能源消耗的策略;文献 15 和文献 16 通过考虑随时变的无人机信道强度和动态资源请求,分别利用 MADDPG、深度 Q网络(Deep Qnetwork,DQN)求解最优的资源分配及计算卸载策略;文献 17 将无人机计算卸载调度问题分解为两层子问题,并通过分层强化学习交替优化子问题,与传统优化算法和强化学习相比,有效提高了算法收敛效率;文献 18 提出了一种分布式的多智能体算法,并引入注
14、意力机制,进一步提升分布式无人机代理的性能;文献19 将优化问题表述为混合合作竞争博弈,为解决混合动作空间问题,将离散动作转化为连续动作,基 于 多 智 能 体 深 度 确 定 性 策 略 梯 度(Multiagent deep deterministic policy gradient,MADDPG)联合优化无人机轨迹及地面用户接入控制;文献 20 考虑多无人机辅助上行通信的场景,主要侧重于无人机与移动用户之间的协同;文献 2122 专注于用户级通信覆盖及通信服务的公平性,并通过设计无人机的轨迹来实现加权吞吐量最大化、能耗最小化。上述都利用深度强化学习来求解多无人机任务卸载的优化问题,然而在
15、高度动态的 MEC 环境下,多个无人机之间实现协作存在着一些挑战。上述文献忽略了每个无人机任务负载的公平性问题,如部分无人机覆盖范围内的任务计算量过大,导致出现过载情况;而部分无人机所包含区域内需要处理的任务计算量较小,计算和通信资源没有得到充分利用,这将导致多无人机之间无法实现公平、高效的协作。为了解决上述问题,在由用户设备、无人机构成的两层网络架构下,综合考虑无人机轨迹变化、计算资源分配和多无人机公平协作等因素,提出了一种基于多智能体深度强化学习框架,融合轨迹规划和任务卸载的分布式算法。该算法联合优化多无人机节点的卸载决策和资源分配,以实现高可靠和低时延的应急通信领域应用服务为目标。具体创
16、新点如下:(1)针对应急通信场景下多无人机任务卸载问题,构建了一个由多用户设备、多无人机组成的两层网络架构,并考虑计算任务双重卸载机制,进一步引入公平性指数作为评估无人机之间的任务负载公平性衡量指标。联合考虑无人机轨迹、计算资源分配以及多无人机协作任务分配,在满足任务最758第 5 期郭永安,等:边缘网络下多无人机协同计算和资源分配联合优化策略小延迟的前提下实现长期无人机最大公平负载和最小功率消耗。(2)针对多无人机协作环境动态变化的问题,提出了融合轨迹规划和任务卸载的分布式算法。该算法基于多智能体深度强化学习框架,通过多无人机之间的信息交互和协同学习,可在动态环境下自适应调整卸载方案,输出每
17、个无人机的最佳协作策略,实现分布式决策。(3)仿真结果表明,提出的无人机协作卸载方案可以有效均衡无人机负载并节省能耗,同时提高任务成功率。与其他卸载方案和决策算法相比,所提方案更适用于多无人机和多用户场景,且各项性能得到了有效提升。1 系统模型与问题建模构建的多无人机协作任务卸载模型如图 1 所示。该地区的基站因为自然灾害而无法使用,无人机作为移动的边缘服务器为地面用户设备提供临时计算服务。区域内部署有K个地面用户设备、M架无人机,其中每架无人机为其覆盖范围内的多个地面用户设备提供服务。无人机和地面用户设备分 别 用 集 合M=1,2,M,m M、K=1,2,K,k K表示。假设无人机的服务时
18、间为T,将T分割为L个长度为的时隙,时隙t的集合定义为t1,2,L。假设在每个时隙t内,地面用户设备k产生计算密集型任务Sk(t)=Dk(t),Ck(t),其中Dk(t)表示地面用户设备产生的任务数据量,Ck(t)表示执行此任务所需的 CPU 周期总数。考虑到地面用户设备计算能力有限无法进行本地计算,需要将所有任务卸载至无人机。无人机受尺寸、质量、功率等因素的限制,只能提供有限的计算和通信资源,计算任务由多架无人机协同处理。考虑了任务卸载的两个阶段:(1)地对空卸载,即从地面用户设备卸载到目标无人机,包括地对空传输和目标无人机的计算;(2)空对空卸载,即目标无人机卸载到其他协作无人机,包括空对
19、空传输和各协作无人机间的计算。1.1无人机移动模型无人机的轨迹需要规划以节省能量并避免碰撞,因此假设部署每架无人机是为了在一个相应的子区域内为地面用户设备提供服务,并且每个子区域之间没有重叠。假设所有无人机的飞行高度固定为H,在时隙t时,无 人 机m的 水 平 坐 标 为Lm(t)=xm(t),ym(t),假 设 无 人 机m飞 行 的 角 度 为m(t)0,2,飞行的距离为lm(t)=m(t),则下一个时隙的 X和 Y坐标分别为xm(t+1)=xm(t)+lm(t)cos m(t)(1)ym(t+1)=ym(t)+lm(t)sin m(t)(2)地 面 用 户 设 备k的 坐 标 设 置 为
20、Lk(t)=xk(t),yk(t),无人机m与地面用户设备k之间直线距离定义为dm,k(t),则有dm,k(t)=Lm(t)-Lk(t)2+H2(3)在每个时隙内,无人机的飞行角度和速度保持不变,无人机m的位置相对地面用户设备k近似不变。此外,为了保证无人机在服务区域内移动,必须满足移动约束,即0 xm(t)Xmax(4)0 ym(t)Ymax(5)式中:Xmax和Ymax分别为无人机服务区域的长度和宽度。无人机的水平覆盖半径为R,如果地面用户设备位于某个无人机的覆盖范围内,这些设备将由同一架无人机提供服务。任意两架无人机m、j之间的距离表示为dm,j(t),为了保证两者服务范围不相互重叠,必
21、须满足以下重叠约束dm,j(t)2R(6)为了避免任意两架无人机发生碰撞,无人机之间的距离应该不小于安全距离dmin。1.2协作传输模型设计了两阶段协同计算卸载架构,如图 2 所示,即地面用户设备卸载到目标无人机和无人机之间协同卸载,接下来将对两阶段中任务卸载的时延和能耗模型进行分析。(1)当目标无人机m接收到地面用户设备产生 的 计 算 任 务 时,二 进 制 变 量k,m(t)=1,否 则k,m(t)=0,且每个地面用户设备k在时隙t内最多图 1 多无人机协同系统模型Fig.1Multi-UAV collaborative system model759第 55 卷南 京 航 空 航 天
22、大 学 学 报与一个目标无人机进行传输。m Mk,m(t)1(7)设目标无人机m在时隙t处服务的地面用户设备集合为Nm(t)=1,2,Nm(t),地面用户数量为Nm(t)=k Nk,m(t)(8)系统中的地面用户设备将任务卸载到目标无人机采用正交频分复用方案,并采用视距(Line of sight,LoS)链路进行通信,不考虑诸如阴影或小尺度衰落等其他信道损害。路径损耗14为(t)=g|dm,k(t)2(9)式中:g表示参考距离为 1 m 的功率增益。从地面用户设备k到目标无人机m的上行传输速率为Rupk,m(t)=BNm(t)log2 1+(t)Pkm2(10)式中:Pk为地面用户设备的发射
23、功率,m2为每架无人机处的加性白高斯噪声功率。在任务卸载过程中,无人机带宽B被平均分配给服务的每个地面用户设备。则地面用户设备k的任务上行传输时间Tupk,m(t)为Tupk,m(t)=Dk(t)Rupk,m(t)(11)那么,目标无人机m的接收能耗为Eupk,m(t)=PrmTupk,m(t)=Dk(t)PrmRk,m(t)(12)式中Prm为目标无人机m的接收功率。(2)目标无人机m在接受到地面用户设备卸载任务后,会将任务分为独立的M份,在自己执行计算任务的同时,将M-1份任务发送给其余协作无人机协同计算,在时隙t目标无人机m承载的地面用户设备k产生的任务比例为k,m(t)0,1,协作无人
24、机j所承担的任务比例为m,j(t)0,1,则有k,m(t)+j M,m jm,j(t)=1 m M(13)目标无人机m和协作无人机j之间的路径损耗参考文献 23,即m,j(t)=(t)+LoS(14)式中:LoS为添加到 LoS 链路自由空间传播模型中的附加衰减因子,(t)根据自由空间路径损失模型24得出(t)=20 lg dm,j(t)+20 lg fc-147.55(15)式中fc为系统载波频率。目标无人机m对协作无人机j之间的信道增益为G=10-Lm,j10(16)记Ptm为目标无人机的发送功率,那么目标无人机m向协作无人机j传输数据的速度为Rm,j(t)=BM-1log2 1+Ptm(
25、t)Gm2(17)其中目标无人机m将带宽平均分配给其余协作无人机。注意,目标无人机的带宽正交分为两部分:(1)与用户设备数据传输的带宽;(2)与协作无人机之间数据传输带宽。因此,两阶段卸载的数据传输之间没有干扰。从目标无人机m到协作无人机j的传输时间和能耗分别为Ttranm,j(t)=m,j(t)Dk(t)Rm,j(t)(18)Etranm(t)=j M,m jPtmTtranm,j(t)(19)1.3协作计算模型从地面用户设备k处接收到任务后,目标无人机m决定自身和协作无人机计算多少任务。(1)考虑任务比例k,m(t),目标无人机m处的计算延迟为Tcompk,m(t)=k,m(t)Ck(t)
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 边缘 网络 无人机 协同 计算 资源 分配 联合 优化 策略
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。