基于强化学习的异构网络垂直切换方法.pdf
《基于强化学习的异构网络垂直切换方法.pdf》由会员分享,可在线阅读,更多相关《基于强化学习的异构网络垂直切换方法.pdf(9页珍藏版)》请在咨信网上搜索。
1、第2卷第3期2 0 2 3年5月信 息 对 抗 技 术I n f o r m a t i o n C o u n t e r m e a s u r e T e c h n o l o g yV o l.2 N o.3M a y 2 0 2 3引用格式:丁雨,李晨凯,卢为党,等.基于强化学习的异构网络垂直切换方法J.信息对抗技术,2 0 2 3,2(3):3 5-4 3.D I NG Y u,L I C h e n k a i,L U W e i d a n g,e t a l.V e r t i c a l h a n d o v e r f o r h e t e r o g e n e
2、o u s n e t w o r k s b a s e d o n d e e p r e i n f o r c e m e n t l e a r n i n gJ.I n f o r m a t i o n C o u n t e r-m e a s u r e T e c h n o l o g y,2 0 2 3,2(3):3 5-4 3.(i n C h i n e s e)基于强化学习的异构网络垂直切换方法丁 雨1,李晨凯1,卢为党1*,张清清1,任元红2,高 原3(1.浙江工业大学信息工程学院,浙江杭州 3 1 0 0 2 3;2.北方自动控制技术研究所,山西太原 0 3
3、0 0 0 6;3.中国人民解放军军事科学院,北京 1 0 0 0 9 1)摘 要 网络切换技术不仅可以保证用户的网络连接,同时能够以较强的信号传输网络数据。网络切换技术的性能对网络服务质量(q u a l i t y o f s e r v i c e,Q o S)的影响至关重要。然而,现有的切换算法多数存在严重的乒乓效应,这不仅造成网络资源的严重浪费,还会损害用户的Q o S。为此,提出了一种基于强化学习的异构网络垂直切换方案,主要从触发切换、网络选择及判决切换等方面进行优化。在触发切换时将垂直切换考虑成必要切换和择优切换,通过Q-L e a r n i n g(Q L)算法在选择网络时优
4、化垂直切换;然后以Q o S为条件,在判决切换时加入驻留定时器,从多角度减少用户切换次数,降低乒乓效应对异构网络垂直切换的影响。仿真结果表明,基于强化学习的异构网络垂直切换方法可以在保证Q o S的条件下有效减少用户切换网络的次数,短时间内频繁切换的情况也有所改善,降低了乒乓效应的影响。关键词 垂直切换;网络选择;判决切换;服务质量;异构网络中图分类号 TN 9 2 5 文章编号 2 0 9 7-1 6 3 X(2 0 2 3)0 3-0 0 3 5-0 9文献标志码 A D O I 1 0.1 2 3 9 9/j.i s s n.2 0 9 7-1 6 3 x.2 0 2 3.0 3.0 0
5、 3V e r t i c a l h a n d o v e r f o r h e t e r oge n e o u s n e t w o r k s b a s e d o n d e ep r e i n f o r c e m e n t l e a r n i ngD I N G Y u1,L I C h e n k a i1,L U W e i d a n g1*,Z HA N G Q i n g q i n g1,R E N Y u a n h o n g2,G A O Y u a n3(1.C o l l e g e o f I n f o r m a t i o n E
6、 n g i n e e r i n g,Z h e j i a n g U n i v e r s i t y o f T e c h n o l o g y,H a n g z h o u 3 1 0 0 2 3,C h i n a;2.N o r t h A u t o m a t i c C o n t r o l T e c h n o l o g y I n s t i t u t e,T a i y u a n 0 3 0 0 0 6,C h i n a;3.A c a d e m y o f M i l i t a r y S c i e n c e s o f t h e P
7、 L A,B e i j i n g 1 0 0 0 9 1,C h i n a)A b s t r a c t N e t w o r k h a n d o v e r t e c h n o l o g y c a n n o t o n l y e n s u r e t h e n e t w o r k c o n n e c t i o n o f u s e r s,b u t a l s o t r a n s m i t n e t w o r k d a t a w i t h s t r o n g s i g n a l s.T h e p e r f o r m a
8、 n c e o f n e t w o r k h a n d o v e r h a s a c r i t i c a l i m p a c t o n t h e q u a l i t y o f s e r v i c e(Q o S).H o w e v e r,m o s t o f t h e e x i s t i n g h a n d o v e r a l g o r i t h m s h a v e s e r i o u s p i n g-p o n g e f f e c t,w h i c h m a y c a u s e a w a s t e o
9、f n e t w o r k r e s o u r c e s a n d d a m a g e t h e Q o S.T h e r e f o r e,a v e r t i c a l h a n d o v e r s c h e m e f o r h e t e r o g e n e o u s n e t w o r k s b a s e d o n r e i n f o r c e m e n t l e a r n i n g w a s p r o p o s e d,w h i c h w a s m a i n l y o p t i m i z e d
10、f r o m t h e a s p e c t s o f t r i g g e-r i n g h a n d o f f,n e t w o r k s e l e c t i o n a n d d e c i s i o n h a n d o v e r.S p e c i f i c a l l y,t h e n e c e s s a r y a n d t h e p r e f e r r e d h a n d o v e r w e r e c o n s i d e r e d f o r t h e v e r t i c a l h a n d o v e
11、r w h e n t h e h a n d o v e r w a s t r i g-g e r e d.T h e n,t h e v e r t i c a l h a n d o v e r w a s o p t i m i z e d w h e n t h e n e t w o r k t h r o u g h Q-L e a r n i n g(Q L)w a s s e l e c t e d.B a s e d o n Q o S,t h e r e s i d e n t t i m e r w a s a l s o a d d e d w h e n d e
12、c i-收稿日期:2 0 2 3-0 3-1 1 修回日期:2 0 2 3-0 4-1 0通信作者:卢为党,E-m a i l:l u w e i d z j u t.e d u.c n基金项目:国家自然科学基金资助项目(6 2 2 7 1 4 4 7,6 1 8 7 1 3 4 8)信 息 对 抗 技 术2 0 2 3年d i n g t h e h a n d o v e r t o r e d u c e t h e n u m b e r o f u s e r h a n d o v e r f r o m m u l t i p l e a n g l e s a n d r e
13、d u c e d t h e i m p a c t o f p i n g-p o n g e f f e c t o n t h e p r o p o s e d v e r t i c a l h a n d o v e r o f h e t e r o g e n e o u s n e t w o r k s.S i m u l a t i o n r e s u l t s h a v e s h o w n t h a t t h e p r o p o s e d v e r t i c a l h a n d o v e r s c h e m e f o r h e
14、t e r o g e n e o u s n e t w o r k s c o u l d e f f e c t i v e l y r e d u c e t h e n u m b e r o f t i m e s f o r h a n d o v e r,i m p r o v e t h e s i t u a t i o n o f f r e q u e n t h a n d o v e r i n a s h o r t t i m e,a n d r e d u c e t h e i m p a c t o f t h e p i n g-p o n g e f
15、f e c t w h i l e e n s u-r i n g t h e q u a l i t y o f s e r v i c e.K e y w o r d s v e r t i c a l h a n d o v e r;n e t w o r k s e l e c t i o n;d e c i s i o n h a n d o v e r;Q o S;h e t e r o g e n e o u s n e t w o r k 0 引言无线接入为传统无线通信网络带来了蓬勃发展的机会,出现具有不同特性的网络,用来服务于特定的应用场景1。用户对于无线通信网络的服务质量(
16、q u a l i t y o f s e r v i c e,Q o S)有个性化和多样化的需求,这对目前仅提供有限服务的单一无线网络产生了较大挑战2-3。异构网络由多种类型的网络系统组成,在异构网络中,各种通信技术互相融合、补充和促进,因而在提供更多网络连接的同时,有效满足多样化的Q o S4-6。然而在一些特殊场景,例如山区、地震及洪水发生地周围,由于铺设固定基站难度大、成本高,因此需要采取更加灵活、操控简单的方法来提供网络服务。移动式无人机可以作为网络基站载体,具有快速部署的优势,能够在这些特殊场景下提供网络连接7-1 0。文献8 指出无人机具有视距传输效率高以及高度等可控的优势,为无
17、线网络展现新的设计自由度,在其研究中考虑了信道状态信息的过时性,探讨了无人机通信异构网络的切换问题。文献9 指出无人机网络融入异构网络中为未来天地一体化通信提供了重要研究方向。文献1 0 引入平均服务成功概率来衡量无人机通信异构网络传输性能。在异构网络中,多种类型网络并存,用户有较大可能处于同时被多种类型网络覆盖且可使用的情况1 1。用户可能因为移动而需要切换网络,也有可能期望获得更好的Q o S或更低成本等目的而切换网络1 2-1 3。网络切换中不同网络之间的切换为垂直切换1 4-1 8。文献1 5 提出了一种改善用户体验质量的垂直切换算法来解决由异构网络的超高动态性引起掉话率增长的问题。文
18、献1 6 提出了一种考虑负载均衡和用户体验的垂直切换算法来为服务用户选出当前状态满意度最高的目标网络,从而有效缓解网络拥塞。文献1 7 通过提出的基于信道预留以及剩余带宽的切换网络方法实现网络接入概率的目的,提出了一种基于网络剩余带宽和信道预留的切换策略,其仿真结果表明该切换网络的策略无论是对于实时的还是非实时的业务,网络接入概率都可以获得提升。文献1 8 指出用户对网络的偏好和对网络性能的需求日益增长,提出根据用户对网络的偏好和对网络性能需求的异构网络切换方法,其可以为用户在众多不同网络中切换并连接到适合它的网络。在异构网络切换判决中,如果所用切换判决机制对网络环境的微小变化太过敏感,容易导
19、致乒乓效应。乒乓效应是指在网络中,2个或多个通信节点之间的信息传输在较短时间内来回反弹,形成一种来回的“乒乓”现象。这样的过程会占用大量的网络带宽和处理能力,导致网络拥塞和性能下降,同时也会导致网络中出现过多的控制信息、传输延迟增加、带宽利用率低下等问题,从而降低用户的Q o S体验,浪费网络资源。多数研究为减少乒乓效应的影响,在目标网络已确定的情况下判决是否继续切换以及切换时间,从而达到异构网络切换的无缝连接1 9-2 0。文献1 9 使用层次分析法来确定标准权重大小,通过多属性对网络进行决策。文献2 0 根据移动用户状态,动态调整驻留定时器时间长短来避免不必要的切换网络动作。强化学习通过与
20、环境交互学习来实现最大化回报的目标,广泛应用工业控制、无线通信、智慧交通以及智慧医疗等各方面,在网络切换中受到极大关注2 1。文献2 1 在选择网络时采用强化学习方法,基于性价比和博弈论的价格策论,通过神经网络学习和探寻满足纳什均衡条件的策略来确定选择网络。目前的研究大多仅考虑信号接收强度为触63第3期丁 雨,等:基于强化学习的异构网络垂直切换方法 发切换和判决切换的标准,并只在判决切换方面进行优化,忽略了Q o S对切换网络的作用和影响。此外,乒乓效应也可能导致严重后果。为此,本文提出一种基于强化学习的异构网络垂直切换方案,主要从触发切换、网络选择及判决切换等方面进行优化。1 系统模型考虑一
21、个如图1所示的异构网络切换系统模型,其中包括W i-F i、5 G无人机网络、5 G C P E网络以及多个移动的地面用户。5 G C P E网络由其中一个地面用户携带,而5 G无人机网络和W i-F i同时搭载在无人机身上。在该异构网络切换系统中,M个用户由于N种类型的业务请求需与网络连接通信。图1 异构网络切换系统F i g.1 H e t e r o g e n e o u s n e t w o r k h a n d o v e r s y s t e m在该异构网络切换系统中,用户由于移动,其位置不断变化。用户在初始时随机分布在异构网络切换系统的阴影部分内,随后用户将随机发生移动,
22、他们可能会频繁跨越网络边界,导致触发垂直切换。地面用户由于N种类型业务请求需连接网络。假设用户当前被r(r3)个网络覆盖,当用户需要请求网络服务时,它可以从这r个网络中选择一个进行连接,来享受该网络提供的服务。由于用户处于移动的状态,当用户位置发生变化,使其不再被原来服务的网络所覆盖或是其追求更好的Q o S时,此时用户可以进行异构网络的垂直切换,与当前网络断开连接,与覆盖它的其他网络连接通信。在此异构网络切换系统中,用户同一时间不被允许与多个网络进行连接,只能与某一个网络连接。同时,考虑这3个网络的负载上限TT L1,TT L2,TT L3 ,当某一网络已经接入的用户数量达到负载上限时,表示
23、该网络无法再接受新的连接请求。此时,用户只能尝试连接其他网络。2 异构网络垂直切换算法在基于强化学习的异构网络垂直切换算法中,分别从触发切换、选择网络和判决切换进行优化,从多角度减少用户切换次数,减少乒乓效应对提出异构网络的垂直切换影响。2.1 触发切换用户在移动过程中触发切换大致有以下原因:由于用户移动导致网络覆盖问题;网络在均衡负载时而使得用户切换网络;当用户期望获得更好的Q o S,如期望更低能耗、更低资费等。为了使用户在接受网络服务时减少非必要切换的次数,将切换分成择优切换和必要切换。其中,择优切换表示此时正在连接的网络服务稳定,但用户由于自身原因为了实现更好的Q o S而切换网络,其
24、条件描述为:此时正在连接的网络供应的Q o S不是该用户所有可以接入网络的最佳Q o S。必要切换表示此时正在连接的网络无法继续使用,用户为了保持正常的网络通信与数据传输而切换网络,其条件描述为:此时连接的网 络 接 收 信 号 强 度R S S无 法 达 到 最 小 门限值。触发必要切换时,R S S表示为:RR S Sd B =Gr+Gt+Pt-Ls h a d o w-L(1)式中,Gr和Gt分别是基站发射和用户接收的传播增益,Pt是基站发射功率,Ls h a d o w和L分别是阴影衰弱和路径损耗。W i-F i的路径损耗表示为:Ld B =2 0 l g f+2 6 l g d+4
25、2.6(2)式中,f和d分别为传输频率(MH z)和基站与用户的距离(k m)。5 G C P E和5 G无 人 机 网 络 的 路 径 损 耗 表示为:Ld B =3 3.9 l g f+4 4.9-6.5 5 l g hB l g d +4 6.3+Cm-1 3.8 2 l g hB-ahR,f (3)73 信 息 对 抗 技 术2 0 2 3年ahR,f =hR1.1 l g f-0.7 -1.5 6 l g f-0.8 (4)式中,hB和hR分别为基站和移动台的有效天线高度(m),Cm为恒定偏移量:Cm=3 d B,大都市0 d B,郊区及中等城市 (5)为了使得网络可以达到基础的连接
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 强化 学习 网络 垂直 切换 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。