基于两阶段意图共享的多智能体强化学习方法.pdf
《基于两阶段意图共享的多智能体强化学习方法.pdf》由会员分享,可在线阅读,更多相关《基于两阶段意图共享的多智能体强化学习方法.pdf(18页珍藏版)》请在咨信网上搜索。
1、第4 6卷 第9期2 0 2 3年9月计 算 机 学 报CH I N E S E J OUR NA L O F C OMP UT E R SV o l.4 6 N o.9S e p.2 0 2 3 收稿日期:2 0 2 2-0 4-0 9;在 线发布日期:2 0 2 3-0 1-1 6.本课题得 到2 0 1 8年度 科技创新2 0 3 0“新一代 人 工 智 能”重 大 项 目(批 准 号:2 0 1 8 AAA 0 1 0 2 3 0 2)资助.吴俊锋,硕士研究生,主要研究领域为强化学习、多智能体系统和群体智能.E-m a i l:w j f s m a i l.n j u.e d u.c
2、 n.王 文,博士研究生,主要研究领域为强化学习、多智能体系统和群体智能.汪 亮(通信作者),博士,副教授,中国计算机学会(C C F)会员,主要研究领域为群体智能、群智软件、人工智能.E-m a i l:w l n j u.e d u.c n.陶先平,博士,教授,中国计算机学会(C C F)会员,主要研究领域为软件方法学、群体智能.胡 昊,博士,副教授,中国计算机学会(C C F)会员(1 0 7 4 0 M),主要研究领域为面向无人系统的区块链软件体系、边缘智能、群体博弈等.吴海军,硕士,高级工程师,中国计算机学会(C C F)会员,主要研究领域为多媒体信息处理、体系结构等.基于两阶段意图
3、共享的多智能体强化学习方法 吴俊锋1)王 文1)汪 亮1)陶先平1)胡 昊1)吴海军1),2)1)(南京大学计算机软件新技术国家重点实验室 南京 2 1 0 0 2 3)2)(南京大学计算机科学技术与软件工程实验教学中心 南京 2 1 0 0 2 3)摘 要 近年来,强化学习技术在连续决策问题上展现出了强大的能力,成为机器学习领域的一个重要分支.通过强化学习技术在多智能体系统下的发展和研究,多智能体强化学习技术有望成为群体智能行为涌现的关键技术手段,但在现阶段仍有诸多科学问题亟待解决.在多智能体强化学习领域,如何提高智能体在协作场景下的合作能力一直是一个热门研究话题.通信被认为是实现多智能体高
4、水平协作的重要元素,因此有不少研究尝试从通信的角度入手,让智能体通过交流来实现更好的协作.现有的大部分与通信有关的多智能体强化学习领域的工作关注于部分可观测问题,在这些工作中智能体通过通信信道共享了部分局部观测.最新的一些研究开始关注如何让智能体通过共享意图来实现更好的协作.然而,在不加限制的意图共享框架下,若智能体的最终行为与原先的意图不符,则可能会对其它智能体产生误导,此时引入通信反而产生了负作用.因此需要一个新的多智能体意图共享框架,在有效利用意图信息的同时避免出现智能体间的意图误导.针对上述问题,本文基于交流意图的思想,提出了一个新的多智能体强化学习意图通信框架2 S I S.在2 S
5、 I S框架下,智能体在决策前需要进行两次通信,第一次通信传播意图信息,第二次通信传播意图依赖关系.两次通信结束后每个智能体各自建立起意图依赖关系图,为了避免出现意图误导,对于意图依赖关系图上被依赖的智能体,2 S I S禁止其基于其它智能体的意图进行重新决策,其最终决策即为其初始意图,仅有不被依赖的智能体被允许基于意图信息重新决策.2 S I S可以与任意基于值函数的强化学习算法结合实现训练.在2 S I S框架下训练的智能体能够学会如何正确地建立意图依赖关系从而实现单向的意图传播,并且不存在意图误导问题.我们选用较具代表性的D o u b l e D QN 算法作为基算法,在两个多智能体场
6、景下验证了所提出方法的有效性.有效性实验结果表明,相比于无通信以及广播式通信意图方式训练的智能体,2 S I S 框架下训练的智能体在收敛速度以及最终累积奖赏上有明显提升.为了验证性能的提升来自于本文提出的方法,我们额外组织了消融实验,对方法的关键部分进行了控制变量,消融实验的结果说明2 S I S框架下训练的智能体能够正确选择依赖对象是性能提升的关键.最后我们组织了参数实验来说明本文引入的超参数会对训练过程产生怎样的影响以及如何为该参数选取一个合适的值.关键词 多智能体系统;深度强化学习;深度多智能体强化学习;通信;意图共享;协作中图法分类号T P 3 1 1 D O I号1 0.1 1 8
7、 9 7/S P.J.1 0 1 6.2 0 2 3.0 1 8 2 0M u l t i-A g e n t R e i n f o r c e m e n t L e a r n i n g w i t h T w o S t e p I n t e n t i o n S h a r i n gWU J u n-F e n g1)WANG W e n1)WANG L i a n g1)T AO X i a n-P i n g1)HU H a o1)WU H a i-J u n1),2)1)(S t a t e K e y L a b o r a t o r y f o r N o v e
8、 l S o f t w a r e T e c h n o l o g y,N a n j i n g U n i v e r s i t y,N a n j i n g 2 1 0 0 2 3)2)(N a t i o n a l E x p e r i m e n t a l T e a c h i n g D e m o n s t r a t i o n C e n t e r o f C o m p u t e r S c i e n c e T e c h n o l o g y a n d S o f t w a r e E n g i n e e r i n g,N a n
9、j i n g U n i v e r s i t y,N a n j i n g 2 1 0 0 2 3)A b s t r a c t I n r e c e n t y e a r s,r e i n f o r c e m e n t l e a r n i n g h a s d e m o n s t r a t e d i t s p o w e r i n c o n t i n u o u s d e c i-s i o n-m a k i n g p r o b l e m s a n d h a s b e c o m e a n i m p o r t a n t b
10、r a n c h o f m a c h i n e l e a r n i n g s t u d y.A s t h e d e-v e l o p m e n t o f r e i n f o r c e m e n t l e a r n i n g i n m u l t i-a g e n t s y s t e m s,m u l t i-a g e n t r e i n f o r c e m e n t l e a r n i n g i s e x p e c t e d t o b e c o m e a k e y t e c h n o l o g y f o
11、r t h e e m e r g e n c e o f s w a r m i n t e l l i g e n t b e h a v i o r,b u t t h e r e a r e s t i l l m a n y s c i e n t i f i c p r o b l e m s t o b e s o l v e d a t t h e p r e s e n t s t a g e.C o o p e r a t i o n p r o b l e m i s a p o p u l a r r e s e a r c h t o p i c i n t h e
12、f i e l d o f m u l t i-a g e n t r e i n f o r c e m e n t l e a r n i n g.C o mm u n i c a t i o n i s c o n-s i d e r e d a k e y e l e m e n t t o a c h i e v e h i g h-l e v e l c o o p e r a t i o n a m o n g m u l t i-a g e n t s.T h e r e f o r e,s o m e e x-i s t i n g a p p r o a c h e s t
13、 r y t o c o m b i n e c o mm u n i c a t i o n w i t h m u l t i a g e n t r e i n f o r c e m e n t l e a r n i n g,i n o r d e r t o a c h i e v e b e t t e r c o o p e r a t i o n a m o n g a g e n t s.M o s t o f t h e s e a p p r o a c h e s f o c u s o n p a r t i a l o b s e r v a-t i o n p
14、r o b l e m s.I n t h e s e a p p r o a c h e s,a g e n t s s h a r e t h e i r l o c a l o b s e r v a t i o n s w i t h o t h e r s t h r o u g h c o mm u n i c a t i o n c h a n n e l s.I n r e c e n t w o r k,r e s e a r c h e r s a t t e m p t t o l e t a g e n t s s h a r e i n t e n t i o n t
15、 o e n-h a n c e c o o p e r a t i o n a m o n g a g e n t s.H o w e v e r,u n d e r u n r e s t r i c t e d i n t e n t i o n s h a r i n g,i f t h e f i n a l a c-t i o n o f a n a g e n t i s d i f f e r e n t w i t h i t s o r i g i n a l i n t e n t i o n,i t m a y m i s l e a d o t h e r a g e
16、 n t s,w h i c h m a k e i n t e n t i o n s h a r i n g h a r m f u l t o t r a i n.T h e r e f o r e,a n e w m u l t i-a g e n t i n t e n t i o n s h a r i n g s c h e m e i s n e e-d e d t o a v o i d m i s l e a d i n g i n t e n t i o n s b e t w e e n a g e n t s w h i l e e f f e c t i v e l
17、 y u t i l i z i n g i n t e n t i o n i n f o r m a-t i o n.T o s o l v e t h i s p r o b l e m,t h i s p a p e r p r o p o s e s a m u l t i-a g e n t r e i n f o r c e m e n t l e a r n i n g i n t e n t i o n s h a r i n g s c h e m e2 S I S,b a s e d o n t h e i d e a o f i n t e n t i o n s h
18、a r i n g.U n d e r t h e 2 S I S s c h e m e,a n a g e n t n e e d s t o c o mm u n i c a t e t w i c e b e f o r e m a k i n g a d e c i s i o n.T h e f i r s t c o mm u n i c a t i o n b r o a d c a s t i n t e n-t i o n i n f o r m a t i o n,a n d t h e s e c o n d c o mm u n i c a t i o n b r o
19、 a d c a s t i n t e n t i o n d e p e n d e n c y r e l a t i o n s h i p.A f-t e r t h e t w o c o mm u n i c a t i o n s,e a c h a g e n t e s t a b l i s h e s t h e i n t e n t i o n d e p e n d e n c y g r a p h s e p a r a t e l y.I n o r d e r t o a v o i d i n t e n t i o n m i s l e a d i
20、n g,2 S I S p r o h i b i t s t h e a g e n t t h a t i s d e p e n d e n t o n o t h e r a g e n t s o n t h e i n t e n t i o n d e p e n d e n c y g r a p h f r o m r e-d e c i s i o n,a n d i t s f i n a l d e c i s i o n i s e x a c t l y t h e s a m e a s i t s i n i t i a l i n t e n t i o n.
21、O n l y t h e a g e n t t h a t i s n o t d e p e n d e n t o n a n y a g e n t i s a l l o w e d t o m a k e a n e w d e c i-s i o n b a s e d o n t h e i n t e n t i o n i n f o r m a t i o n f r o m o t h e r s.2 S I S c a n b e c o m b i n e d w i t h a n y v a l u e-b a s e d r e i n f o r c e
22、m e n t l e a r n i n g a l g o r i t h m t o p e r f o r m t r a i n i n g.A g e n t s t r a i n e d b y 2 S I S s c h e m e c a n l e a r n h o w t o c o r r e c t l y e s t a b l i s h i n t e n t i o n d e p e n d e n c i e s t o a c h i e v e o n e-s i d e i n t e n t i o n p r o p a g a t i o
23、n,a v o i-d i n g t h e p r o b l e m o f i n t e n t i o n m i s l e a d i n g.W e s e l e c t t h e r e p r e s e n t a t i v e D o u b l e D QN a l g o r i t h m a s t h e b a s i c a l g o r i t h m t o v e r i f y t h e e f f e c t i v e n e s s o f t h e p r o p o s e d m e t h o d i n t w o m
24、 u l t i-a g e n t s c e n a r i-o s.T h e e x p e r i m e n t a l r e s u l t s s h o w t h a t t h e a g e n t t r a i n e d b y 2 S I S s c h e m e p e r f o r m s b e t t e r i n c o n-v e r g e n c e s p e e d a n d f i n a l c u m u l a t i v e r e w a r d t h a n t h e a g e n t t r a i n e d
25、 w i t h o u t c o mm u n i c a t i o n a n d t h e a g e n t t r a i n e d w i t h u n r e s t r i c t e d i n t e n t i o n s h a r i n g.I n o r d e r t o d e m o n s t r a t e t h a t t h e p e r f o r m a n c e i m p r o v e m e n t c o m e s f r o m t h e m e t h o d p r o p o s e d i n t h i
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 阶段 意图 共享 智能 强化 学习方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。