附加特征图增强的图卷积神经网络.pdf
《附加特征图增强的图卷积神经网络.pdf》由会员分享,可在线阅读,更多相关《附加特征图增强的图卷积神经网络.pdf(19页珍藏版)》请在咨信网上搜索。
1、第4 6卷 第9期2 0 2 3年9月计 算 机 学 报CH I N E S E J OUR NA L O F C OMP UT E R SV o l.4 6 N o.9S e p.2 0 2 3 收稿日期:2 0 2 3-0 3-6;在线发布日期:2 0 2 3-0 3-1 3.本研究得到科技创新2 0 3 0-新一代人工智能重大项目:面向跨媒体内容管理的智能分析与推理(N o.2 0 1 8 A A A 0 1 0 2 0 0 0)、国家自然科学基金委员会:跨媒体理解与知识推理(N o.6 2 0 2 2 0 8 3)、国家自然科学基金委员会:数据和知识联合驱动的跨媒体语义理解与文本生成(
2、N o.6 2 2 3 6 0 0 8)、中国科学院计算技术研究所创新课题(E 1 6 1 0 6 0)、香港大学项目(1 0 4 0 0 5 8 5 8,1 0 4 0 0 5 9 9)、粤港澳联合实验室项目(2 0 2 0 B 1 2 1 2 0 3 0 0 0 9)、鹏城实验室重大攻关项目:脑眼融合的智能感知计算技术与平台(P C L 2 0 2 3 A S 6-1)等项目资助.孙隽姝,硕士研究生,主要研究领域为图表示学习、计算机视觉.E-m a i l:j u n s h u.s u n v i p l.i c t.a c.c n.王树徽(通信作者)博士,研究员,中国计算机学会(C C
3、 F)高级会员(2 2 4 8 2 S),主要研究领域为跨媒体分析推理与可信机器学习方法.E-m a i l:w a n g s h u h u i i c t.a c.c n.杨晨雪,博士,助理研究员,主要研究领域为机器学习、数据挖掘及应用.黄庆明,博士,教授,中国计算机学会(C C F)会士,主要研究领域为多媒体分析、计算机视觉、模式识别理论与方法.郑振刚,博士,教授,主要研究领域为大规模数据管理、知识库、社交网络、众包技术等.附加特征图增强的图卷积神经网络孙隽姝1),2)王树徽1),3)杨晨雪4)黄庆明1),2),3)郑振刚5),6)1)(中国科学院计算技术研究所智能信息处理实验室 北京
4、 1 0 0 1 9 0)2)(中国科学院大学计算机科学与技术学院 北京 1 0 0 0 4 9)3)(鹏城实验室 广东 深圳 5 1 8 0 5 5)4)(中国农业科学院农业信息研究所 北京 1 0 0 0 8 1)5)(香港大学计算机科学系 香港)6)(深圳大学粤港澳智慧城市联合实验室 广东 深圳 5 1 8 0 6 0)摘 要 近年来,图卷积网络(G r a p h C o n v o l u t i o n a l N e t w o r k,G C N)凭借其简单的网络结构、在图上任务中展现出的优异性能,受到了学术界和工业界的广泛关注.然而G C N也存在着在浅层时信息传播范围过小、
5、特征提取不充分的缺陷.针对这一问题,本研究提出附加特征图模型(A d d i t i o n a l F e a t u r e G r a p h,A F G).A F G通过引入图的节点结构特征(度特征),对度相同的节点随机增加连边、缩短信息传播距离.A F G并不是独立的图神经网络模型,而是作为一种附加技术与G C N及其相关模型配合使用.实验显示,在C o r a、C i t e s e e r、P u b m e d数据集上A F G能够对浅层主干模型实现显著性能增益,帮助主干模型性能超越了其他以提升模型特征提取能力、改善欠传播情况为目的进行设计的模型.本研究进一步分析了A F G与
6、D r o p E d g e 一种随机切断原始图连边的附加技术 的区别与联系,并通过实验证明附加特征图模型与D r o p E d g e模型共同使用的可行性,以及两者间存在一定的互补性.结合使用两种附加技术可以实现更大的节点分类准确度增益.关键词 图表示学习;图神经网络;信息传播;图卷积网络;节点分类中图法分类号T P 3 9 1 D O I号1 0.1 1 8 9 7/S P.J.1 0 1 6.2 0 2 3.0 1 9 0 0 G r a p h C o n v o l u t i o n a l N e u r a l N e t w o r k s w i t h A d d i
7、 t i o n a l F e a t u r e G r a p hS UN J u n-S h u1),2)WANG S h u-H u i1),3)YANG C h e n-X u e 4)HUANG Q i n g-M i n g 1),2),3)R e y n o l d C.K.C h e n g5),6)1)(K e y L a b o f I n t e l l i g e n t I n f o r m a t i o n P r o c e s s i n g(C A S),I n s t i t u t e o f C o m p u t i n g T e c h n
8、 o l o g y,C h i n e s e A c a d e m y o f S c i e n c e s,B e i j i n g 1 0 0 1 9 0)2)(D e p a r t m e n t o f C o m p u t e r S c i e n c e a n d T e c h n o l o g y,U n i v e r s i t y o f C h i n e s e A c a d e m y o f S c i e n c e s,B e i j i n g 1 0 0 0 4 9)3)(P e n g c h e n g L a b o r a t
9、 o r y,S h e n z h e n,G u a n g d o n g 5 1 8 0 5 5)4)(A g r i c u l t u r e I n f o r m a t i o n I n s t i t u t e o f C h i n e s e A c a d e m y o f A g r i c u l t u r e S c i e n c e s,B e i j i n g 1 0 0 0 8 1)5)(D e p a r t m e n t o f C o m p u t e r S c i e n c e,T h e U n i v e r s i t y
10、 o f H o n g K o n g,H o n g K o n g)6)(G u a n g d o n g-H o n g K o n g-M a c a u J o i n t L a b o r a t o r y,S h e n z h e n U n i v e r s i t y,S h e n z h e n,G u a n g d o n g 5 1 8 0 6 0)A b s t r a c t G r a p h s t r u c t u r e s a r e s u i t a b l e f o r t h e m o d e l i n g o f c o
11、m p l e x i n t e r a c t i o n s a n d r e l a t i o n s.T h e r e f o r e,g r a p h s a r e w i d e l y u s e d i n d a t a r e p r e s e n t a t i o n s u c h a s m o l e c u l e s,c h e m i c a l c o m-p o u n d s,c i t a t i o n n e t w o r k s,s o c i a l n e t w o r k s,t r a f f i c w e b,a
12、n d k n o w l e d g e g r a p h s.I n l i g h t o f t h e g r e a t s u c c e s s o f n e u r a l n e t w o r k s i n i m a g e u n d e r s t a n d i n g a n d n a t u r a l l a n g u a g e p r o c e s s i n g,t h e r e h a s b e e n a r i s i n g i n t e r e s t i n G r a p h N e u r a l N e t w o
13、r k s(GNN)f o r t h e s t u d y o f l e a r n i n g o n g r a p h s.Am o n g t h e p o p u l a r GNN s,G r a p h C o n v o l u t i o n a l N e t w o r k s(G C N),h i g h l i g h t e d f o r t h e i r s i m p l e n e t w o r k s t r u c t u r e s a n d e x c e l l e n t p e r f o r m a n c e w i t h
14、g r a p h s,h a v e a t t r a c t e d w i d e a t t e n t i o n a n d b e-c o m e a p r o m i s i n g d i r e c t i o n.H o w e v e r,t h e l i m i t a t i o n o n m e s s a g e p a s s i n g d i s t a n c e d e t e r i o r a t e s t h e p e r f o r m a n c e o f G C N.T o a d d r e s s t h i s p r
15、o b l e m,p e o p l e p r o p o s e c o n s t r u c t i n g d e e p G C N m o d e l s t o i m p r o v e p r o p a g a t i o n.H o w e v e r,a s t h e d e p t h o f G C N i n c r e a s e s,n o d e f e a t u r e s b e c o m e o v e r-s m o o t h e d o r o v e r-s q u a s h e d.T h i s l e a d s t o a
16、s h a r p d e c r e a s e i n t h e m o d e l p e r f o r m a n c e.T h o u g h d i f f e r e n t d e e p G C N m o d e l s h a v e b e e n p r o p o s e d t o t a c k l e t h e o v e r-s m o o t h i n g o r o v e r-s q u a s h i n g p r o b l e m,t h e i n h e r e n t p r o b l e m s o f t h e m e
17、s s a g e p a s s i n g m e c h a n i s m a r e l e s s e x p l o r e d.T h e p r o b-l e m s o f m e s s a g e p a s s i n g i n G C N i n c l u d e:1)h a v i n g u n r e l i a b l e p a t h s i n t h e o r i g i n a l i n p u t g r a p h s w h i c h p a s s i n f o r m a t i o n w i t h l o w s i
18、g n a l-t o-n o i s e r a t i o s,2)r e a c h i n g l i m i t e d m e s s a g e p a s s i n g e x-t e n t w h i c h g i v e s r i s e t o t h e l e s s e x p r e s s i v e f e a t u r e r e p r e s e n t a t i o n,a n d 3)l a c k i n g e x p l i c i t l e a r n i n g f a s h i o n o n s t r u c t u
19、r a l f e a t u r e s.T o t h i s e n d,s o m e p e o p l e s e e k t o d i r e c t l y i m p r o v e t h e m e s s a g e p a s s i n g i n s h a l l o w G C N c o n c e r n i n g t h e l i m i t a t i o n i n r o b u s t n e s s,m e s s a g e p a s s i n g e x t e n t,o r f e a-t u r e d i v e r s
20、i t y.B u t a l l t h e s e s t u d i e s f a i l t o t a c k l e t h r e e p r o b l e m s i n a s i n g l e m o d e l.I n t h i s p a p e r,w e p r o p o s e a n o v e l m o d e l n a m e d A F G(A d d i t i o n a l F e a t u r e G r a p h),t o i m p r o v e t h e m e s s a g e p a s s-i n g o v e
21、 r r o b u s t n e s s,m e s s a g e p a s s i n g e x t e n t,a n d f e a t u r e d i v e r s i t y.S p e c i f i c a l l y,A F G c a n i n j e c t t h e s t r u c t u r a l f e a t u r e s o f t h e i n p u t g r a p h i n t o t h e m e s s a g e p a s s i n g p r o c e s s a n d r a n d o m l y a
22、 d d e d-g e s b e t w e e n n o d e p a i r s t h a t h a v e t h e s a m e d e g r e e.T h e d e g r e e f e a t u r e r e p r e s e n t s t h e f i r s t-o r d e r t o p o l o g i c a l s t r u c t u r e o f i n d i v i d u a l n o d e s.C o n n e c t i n g n o d e s w i t h t h e s a m e d e g r
23、 e e a l l o w e x p l i c i t l e a r n i n g o n s t r u c t u r a l f e a t u r e s.A s a l i g h t w e i g h t a n d g e n e r a l t e c h n i q u e,o u r A F G m o d e l c a n b e e a s i l y p l u g g e d i n t o G C N a n d i t s r e l a t e d m o d e l s,b r i n g i n g e x t r a i m p r o v
24、 e m e n t s.E x p e r i m e n t a l r e-s u l t s o n t h r e e d a t a s e t s d e m o n s t r a t e t h e e f f i c i e n c y o f A F G.A F G-a i d e d m o d e l s o u t p e r f o r m s h a l l o w b a c k b o n e s a n d r e l a t e d G C N-b a s e d m o d e l s o n C o r a,C i t e s e e r,a n d
25、 P u b m e d.A F G a c h i e v e s 0.6 9%a v e r a g e d i m p r o v e m e n t o n 2-l a y e r m o d e l s,0.5 7%o n 4-l a y e r m o d e l s,1.1 8%o n 6-l a y e r m o d e l s,a n d 0.9 9%o n 8-l a y e r m o d e l s.T h e i m p r o v e m e n t s a r e p r o v e n t o b e s i g n i f i c a n t w i t h
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 附加 特征 增强 图卷 神经网络
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。