基于对抗生成网络的时序脑功能网络预测方法.pdf
《基于对抗生成网络的时序脑功能网络预测方法.pdf》由会员分享,可在线阅读,更多相关《基于对抗生成网络的时序脑功能网络预测方法.pdf(8页珍藏版)》请在咨信网上搜索。
1、第5 4卷 第5期2 0 2 3年9月 太原理工大学学报J OUR NA L O F T A I YUAN UN I V E R S I T Y O F T E CHNO L OG Y V o l.5 4 N o.5 S e p.2 0 2 3 引文格式:王子健,薛家玥,杨鹏飞,等.基于对抗生成网络的时序脑功能网络预测方法J.太原理工大学学报,2 0 2 3,5 4(5):8 3 0-8 3 7.WAN G Z i j i a n,XU E J i a y u e,YANG P e n g f e i,e t a l.A m e t h o d o f l i n k p r e d i c
2、t i o n o f s e q u e n t i a l f u n c t i o n a l b r a i n n e t-w o r k s b a s e d o n g e n e r a t i v e a d v e r s a r i a l n e t w o r kJ.J o u r n a l o f T a i y u a n U n i v e r s i t y o f T e c h n o l o g y,2 0 2 3,5 4(5):8 3 0-8 3 7.收稿日期:2 0 2 1-1 2-1 4;修回日期:2 0 2 2-0 2-2 5 基金项目:国
3、家自然科学基金资助项目(6 2 1 7 6 1 7 7,6 1 8 7 3 1 7 8,6 1 8 7 6 1 2 4,6 1 9 0 6 1 3 0);山西省国际科技合作项目(2 0 1 8 0 3 D 4 2 1 0 4 7)第一作者:王子健(1 9 9 5-),硕士研究生,(E-m a i l)w a n g z i j i a n 1 8 8 61 2 6.c o m 通信作者:相洁(1 9 7 0-),博士,教授,主要从事大数据管理与分析、脑科学与智能计算、计算机网络与信息安全研究,(E-m a i l)x i a n g j i e t y u t.e d u.c n基于对抗生成网
4、络的时序脑功能网络预测方法王子健,薛家玥,杨鹏飞,李艺茹,相 洁(太原理工大学 信息与计算机学院,山西 晋中 0 3 0 6 0 0)摘 要:【目的】通过实现脑功能网络的预测,为研究脑功能网络的变化演化规律提供参考。【方法】建立基于对抗生成网络的时序脑功能网络的链路预测模型,通过图卷积和长短期记忆网络分别捕捉脑功能网络的拓扑特征和时序特征,通过全连接层进行特征融合,实现脑功能网络的预测。【结果】所提出的脑功能网络预测方法在两种不同的静息状态功能性磁共振成像数据上,预测AU C为0.9 5,MA P为0.9 2,与其他的链路预测模型相比较,该方法在脑功能网络上可以达到较好的预测效果。对脑功能网络
5、的准确预测,在脑网络解码和脑机接口领域具有广泛的应用前景。关键词:对抗生成网络;时序链路预测;图卷积;功能磁共振中图分类号:T P 3 9 1;T P 3 9 3 文献标识码:AD O I:1 0.1 6 3 5 5/j.t y u t.1 0 0 7-9 4 3 2.2 0 2 3.0 5.0 1 0 文章编号:1 0 0 7-9 4 3 2(2 0 2 3)0 5-0 8 3 0-0 8A M e t h o d o f L i n k P r e d i c t i o n o f S e q u e n t i a l F u n c t i o n a l B r a i n N e
6、 t w o r k s B a s e d o n G e n e r a t i v e A d v e r s a r i a l N e t w o r kWA N G Z i j i a n,X U E J i a y u e,Y A N G P e n g f e i,L I Y i r u,X I A N G J i e(C o l l e g e o f I n f o r m a t i o n a n d C o mp u t e r,T a i y u a n U n i v e r s i t y o f T e c h n o l o g y,J i n z h o
7、n g 0 3 0 6 0 0,C h i n a)A b s t r a c t:【P u r p o s e s】F o r t h e p u r p o s e o f p r e d i c t i n g t h e f u n c t i o n a l b r a i n n e t w o r k a n d p r o v i d i n g r e f e r e n c e f o r s t u d y i n g t h e e v o l u t i o n p a t t e r n s o f f u n c t i o n a l b r a i n n e
8、 t w o r k,a m o d e l o f s e q u e n t i a l b r a i n f u n c t i o n n e t w o r k b a s e d o n G e n e r a t i v e A d v e r s a r i a l N e t w o r k s h a s b e e n b u i l t.【M e t h o d s】T h e t o p o l o g i c a l a n d t e m p o r a l c h a r a c t e r i s t i c s o f b r a i n f u n c
9、t i o n n e t w o r k a r e c a p t u r e d t h r o u g h G r a p h C o n v o l u t i o n a l N e t w o r k a n d l o n g-t e r m a n d s h o r t-t e r m m e m o r y n e t w o r k s e p a r a t e l y,a n d t h r o u g h f e a t u r e f u s i o n i n t h e w h o l e c o n n e c t i o n l a y e r t o
10、r e a l i z e t h e p r e d i c t i o n o f f u n c t i o n a l b r a i n n e t w o r k.【F i n d i n g s】T h e a c c u r a c y o f n e t w o r k p r e d i c t i o n w i t h AU C a n d MA P i n d i c a t o r s h a s b e e n t e s t e d.T h e e x p e r i m e n t a l r e s u l t s s h o w t h a t t h e
11、 AU C a n d MA P o f t h e p r o p o s e d m e t h o d a r e 0.9 5 a n d 0.9 2,r e s p e c t i v e l y o n t w o d i f f e r e n t r e s t i n g s t a t e f MR I d a t a.C o m p a r e d w i t h o t h e r l i n k p r e d i c t i o n m o d e l s,t h i s m e t h o d c a n a c h i e v e b e t t e r p r
12、e d i c t i o n e f f e c t o n f u n c t i o n a l b r a i n n e t w o r k.T h e a c c u-r a t e p r e d i c t i o n o f b r a i n f u n c t i o n n e t w o r k o w n s a w i d e a p p l i c a t i o n p r o s p e c t i n t h e f i e l d o f b r a i n n e t w o r k d e c o d i n g a n d b r a i n c
13、o m p u t e r i n t e r f a c e.K e y w o r d s:g e n e r a t i v e a d v e r s a r i a l n e t w o r k;s e q u e n t i a l l i n k p r e d i c t i o n;g r a p h c o n v o l u t i o n a l n e t w o r k;f u n c t i o n a l m a g n e t i c r e s o n a n c e 人脑具有网络特性1,它可以理解为大脑中不同区域相互通信,协同处理各种类型信息的复杂网络。
14、脑功能网络近年来被广泛应用于分析大脑活动,它能够展示出大脑皮层区域之间的相互作用,特别是人脑的演化过程、刺激反应和认知状态。功能性磁共振成像数据因其具有较高的时间和空间分辨率并能够反映出潜在的功能性脑网络结构,被认为是研究脑的重要工具。在提取一段时间的核磁信号可以得到当前被试的认知状态,这在脑机接口领域具有广泛的应用。脑功能网络与被试的认知状态和行为的关系十分紧密2,那能否通过当前的核磁信号来预测后续的认知状态,这具有挑战性。从当前已有的脑功能网络预测后续脑网络,实际上就是复杂网络领域中的链路预测。近年来,时序网络中的链路预测成为了动态网络的研究热点之一3,在社交网络朋友推荐、科研网络合作推荐
15、等方面发挥了重要作用。符汉杰等4在F a c e b o o k、E p i n i o n s、D i g g等社交网络上提出T L P算法较好地完成了动态网络的预测。潘嘉琪等5在Em a i l、I n f e c t i o n等网络上提出R T R BM算法模型,对动 态 网 络 中 的 链 路 关 系 完 成 分 类 和 预 测。GOYA L e t a l6在两个真实网络数据集和生成的含有1 0 0 0个节点的S BM网络中提出d y n g r a p h 2 v e c模型并完成了链路预测。刘留等7在斯坦福网络分析平台S NA P中的4个时序网络中提出一种演化序列半监督学习框架
16、用于预测时序网络。冯译萱等8考虑了网络有向性和网络历史结构的影响,在e m a i l-E u-c o r e数据集上提出了一种基于归一化AA和L A S的时序有向的链路预测算法。但对于脑功能网络少有研究。由于深度学习具有强大的特征提取和分析能力,其在脑功能网络的研究上取得了突飞猛进的发展,特别是在人脑解码方面。S HE N e t a l9通过将与测试图像相关的功能磁共振成像活动作为输入对脑功能网络 解码来重建 图像。VAN RU L L E N e t a l1 0使用GAN训练了一个可变自动编码神经网络,通过输入人脑功能磁共振成像数据对脑解码。网络不仅可以区分视觉上相似的输入,并且可以准
17、确地进行性别分类。S E E L I G E R e t a l1 1训练了一个能够生成灰度照片的深层卷积生成对抗网络,以创建与呈现的刺激图像相似的图像,从而重建部分自然图像集的结构和一些语义特征。然而,在脑解码的相关研究中,仅局限于对当前时刻的解码,对于后续的脑网络变化很少有涉及。对后续脑网络的准确预测,就可以在某种意义上实现“读脑术”,这在脑机接口领域中具有广泛的应用前景。针对上述问题,受到L E I e t a l1 2G C N-GAN链路预测模型的启发,提出了图卷积对抗生成模型(G C GAN)。相比G C N-GAN,利用C NN在图像领域的强大处理能力,在上述模型的基础上,判别器
18、中加入了3层卷积神经网络,将生成网络和真实网络转化为二值图片的格式送入判别器以提高判别器的效率。模型整体是一个生成对抗网络(GAN),生成器配合图卷积(G C N)和长短期记忆网络(L S TM),对脑功能网络进行预测;判别器使用卷积神经网络(C NN)对真实网络和预测网络进行判别。实验过程如图1所示。此外,本研究还对其他对模型预测有效果的因素进行了探究。LSTMFCGCN生成器预测网络真实网络FCGCNfMRI 时间矩阵皮尔逊相关二值化时间序列时间序列带通滤波标准化fMRI 数据判别器使用 DPABI 工具箱处理原始功能磁共振成像数据,使用 AAL 模板用于识别大脑 ROI,用皮尔逊相关系数
19、来衡量功能联系的强度并使用 GRETNA 对数据二值化。预处理后的二值网络送入生成模型中,将预测的网络和真实网络送入判别网络。图1 算法总体框架图F i g.1 F r a m e w o r k o f p r o p o s e d m e t h o d138 第5期 王子健,等:基于对抗生成网络的时序脑功能网络预测方法1 方法和材料1.1 模型搭建实验过程如图1所示。GAN的每层是一个递归神经网络,每层的输入是上层输出的时间序列。这种结构会自动在不同级别上创建不同的时间尺度,从而形成时间层次结构。在用时序脑功能网络训练后,用上层输出自动预测下一时刻的脑功能网络。整个G C GAN模型由
20、两个模型组成。第一个模型是生成器,它用于生成下一时刻脑功能网络快照。另一个模型是判别器,用于提高生成器的拟合精度。1.1.1 生成器生成器由一个图卷积网络(G C N)层、一个短期记忆网络(L S TM)层和一个全连接(F C)层。其中,图卷积层用于捕捉时间序列动态脑网络的拓扑属性;L S TM是捕捉时间序列动态脑网络的时间特征;全连接层用来整合上述特征并生成下一时刻功能脑网络。K I P F e t a l1 3提出的图卷积可以捕获网络的拓扑属性。它可以表示为:H(l+1)=D-12AD-12H(l)W(l).(1)其中,A=A+I,A是邻接矩阵;I是单位矩阵;D表示A的度矩阵;H(l)是第
21、l层中的激活矩阵;H(0)=X,其中X是节点特征向量矩阵;W(l)是第l层的权重矩阵;()是激活函数,如R e L u和S i g m o i d;H(l+1)是第l层中的输出。L S TM层是长短期记忆网络,用于捕捉网络序列的时间特征。对于L S TM单元,输入有两个部分,一个是ht-1,另一个是Ct-1.它分别表示最后一个L S TM单 元 的 嵌 入 矩 阵 和 状 态 单 元 矩 阵。L S TM单元由3个门单元门组成:it、ft和ot,ft门用于控制当前从t-1时间戳中忘记消息;it门用于控制从Ct-1保存消息;ot门用于控制从Ct输出消息。3个门可表示为:it=(Wiht-1,xt
22、+bi).(2)ft=(Wfht-1,xt+bf).(3)ot=(Woht-1,xt+bo).(4)其中,Wi、Wf和Wo是权重;bi、bf和bo是3个门的偏置值;()是S i g m o i d激活函数,可将it、ft和ot控制为0,1,表示保持在一定比例内以传递消息。接下来,输入门i和遗忘门f分别为当前状态单元Ct提供部分信息。类似地,输出门o和当前状态单元Ct也为输出嵌入矩阵ht提供部分信息。这些关系可以表示为:Ct=t a nh(WCht-1,xt+bC).(5)Ct=ftCt-1+itCt.(6)ht=ot t a nh(Ci).(7)其中,Ct是中间变量,表示由xt和ht-1生成的
23、临时状态单元矩阵。WC和bC分别表示L S TM中的权重和偏置。根据这个公式,ht已经包含了历史网络快照的特征信息。在获得下一次脑功能网络快照后,我们使用全连接层对下一次脑功能网络快照进行输出。全连接层可以表示为:Yd=S i g m o i d(Wdht+bd).(8)其中,Wd和bd分别是解码器层的权重和偏置。Yd表示生成器模型的结果。需要注意的是,预测结果不是二值矩阵,而是每个值都在0到1之间,表示功能网络节点之间存在连接的概率,即yd0,1.为了方便地将预测结果送到判别模型中,需要将结果重塑为9 09 0的形状。1.1.2 判别器判别器采用三层卷积神经网络(C NN)和两层全连接网络(
24、F C).将生成的图像和真实图像扩展到三维,转为二值图像。将两个图像分别送到判别器中判别图像之间的差异,并反馈给生成器以不断提高脑功能网络的预测精度。卷积层的作用是提取局部区域的特征,不同的卷积核相当于不同的特征提取器,然后由激活函数生成输出特征。分别使用Kli和bli来表示层l中第i个滤波器核的权重和偏置,并使用xl(j)来表示层l中的第j个局部区域。因此,卷积过程描述如下:yl+1(j)=Klixl(j)+bli.(9)其中,符号计算内核和局部区域的点积,yl+1(j)表示层l+1的帧i中第j个神经元的输入。1.2 数据获取和预处理本文共使用两批数据集,分别来自剑桥老化与神经中心(c a
25、m b r i d g e c e n t r e f o r a g i n g a n d n e u r o-s c i e n c e,C a m_C AN)的1 88 8岁健康被试和阿尔茨海默病神经影像学协会(a l z h e i m e rs d i s e a s e n e u-r o i m a g i n g i n i t i a t i v e,A D N I)数据库。C a m_C AN的被试者在观看名为B a n g!Y o ur e D e a d 的黑白电影中采集的f MR I数据。根据年龄将受试者分为3组:7 1名年轻人受试者(平均年龄为3 4.3 4岁;3
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 对抗 生成 网络 时序 功能 预测 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。