基于迁移学习的多模态AD病程分类研究.pdf
《基于迁移学习的多模态AD病程分类研究.pdf》由会员分享,可在线阅读,更多相关《基于迁移学习的多模态AD病程分类研究.pdf(8页珍藏版)》请在咨信网上搜索。
1、2 0 2 3年 第3 7卷 第4期测 试 技 术 学 报V o l.3 7 N o.4 2 0 2 3(总第1 6 0期)J O U R N A L O F T E S T A N D M E A S U R E M E N T T E C H N O L O G Y(S u m N o.1 6 0)文章编号:1 6 7 1-7 4 4 9(2 0 2 3)0 4-0 3 4 8-0 8 基于迁移学习的多模态A D病程分类研究乔 悦,李瑞红(中北大学 软件学院,山西 太原 0 3 0 0 5 1)摘 要:近年来,患阿尔茨海默病(A l z h e i m e rs D i s e a s e
2、,A D)的人数逐年增加。临床研究显示,轻度认知障碍(M i l d C o g n i t i v e I m p a i r m e n t,M C I)转化为A D的概率很大,因此,提高磁共振成像(M a g n e t i c R e s o n a n c e I m a g i n g,MR I)和正电子发射断层扫描(P o s i t r o n E m i s s i o n T o m o g r a p h y,P E T)等神经影像图对A D、M C I的分类准确率十分必要。为了解决数据量少、标注困难的问题,首先使用C y c l e G A N网络对缺少的P E T图进
3、行生成;然后采用基于区域能量融合准则的小波变换算法对MR I图和P E T图进行图像融合,能够极大程度的保留图像中的数据信息;最后利用迁移学习技术对轻量级网络M o b i l e N e t进行训练与微调。实验结果显示,在数据量较少的情况下,所提方法在泛化能力较好的同时,也获得了较高的准确率。关键词:神经影像图;图像生成;图像融合;迁移学习;A D病程分类中图分类号:T P 3 9 1.4 文献标识码:A d o i:1 0.3 9 6 9/j.i s s n.1 6 7 1-7 4 4 9.2 0 2 3.0 4.0 1 2R e s e a r c h o n M u l t i m o
4、 d a l A l z h e i m e r D i s e a s e C o u r s e C l a s s i f i c a t i o n B a s e d o n T r a n s f e r L e a r n i n gQ I A O Y u e,L I R u i h o n g(S c h o o l o f S o f t w a r e,N o r t h U n i v e r s i t y o f C h i n a,T a i y u a n 0 3 0 0 5 1,C h i n a)A b s t r a c t:I n r e c e n t
5、y e a r s,t h e n u m b e r o f p e o p l e s u f f e r i n g f r o m A l z h e i m e rs D i s e a s e(A D)h a s i n-c r e a s e d y e a r b y y e a r.C l i n i c a l r e s e a r c h s h o w s t h a t t h e p r o b a b i l i t y o f m i l d c o g n i t i v e i m p a i r m e n t(MC I)t r a n s f o r
6、m i n g i n t o A D i s v e r y h i g h,s o i t i s n e c e s s a r y t o i m p r o v e t h e c l a s s i f i c a t i o n a c c u r a c y o f A D a n d MC I b y m a g n e t i c r e s o n a n c e i m a g i n g(MR I),p o s i t r o n e m i s s i o n t o m o g r a p h y(P E T)a n d o t h e r n e u r o i
7、 m-a g i n g i m a g e s.I n o r d e r t o s o l v e t h e p r o b l e m o f f e w e r d a t a a n d d i f f i c u l t y i n l a b e l i n g,t h i s p a p e r f i r s t u s e s t h e C y c l e G A N n e t w o r k t o g e n e r a t e t h e m i s s i n g P E T m a p;S e c o n d l y,t h e w a v e l e t
8、 t r a n s f o r m a l g o r i t h m b a s e d o n t h e r e g i o n a l e n e r g y f u s i o n c r i t e r i o n i s u s e d t o f u s e MR I i m a g e s a n d P E T i m a g e s,w h i c h c a n r e-t a i n t h e d a t a i n f o r m a t i o n i n t h e i m a g e s t o a g r e a t e x t e n t;F i n
9、a l l y,u s e t h e t r a n s f e r l e a r n i n g t e c h n o l o g y t o t r a i n a n d f i n e-t u n e t h e l i g h t w e i g h t n e t w o r k M o b i l e N e t.T h e e x p e r i m e n t a l r e s u l t s s h o w t h a t,i n t h e c a s e o f f e w e r d a t a,t h e m e t h o d u s e d i n t
10、h i s p a p e r h a s b e t t e r g e n e r a l i z a t i o n a b i l i t y a n d h i g h e r a c c u r a c y.K e y w o r d s:n e u r o i m a g i n g i m a g e;i m a g e g e n e r a t i o n;i m a g e f u s i o n;t r a n s f e r l e a r n i n g;a l z h e i m e r d i s e a s e c o u r s e c l a s s i
11、f i c a t i o n0 引 言阿尔茨海默病(A l z h e i m e rs D i s e a s e,A D)是以进行性认知功能障碍和行为损害为特征的中枢神经系统退行性病变,患者会逐渐出现记忆力下降、情绪波动、语言能力和行动能力减退等问收稿日期:2 0 2 2-0 7-1 1 基金项目:国家自然科学基金资助项目(6 1 1 7 1 1 7 8);山西省自然科学基金资助项目(2 0 1 2 0 1 1 0 1 0-3)作者简介:乔 悦(1 9 9 8-),女,硕士生,主要从事智慧城市、图形图像处理研究。E-m a i l:1 0 1 6 5 8 7 7 6 8 q q.c o
12、m。通信作者:李瑞红(1 9 7 5-),女,副教授,主要从事仿真与可视化技术、数字媒体技术、软件工程研究。E-m a i l:l i r u i h o n g n u c.e d u.c n。题1。目前,全球痴呆症病人约有5 0 0 0万人,到2 0 5 0年这个数字将达到1.5 2亿人2。被确诊为A D患者的大脑已造成不可逆的损伤3,医疗手段的介入也不会有较好的治疗效果。在临床医学中,主要通过正电子发射断层扫描(P o s i t r o n E m i s s i o n T o m o g r a p h y,P E T)和磁共振成像(M a g n e t i c R e s-o
13、n a n c e I m a g i n g,MR I)等神经影像学检查对A D患者进行诊断4。在A D研究领域中,主要使用N I A-A A 标准将A D病程分为3个阶段:认知功能正常(N o r m a l C o g n i t i v e,N C)、轻度认知障碍(M i l d C o g n i t i v e I m p a i r m e n t,MC I)和A D5。MC I时期是医疗手段介入进行预防或延缓成为A D的最佳时期。所以,A D病程的精确分类对A D诊疗有着巨大的实际意义。从2 0 1 3年开始,深度学习在医学图像处理领域飞速发展,其中卷积神经网络(C o n v
14、 o l u t i o n a l n e u r a l n e t w o r k,C N N)因其可以很好地提取神经影像数据的相关病理特征和其隐藏的表征而被研究人员所青睐。V e n u g o p a l a n等6使用自动编码器从遗传数据中提取特征,并使用3 D C N N来处理成像数据,实验表明该模型在准确率、精度、召回率和m e a n F 1分数方面都优于单一模态模型。文献7-8 分别利用循环神经网络(E D R N N)和R e s N e t 1 8、D e n s e N e t 2 0 1模型对A D病程进行分类,实验结果表明,这些模型的分类准确率有显著提高。随着神经
15、影像技术的飞速发展,多模态融合数据被广泛应用于医学诊断。G a o等9将注意力生成对抗网络(T P A-G A N)与路径转移密集卷积网络(P T-D C N)相结合,用于多模态大脑图像的 插 补 和 分 类,分 类 准 确 率 达 到9 2.0%。D w i v e d i等1 0利用恶魔算法和离散小波变换对MR I和P E T进行融合,然后使用R e s N e t-5 0对图像特征提取并分类。实验表明,N C v s A D、N C v s MC I及A D v s MC I的分类准确率分别为9 7%、9 4%和9 7.5%。由于A D的隐蔽性较强,其样本获取难度极大,存在神经影像图稀疏
16、和标记难等问题,且模型训练效果差。最新研究表明,在机器学习中,迁移学习有助于解决训练数据不足的问题。T a n v e e r等1 1提出了一种与机器学习架构无关的深度神经网络集成模型,主要使用迁移学习技术对该模型进行训练,实验结果表明,该模型在区分A D v s MC I和N C v s A D的准确率分别为8 3.1 1%和8 5%。F a n g等1 2设计了一个端到端的深度神经网络分类器C N N 4 A D,并采用重新迁移学习方法对多模态脑图像进行分类,该方法在标记较少的训练样本的情况下获得了更高的准确率,C h u i等1 3对C N N加入增强超参数并引入了迁移学习技术,经过消融
17、实验的对比表明,该方法将检测模型的准确率提高了2.8 5%3.8 8%。基于上文所述的A D分类研究方法,为进一步降低数据量少所带来的实验影响和提高分类的准确率,本文将使用生成对抗网络生成P E T数据以补足缺少的数据,然后采用小波变换算法融合MR I、P E T影像数据以最大化保留图像信息,最后将融合后的数据引入到分类模型中并基于迁移学习技术进行模型优化。1 相关工作1.1 C y c l e G A N模态转化C y c l e G A N可以实现双域双向变换,无需将源域和目标域的训练数据建立一对一的映射。主要特点是首先将源域数据M R I映射为目标域数据P E T,然后对生成的P E T
18、数据进行二次生成并返回到源域中。C y c l e G A N利用生成器与判别器相互牵制的特点,对源域和二次生成的图像进行比对,以达到较好的生成质量。与传统的G A N不同的是,C y-c l e G A N是由2个生成器(G,F)和2个判别器(DX,DY)组成1 4。C y c l e G A N的损失函数共有4个。1)对抗损失(A d v e r s a r i a l L o s s)如式(1)所示,在对抗损失函数中,生成器G试图生成与图像域Y极为相似的图片,判别器DY试图可以更准确的区分转换的图片G(X)与真实的图片Y,并给出真假判别。LG A N(G,DY,X,Y)=Eypd a t
19、 a(y)l o gDY(y)+Expd a t a(x)l o g(1-DY(G(X)。(1)2)循环一致性损失(C y c l e C o n s i s t e n c y L o s s)如式(2)所示,防止生成器G与F相互排斥,即达到F(G(X)X,G(F(Y)Y的目的。Lc y c(G,F)=Expd a t a(x)F(G(x)-x1+Eypd a t a(y)F(G(y)-y1。(2)3)定义损失(I d e n t i t y L o s s)如式(3)所示,在实际应用中,使用该损失函数是为保证生成图像的连续性,即防止生成器G、F在输入图像时进行没有必要的图像色调的改变。Li
20、 d e n t i t y(G,F)=Eypd a t a(y)F(G(y)-y1+Expd a t a(x)F(G(x)-x1。(3)4)总损失(F u l l O b j e c t i v e)如式(4)所示。943(总第1 6 0期)基于迁移学习的多模态A D病程分类研究(乔 悦等)L(G,F,DX,DY)=LG A N(G,DY,X,Y)+LG A N(F,DX,Y,X)+Lc y c(G,F)。(4)C y c l e G A N的训练目标如式(5)所示。G*,F*=a r g m i nG,Fm a xDX,DYL(G,F,DX,DY)。(5)1.2 小波变换融合算法像素级图像
21、融合是直接对原始采集的图像进行的,能够保留其大部分细节信息。目前,对于医学图像融合多采用小波变换的方法。小波变换可以提供水平、垂直和对角线的多向信息,信息分布在每个像素中却不相互干扰,并且可以在图像重建过程中实现无损重建。基于小波变换的图像融合步骤为:对原图像进行预处理和图像配准;对处理后的图像分别进行小波分解,得到高频和低频分量;对各分解层上的不同频率分量采用不同的融合规则进行融合处理;最后进行小波逆变换,所得到的重构图像即为融合图像。其融合过程如图 1 所示。图 1 小波变换融合过程图F i g.1 W a v e l e t t r a n s f o r m f u s i o n p
22、 r o c e s s1.3 M o b i l e N e t V 2网络轻量 级 网 络 中 的 典 型 网 络 M o b i l e N e t V 2,用深度可分 离 卷 积(D e p t h w i s e S e p a r a b l e C o n v o l u t i o n)代替标准卷积是该网络显著的特点,这可以大大降低参数数量,缩短模型的训练时间,降低卷积层的复杂度。如图 2 所示,在DW卷积前加入PW卷积进行升维,同时去掉DW卷积后的PW卷积中的激活函数(L i n e a r B o t t l e n e c k s),即先升维、再卷积、后降维的结构(I n
23、 v e r t e d R e s i d u a l B l o c k)。图 2 M o b i l e N e t V 2深度可分离卷积图F i g.2 M o b i l e N e t V 2 d e p t h s e p a r a b l e c o n v o l u t i o n2 本文的A D进程分类方法A D进程分类可分为4步:收集影像数据集并预处理,使用C y c l e G A N网络对P E T图进行生成,利用小波变换算法将P E T图与MR I图融合,对融合后的数据集利用迁移学习技术进行分类识别。本文方法的概述框图如图 3 所示。图 3 本文方法概述框图F
24、i g.3 B l o c k d i a g r a m o f o v e r v i e w o f t h e m e t h o d2.1 数据集与预处理本文所使用的数据均来自阿尔茨海默病神经影像学计划(A l z h e i m e rs D i s e a s e N e u r o i m a g i n g I n i t i a t i v e,A D N I)1 5,采用5 0 0名受试者的MR I、P E T图像,如表 1 所示。表 1 A D N I数据采集信息T a b.1 A D N I d a t a c o l l e c t i o n i n f o r
25、m a t i o n影像类型人数N C/M C I/A D年龄性别(男/女)MR I5 0 01 3 2/2 0 5/1 6 37 5 32 8 9/2 1 1P E T4 1 61 1 3/1 7 5/1 2 87 5 32 5 3/1 6 3 本文使用MA T L A B中S P M 1 2、C A T 1 2工具包对MR I、P E T影像数据进行处理,主要进行时间层矫正、头动矫正、空间配准(配准到MN I标准空间)、空间平滑的操作。图 4 为N C、MC I、A D影像原图与预处理后的对比图,可以发现预处理后图像更加标准规范,为后续的图像融合工作打下基础。053测 试 技 术 学 报
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 迁移 学习 多模态 AD 病程 分类 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。