LMD-UNet网络在脑肿瘤多模态MRI图像分割中的应用.pdf
《LMD-UNet网络在脑肿瘤多模态MRI图像分割中的应用.pdf》由会员分享,可在线阅读,更多相关《LMD-UNet网络在脑肿瘤多模态MRI图像分割中的应用.pdf(11页珍藏版)》请在咨信网上搜索。
1、Chinese Journal of Biomedical Engineering2023年8 月August2023中医国生程报物No.4Vol.:42学学42卷4期LMD-UNet网络在脑肿瘤多模态MRI图像分割中的应用夏景明1#谈玲2*梁颖?(南京信息工程大学人工智能学院,南京210044)2(南京信息工程大学数字取证教育部工程研究中心,南京210044)摘要:UNet网络中编解码器对应的特征图之间存在语义鸿沟,其双卷积层无法学习多尺度信息,造成部分特征信息丢失,影响MRI图像分割效果。针对这一缺陷,本研究提出一种新的图像分割网络局部残差融合多尺度双分支网络LMD-UNet。在编码流程,
2、网络采用局部特征残差融合密集块和多尺度卷积模块,扩大影像感受野并优化底层视觉特征的传播;在解码流程,网络采用双分支卷积的方式生成新的高级语义特征,以此来重建编码路径中损失的信息。利用公开脑肿瘤数据集BraTs的335例病例做分割实验,并将分割结果与现阶段主流分割网络UNet进行对比。结果显示,LMD-UNet模型的Precision、D i c e、9 5%H D、Re c a l l 等4项客观评价指标分别达到0.9 33、0.9 2 1、0.702和0.9 6 6,相较于UNet,对应指标分别提升了6.3%、5.7%、1.8%和6.1%。研究表明,LMD-UNet能够实现更精细的脑肿瘤图像
3、分割。此外,所提出的方法对于细节部分边缘轮廓的分割也有较好的效果,能够为脑肿瘤诊断和手术提供保障。关键词:肿瘤图像分割;多尺度卷积;密集块;双分支卷积中图分类号:R318文献标志码:A文章编号:0 2 58-8 0 2 12 0 2 3)0 4-0 431-11Application of LMD-UNET Network in Multi-Modal MRI ImagesSegmentation of Brain TumorsXia JingmingTan Ling?*1#Liang Ying(School of Artificial Intelligence,Nanjing Univers
4、ity of Information Science&Technology,Nanjing 210044,China)2(Engineering Research Center of Digital Forensics Ministry of Education,Nanjing University of Information Science&Technology,Nanjing210044,China)Abstract:There is a semantic gap among the feature maps corresponding to the codec in the UNet
5、network,andits dual roll integration layer cannot learn multi-scale information,resulting in the loss of some featureinformation,which affects the MRI image segmentation effect.To solve this problem,this paper proposed a newimage segmentation network local residual fusion multi-scale dual branch net
6、work LMD-UNet.In the codingprocess,the network used local feature residuals to fuse dense blocks and multi-scale convolution modules toexpand the receptive field of images and optimize the propagation of underlying visual features;and in thedecoding process,the network used double branch convolution
7、 to generate new high-level semantic features toreconstruct the information lost in the coding path.For segmentation experiments,335 cases of the public braintumor dataset BraTs were used,and the segmentation results were compared with U-Net that is currently amainstream segmentation network.Experim
8、ental results showed that the four objective evaluation indexes ofLMD-UNet model,precision,dice,95%HD and recall reached 0.933,0.921,0.702 and 0.966 respectively.Compared to U-Net,the corresponding indicators increased by 6.3%,5.7%,1.8%,and 6.1%,respectively,which indicated that LMD-UNet achieved mo
9、re precise segmentation of brain tumor images.Meanwhile,thedoi:10.3969/j.issn.0258-8021.2023.04.006收稿日期:2 0 2 2-0 6-0 6,录用日期:2 0 2 3-0 4-18基金项目:国家重点研发计划科技创新2 0 30 一“新一代人工智能 重大项目(2 0 2 1ZD0112200);江苏省产学研基金(BY2022459)#中国生物医学工程学会会员(Member,Ch i n e s e So c i e t y o f Bi o me d i c a l En g i n e e r i
10、 n g)*通信作者(Corresponding author),E-ma i l:c i l l a t a n o n u i s t.e d u.c n432中42卷生国医程报学学物proposed method also showed a good performance in the edge contour segmentation for the detail part,whichprospectively provided guarantee for the diagnosis of brain tumor and the surgery.Key words:image seg
11、mentation;multi-scale convolution;dense block;dual branch convolution引言在临床上,对磁共振成像(magneticresonanceimaging,MRI)脑肿瘤影像进行准确分割能够为医生提供肿瘤的几何参数和病理信息,从而帮助分析脑肿瘤的生长形态和变化趋势。同时,影像分割在病理研究、手术方案确定以及肿瘤结构的三维重建等方面也有重大意义 。MRI脑肿瘤影像包含3个肿瘤重要区域信息,分别为完整肿瘤(whole tumor,WT)、核心肿瘤(core tumor,TC)和肿瘤增强(tumorenhancement,ET)等3个区域。
12、WT区域为完整肿瘤区域,在临床手术前可以指示出完整水肿范围,帮助临床医生精准定位肿瘤位置,确保肿瘤的精准切除。TC区域为肿瘤核心区,是典型需要切除的序曲,表征为胶质细胞演化而来的恶性肿瘤。ET区域为过度活跃的肿瘤部分,由坏死细胞构成,不利于后期治疗和穿刺检查。根据输人及输出方式不同,基于深度学习的脑肿瘤分割方法可以分为块分割和端到端分割,后者主要通过编码器(Encoder)-解码器(Decoder)的结构实现。模型以完整图像或图像块作输人,利用卷积层提取特征,并在解码模块中利用卷积层恢复图像尺寸,最终得到待分割图像每个像素点的类型概率。该方法的主流模型有两种,分别为基于全卷积网络(fully
13、convolutional networks,FCN)2 和基于UNet网络 3。FCN模型以卷积过程代替全连接,并利用反卷积扩展特征图尺寸。但FCN的Decoder只包含一个反卷积过程,结构相对简单,分割后的各项客观指标不能令人满意。而UNet的连接采用矩阵拼接形式,可以增强模型的抗干扰和识别相似图像的能力,减少过拟合的几率并降低分割的运算量。近年来,利用改进的UNet实现MRI图像分割逐渐成为研究热点。Hao等 4 在UNet网络基础上的提出一种全卷积网络(FCN-UNet)解决脑肿瘤分割问题。FCN-UNet采用了一种全局的数据增强策略对数据实施预处理,在BraTs2015数据集上的实验
14、表明,对于WT、T C和ET这3类肿瘤,分割指标Dice值分别为0.85,0.84和0.6 4。通常情况下,拓展网络的宽度和深度可以优化学习性能,但随之模型也会出现退化和梯度消失问题。He等 5 引人恒等映射方式解决了该问题。Kermi等 6 在UNet中融入残差模块,并将网络模型在Brats2018数据集上开展实验,对于WT、T C和ET这3类肿瘤,分割指标Dice值分别为0.867,0.815和0.7 9 3。然而,因为ResNet网络的参数量大,造成了计算复杂度大幅增加。Huang等 7 从特征维度考虑,不采用加深网络层数和加宽网络结构的方法来改善网络效果,而是重复利用支路的设置和相关特
15、征,模型在改善梯度消失问题的同时,参数量也大幅降低。Jegou等 8 提出一种基于语义分割的全卷积网络(FC-DenseNet),FC-DenseNet中链接融合了DenseNet中的密集块与残差网络的恒等映射,在各类医学图像分割应用中均取得了优异的表现。Zhang等 9 提出了一种语义分割网络(DR-UNet),D R-U Ne t 模型综合了UNet网络和残差网络的优点,在特定影像区域提取的实验中,该方法的主客观评价指标优于文献中所有对比算法。杨振等 10 提出一种名为级联DenseUNet的肝脏肿瘤分割网络,将DenseNet融于UNet网络结构,从像素级和区域级特征出发,建立分类肿瘤的
16、灰度模型和概率模型,但对于低对比度的肿瘤分割效果较差。韩阳等 1 提出了一种基于三重注意力的脑肿瘤图像分割网络。通过引人三重注意力模块,并在编码层中使用深度残差模块,充分融合图像局部与全局特征信息。但是浅层特征信息噪声大,图像边缘信息带有很多的余信息。沈志强等 12 提出一种基于同构化改进的UNet分割方法。在UNet编解码器和跳层路径中引人同构单元IU构成的同构网络,以缓解UNet的编解码特征之间的语义鸿沟。但是该方法没有训练优化语义差异。邓仕俊等 13 提出基于多尺度特征感知的器官分割网络。通过建立输入感知模块,改变了跳跃连接中的直连方式。但该方法对体积极小且形状极不规则的病灶分割上边缘信
17、息丢失严重。杨斌斌等 14 提出一种基于DenseMedic的脑皮层结构的语义分割。使用OreoDown方法较早加人大步长的卷积并夹心式地恢复层深,引入平行的混合空洞卷积层进一步扩大感受野,以实现对大范围全局信息的精准局部感知。但是特征层尺寸的快速变化会使中间尺寸信息损失,分割精度有所下降。综上,UNet网络结433夏景明,LMD-UNet网络在脑肿瘤多模态MRI图像分割中的应用4期构中的编解码器对应的特征图之间存在语义鸿沟,容易出现局部最优的情况。UNet的双卷积层无法学习多尺度信息,造成了部分特征信息丢失,影响分割结果。针对上述问题并综合分析FCN、Re s Ne t、DenseNet和U
18、Net模型的特点,本研究提出一种基于UNet模型的图像分割网络局部残差融合多尺度双分支网络LMD-UNet(l o c a l f e a t u r e r e s i d u a l f u s i o ndense block-multi-scale convolution block-dual branchconvolutional-UNet)。1材料和方法1.1方法1.1.1LMD-UNet网络LMD-UNet的结构如图1所示。模型整体框架上类似于UNet,在编码环节引人一种多尺度卷积模块(multi-scale convolutionblock,M SC模块)和一种局部特征残差融合
19、密集块(localfeatureresidualfusiondenseblock,LFR密集块)来代替UNet网络各层中两个相同的33卷积层。MSC模块采用空洞卷积与普通卷积并联的方式同时引人两类映射,可同步提升模型感受野和特征提取能力。文献 15 提出低级视觉信息在脑肿瘤图像分割中有关键意义,因此在编码阶段尽可能多地保留并传递该类信息至关重要。考虑将局部特征残差与密集层融合得到LFR密集块,并将ResNet网络的恒等映射应用到该密集块和相应编码流程中。采用过渡层进行下采样,同时使用含有LFR密集块、上池化与双分支卷积的反卷积结构来实现解码过程。LMD-UNet要求相同密集块中的特征图具有同样
20、的尺寸,因此,过渡层仅部署在不同密集块之间以实施下采样。为了降低模型参数,减少计算复杂度,过渡层中添加11的卷积操作,具体结构BN(b a t c hnormalization)+Conv(11)+22Max-pooling。网络中下采样模块各密集块的层数设置依据是FC-DenseNet网络中前4个密集块的数量。在解码过程中把输出特征与编码过程中相同维度的低级视觉特征连接,然后融合这些的特征生成新的高级语义特征,以此来获得编码路径中经过渡层后损失的信息。1.1.2多尺度卷积模块(MSC模块)文献16 指出空洞卷积在扩大分割模型感受野的同时,也利于自动检测到MRI图像的分割目标。此外,分辨率的提
21、升也有益于精确定位分割目标。这在分割实现中具有重大意义。InputOutputMSCMSCLFRLFRMSCLFRUn-MSCpoolLFRMSCTDLFRUn-poolMSCMSC多尺度卷积模块LFRLFRLFR局部特征残差融合密集块MSCTDUn-TD过渡层poolUn-MSC上池化poolMSC双分支卷积拼接LFRConv 1x1LFRUn-TDCConcatenationpool图1LMD-UNet网络结构Fig.1LMD-UNet structure434中生国医42卷物报学程学空洞卷积具有和传统卷积相当的计算量,只变更了数据的采样密度。引入该模块不需要大幅变更模型的其他结构,也不增
22、加模型参数。但是,通过空洞卷积得到的某一层的输出,其邻近像素是由彼此独立的子集卷积获得,相互之间依赖较少,容易导致局部信息丢失。LMD-UNet网络中的多尺度卷积模块(MSC模块)并联了普通卷积模块和空洞卷积模块,并联的方式可以解决卷积结果相关性匮乏的问题。LMD-UNet网络的MSC模块结构如图2所示。1.1.3局部特征残差融合密集块(LFR密集块)密集块中的各层都可以从原始输人和损失函数中获取梯度,以此来进一步改善层间信息交互,更有利于梯度和特征传递。因此,密集网络兼具网络窄和参数量小两个优点。LMD-UNet网络的密集块通过融合局部特征残差和密集连接层实现,称之为局部特征残差融合密集块(
23、LFR密集块)。该密集块的输出结果直接访问次密集块中的各层,因此获得了一个连续存储模式。通过将恒等映射连接应用在密集块中,并将前一层的输出连接到当前,学习过程中底层视觉特征输入33空洞卷33普通卷积层积层矩阵拼接ReLul输出图2MSC模块及并联方式Fig.2MsCmoduleandparallelmodeInputFd-1ConvFd.1ReluConvFd.2ReluConvFd.3ReluConvFd.cReluFdOutput图3LFR密集块结构Fig.3LFRdenseblock structure可以更有效地传递,过程如图3所示。Fa-1和F。分别是LFR密集块的输人和输出,各自包
24、括G。个特征图。第d个LFR密集块中第d个卷积层输出如式(1):Fd.=oWa.(Fd-1,Fa.1,I,Fd.-1)(1)d.2式中,为ReLU激活函数。Wd.。为第c个卷积层的权值,为简便起见,此处省略偏置项。假设Fa.。由G个特征图构成,式(1)中的(Fa-1,Fa.1,Fa.2,Fd.c-1)的意义为第d-1个LFR密集块输出特征图与第d个LFR密集块中各卷积层(1,2,c1)输出特征图的拼接,并最终输出G。+(c-1)G 个特征图。前一个LFR密集块和各层输出都与后续各层直接连接,此连接方式不仅能够提取到局部密集特征还保留了前馈特性。在LFR密集块d中,用Concatenation的
25、连接方式将每层的特征映射引人到其他层,称为多层特征融合,如式(2):Fa.=Ca(Fa.1,Fd.2(2)式中,Ca表示第d个LFR密集块的连接函数。具体来说,该处理过程是将由先前LFR密集块提取得到435夏景明,等车:LMD-UNet网络在脑肿瘤多模态MRI图像分割中的应用4期的局部低级信息融合到当前LFR密集块的多层特征中,终输出为Fad.=C(Fa-1,Fd.)(3)式(3)中的C与ResNet网络的恒等映射连接的意义等价。1.1.4解码网络LMD-UNet网络在解码过程中使用由LFR密集块、上池化与双分支卷积组成的结构来实现经卷积和池化后的特征图尺寸放大。解码网络采用LFR模块和MSC
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- LMD UNet 网络 肿瘤 多模态 MRI 图像 分割 中的 应用
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。