多尺度融合编码与自注意力的肺部CT分割算法.pdf
《多尺度融合编码与自注意力的肺部CT分割算法.pdf》由会员分享,可在线阅读,更多相关《多尺度融合编码与自注意力的肺部CT分割算法.pdf(15页珍藏版)》请在咨信网上搜索。
1、Modeling and Simulation 建模与仿真建模与仿真,2023,12(5),4616-4630 Published Online September 2023 in Hans.https:/www.hanspub.org/journal/mos https:/doi.org/10.12677/mos.2023.125421 文章引用文章引用:彭佑菊,徐杨,蒋诗怡,熊举举.多尺度融合编码与自注意力的肺部 CT 分割算法J.建模与仿真,2023,12(5):4616-4630.DOI:10.12677/mos.2023.125421 多尺度融合编码与自注意力的肺部多尺度融合编码与自
2、注意力的肺部CT分割算法分割算法 彭佑菊彭佑菊1*,徐,徐 杨杨1,2#,蒋诗怡,蒋诗怡1,熊举举,熊举举1 1贵州大学大数据与信息工程学院,贵州 贵阳 2贵阳铝镁设计研究院有限公司,贵州 贵阳 收稿日期:2023年7月19日;录用日期:2023年9月11日;发布日期:2023年9月18日 摘摘 要要 计算机断层扫描计算机断层扫描(CT)在当前是一种辅助检测肺炎的有效手段,但病理表征的复杂性给医生诊断时带来不在当前是一种辅助检测肺炎的有效手段,但病理表征的复杂性给医生诊断时带来不便,难以准确地对图像进行分割。为进一步辅助医生根据病理表征诊断病情,本文基于便,难以准确地对图像进行分割。为进一步辅
3、助医生根据病理表征诊断病情,本文基于U-net提出了一种提出了一种多尺度融合编码网络,并结合自注意力机制,力图在辅助医生判断的角度提供可行性方案。为了获取不多尺度融合编码网络,并结合自注意力机制,力图在辅助医生判断的角度提供可行性方案。为了获取不同尺度的语义信息,首先在编码器部分设计了一种多尺度融合编码器模块,提取不同尺度的特征,充分同尺度的语义信息,首先在编码器部分设计了一种多尺度融合编码器模块,提取不同尺度的特征,充分感知语义信息;同时在编码器和解码器之间的跳连部分引入了改进的自注意力机制,使得网络更好地关感知语义信息;同时在编码器和解码器之间的跳连部分引入了改进的自注意力机制,使得网络更
4、好地关注不同语义特征的相关性;最后,采用融合注不同语义特征的相关性;最后,采用融合Dice损损失函数,失函数,Focal损失函数,交叉熵损失函数构建的多级损失函数,交叉熵损失函数构建的多级损失函数,更好地约束训练。通过训练公开的数据集,得到分割结果表明损失函数,更好地约束训练。通过训练公开的数据集,得到分割结果表明Dice相似系数、精确率相似系数、精确率(Precision)、召回率、召回率(Recall)分别为分别为75.37%、77.03%、71.87%,优于其他的模型。我们验证了改进的优于其他的模型。我们验证了改进的网络能够在图像分割过程中提升网络性能的可能性。网络能够在图像分割过程中提
5、升网络性能的可能性。关键词关键词 肺炎,图像分割,多尺度融合编码器,自注意力机制,深度学习肺炎,图像分割,多尺度融合编码器,自注意力机制,深度学习 Lung CT Image Segmentation Algorithm with Multi-Scale Fusion Encoder and Self-Attention Youju Peng1*,Yang Xu1,2#,Shiyi Jiang1,Juju Xiong1 1College of Big Data and Information Engineering,Guizhou University,Guiyang Guizhou 2Gui
6、yang Aluminum-Magnesium Design and Research Institute Co.LTD.,Guiyang Guizhou Received:Jul.19th,2023;accepted:Sep.11th,2023;published:Sep.18th,2023 *第一作者。#通讯作者。彭佑菊 等 DOI:10.12677/mos.2023.125421 4617 建模与仿真 Abstract Computed tomography(CT)is currently an effective means to assist in the detection of
7、new coro-nary pneumonia,but the complexity of pathological representations brings inconvenience to doc-tors when diagnosing lesions,and it is difficult to accurately segment the images.In order to fur-ther assist doctors in diagnosis based on pathological representations,we propose a multi-scale fus
8、ion coding network based on U-net,combined with the self-attention mechanism,trying to pro-vide a feasible solution from the perspective of assisting the doctors judgment.In order to obtain semantic information of different scales,firstly,a multi-scale fusion encoder module is designed in the encode
9、r part to extract features of different scales and fully perceive the semantic information;at the same time,a skip connection between the encoder and decoder is introduced.The improved self-attention mechanism makes the network pay more attention to the correlation of different semantic features;fin
10、ally,the multi-level loss function of the fusion Dice loss function,Focal loss function,and cross-entropy loss function is used to better constrain training.Through training the public data set,the results show that the Dice similarity coefficient,precision rate and recall rate are 75.37%,77.03%,and
11、 71.87%,respectively,which are better than other existing network models.We have verified the feasibility of the improved network being able to improve network performance during image segmentation.Keywords Pneumonia,Image Segmentation,Multi-Scale Fusion Encoder,Self-Attention Mechanism,Deep Learnin
12、g Copyright 2023 by author(s)and Hans Publishers Inc.This work is licensed under the Creative Commons Attribution International License(CC BY 4.0).http:/creativecommons.org/licenses/by/4.0/1.引言引言 目前为止,全球累计肺炎确诊病例突破 4 亿例,累计死亡病例超 600 万1。目前主要的肺炎筛查方法是逆转录聚合酶链反应(RT-PCR)2,但最近研究表明,RT-PCR 敏感性不够高,导致 RT-PCR 筛查肺
13、炎的阳性率并不十分理想,有时并不能满足临床的需要。在这种情况下,可以采用断层扫描(computed tomography,CT)和磁共振成像(magnetic resonance imaging,MRI)3检测来进一步诊断患者是否患病,一般情况下,医生可以通过患者的 CT 影像图来判断病人是否感染肺炎4。最近研究表明,胸部 CT 对于分析肺炎的敏感度高达 0.97 5,非常有利于肺炎的筛查,但是 CT 扫描费时低效,还需要专业医生进行辅助判断,需要耗费巨大的人力财力。随着语义分割技术的快速发展,不同的神经网络模型在医疗影像领域中也得到了广泛应用,卷积神经网络的(Convolutional Ne
14、ural Network,CNN)成功应用于图像分割领域6,为图像特征提取提供了全新的解决方法。2015 年 Long 等7提出了全卷积网络(Fully Convolutional Network,FCN),使用卷积层替换全连接层,使图像达到像素级分类,从而实现语义级别的分割效果。Ronneberger 等8提出了 U-Net,采用了编码器解码器的结构,编码器通过卷积与池化操作对输入图像进行下采样编码,解码器通过上采样操作将编码特征映射成掩模图,得到语义分割结果。Zhou 等人9受 U-Net 启发提出了 U-Net+模型,通过增加编码器与解码器之间的细粒度信息重新设计了跳连模块。与 FCN
15、相比 U-Net 作为骨干网络分割Open AccessOpen Access彭佑菊 等 DOI:10.12677/mos.2023.125421 4618 建模与仿真 效果提升明显,但存在着特征提取不充分、不同层级语义信息利用率低等现象。文献10中的Attention-Unet 模型,就是将注意力机制引入到解码器部分,从而将注意力集中在需要提取的区域;文献11中提出的 R2U-Net,将 RNN 网络和 ResNet 网络的结构整合到了编码器解码器结构里。文献12中提出 Inf-Net 从肺部 CT 图片中自动分割感染区域,利用并行部分解码器(Parallel Partial Decoder
16、,PPD)用于聚合高级特征(结合上下文信息)并生成全局图,作为后续步骤的初始指导区域。为了进一步挖掘边界线索,利用一组隐式重复的反向注意力(Reverse Attention,RA)模块和显式边缘注意引导来建立区域和边界的关系。文献13在 U-Net 的基础上,在编码器模块增加了残差网络,使用多尺度的图像输入,同时在编码解码之间增加了空洞空间金字塔池化(ASPP),用来提取上文的多尺度信息,最后将提取到的多尺度信息与编码部分级联起来,结合注意力机制来提高图像分割的精度。文献14提出的是一种改进 U-Net 网络的肺结节分割方法。该方法替换上采样操作,最小化像素点与标签的损失,并融合了通道注意力
17、空间注意力机制,增加全局相关性,能够准确地分割出肺结节区域,具有良好的分割性能。文献15提出一种基于低秩张量自注意力重构的语义分割网络 LRSAR-Net,其中低秩张量自注意力重构模块用来获取长范围的信息,低秩张量自注意力模块先生成多个低秩张量,构建低秩自注意力特征图,然后将多个低秩张量注意力特征图重构成高秩注意力特征图,通过自注意力模块计算相似度矩阵来获取长范围的语义信息。文献16提出了 MiniSeg,通过较少的参数量构建图像分割网络模型。但上述方法依然存在着一些问题,如准确率不高,分割结果边界不明显,没有充分整合网络高低层特征信息等特点。近年来,肺部分割工作发展迅速,但由于肺部 CT 以
18、及病灶的特殊性,如标注的 CT 图像较少、肺部CT 图像组织结构复杂、病灶部位分布不均、轮廓不明显、CT 切片中感染病灶的大小和位置多变等,会造成梯度爆炸、特征利用率低等问题,给模型的训练增加难度,难以提取有效特征,分割精确性低,大部分肺炎公开数据都集中在诊断上,只有极少部分数据集提供了分割标签17。如果仅仅使用原始 U-Net对其训练,存在梯度消失、特征利用率低等问题,最终导致模型的分割准确率难以提高。为了解决上述问题,本文在 U-net 基础上提出了一种多尺度融合编码网络(Multi-Scale Fusion Encoder Net,MSFENet),该网络在编解码器的基础上设计了多尺度融
19、合编码模块,充分利用不同尺度的信息;同时为了进一步解决梯度消失以及上下文特征利用不全的问题,在跳连部分添加改进的自注意力模块;最后为了加速网络收敛使用了多级损失函数约束训练。本文的贡献如下:1)本文在编码器模块提出了多尺度融合编码模块,融合了编码部分的高低层信息,该编码器能保留网络模型中低级轮廓信息和高级语义信息,有助于充分感知深入的特征,为后续的信息提取提供帮助。2)本文在编码器和解码器的跳连部分添加了改进的自注意力模块,减少了对外部信息的依赖,捕捉特征的内部相关性,并解决梯度爆炸即全局上下文信息提取不全的问题。3)最后,本文将 Dice 损失函数、Focal 损失函数、交叉熵损失函数进行融
20、合构建多级损失函数,从而解决正负样本分布不均以及肺部 CT 的相关问题,更好地约束网络训练。2.本文方法本文方法 2.1.网络结构网络结构 本文的网络整体框架如图 1 所示,网络主要包括 3 个部分:编码器、解码器和自注意力模块。其中在编码器部分,本文采用残差模块作为基础网络模块,在网络高层部分采用多尺度融合编码融合不同尺度的语义特征信息,并将融合后的映射特征图输入给后续的解码器部分,同时为了防止下采样过程中特征信息的丢失,编码器和解码器的跳连之间引入了改进的自注意力机制,去关注不同尺度的特征信息,更好的细化特征映射质量,融合不同阶段的语义信息。彭佑菊 等 DOI:10.12677/mos.2
21、023.125421 4619 建模与仿真 Figure 1.Network structure of model 图图 1.网络模型结构 2.2.编码器解码器模块编码器解码器模块 编码器解码器结构是当前语义分割领域的流行框架,其中最常见的 U-Net 网络也是许多新网络的设计基础18 19,它能够实现端到端的像素级分割。编码器作为整个网络的特征提取部分,将原始输入图像编码成低分辨率的特征图,解码器则负责将特征图还原成原始分辨率的像素分类预测图。Figure 2.Residual module structure 图图 2.残差模块结构 彭佑菊 等 DOI:10.12677/mos.2023.
22、125421 4620 建模与仿真 本文采用残差模块20作为基础网络模块。早期深度学习普遍认为网络深度越深,模型的表现就越好,因为如果神经网络越深就能够提取到更高级的语义信息。但实验发现网络越深越难训练,并且浅层网络和深层网络的着重点也有所不同。而残差网络的提出使得特征映射对输出的变化更加敏感,能够保留编码部分中不同层级丢失掉的信息。本文提出的 MSFENet 网络是通过重新设计传统的 U-Net 所得的,该网络结构包括下采样路径和上采样路径,下采样路径能够增大接受域同时也能节约计算成本,而上采样路径就是在恢复下采样路径中图片缩小的分辨率。编码器的残差模块结构如图 2 所示,它包含一个基础的卷
23、积运算(Basic Conv)和一个残差模块(ResBlock),其中基础的卷积运算包括卷积层、批量归一化(Batch Normalization)和线性整流单元。解码器部分由五个解码器模块组成,其中模块的结构与编码器模块类似,将编码器模块的下采样部分换成上采样,通道数随着分辨率上升而减少,通过上采样还原分辨率。2.3.多尺度融合编码模块多尺度融合编码模块 Figure 3.Multi-scale fusion encoder 图图 3.多尺度融合编码器 低层网络的感受野较小,小目标细节信息和边缘信息较多,但缺少丰富的语义信息;高层网络的感受野较大,有丰富的语义信息,但包含的小目标信息较少。因
24、医学影像中待分割的目标区域尺度变换大、形状不规则、边界模糊,以及目标区域与周围组织强度不均匀等因素21,只学习单一尺度的图像特征可能会导致一些重要的上下文信息被忽略,从而导致网络的分割效果不佳。而 CT 图像中不仅包含着许多细节特征,而且也富含高级语义信息,所以为了更好地融合网络中低层的边缘信息和高层语义信息,本彭佑菊 等 DOI:10.12677/mos.2023.125421 4621 建模与仿真 文设计了多尺度融合编码模块,将低层的特征添加至相邻高层信息中进行融合,同时也将高层的特征添加到相邻的低层组合成新的特征,以此来聚合不同尺度的信息,对于输入的肺部 CT 图像,首先在提取编码器模块
25、第 3、4、5 层(if,3,4,5i=)的高低层信息后通过多尺度融合编码融合信息之后输出。如图 3所示,网络的第 3 层的编码器通过一个下采样再通过一个 3 3 的卷积后输出得到3f,再通过卷积和拼接操作将3f 和4f的特征融合在一起得到3f,然后将第 5 层的编码器输出信息进行上采样后通过卷积得到5f,之后与第4层编码器和3f的输出信息进行融合,最后通过拼接和卷积操作得到输出特征图Output,公式如式(1)(4)。()()33fConv Down f=(1)()()55fConv Down f=(2)()()()3334,fConv Concat fff=(3)()()()345,Out
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 尺度 融合 编码 注意力 肺部 CT 分割 算法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。