基于Dual-Hard-Net网络的结直肠息肉分割算法.pdf
《基于Dual-Hard-Net网络的结直肠息肉分割算法.pdf》由会员分享,可在线阅读,更多相关《基于Dual-Hard-Net网络的结直肠息肉分割算法.pdf(7页珍藏版)》请在咨信网上搜索。
1、Jun.2023JOURNALOFCHENGDUUNIVERSITY OFINFORMATIONTECHNOLOGY2023年6 月Vol.38No.3报息成大学学工程都信第38 卷第3期文章编号:2 0 96-16 18(2 0 2 3)0 3-0 2 91-0 7基于Dual-Hard-Net网络的结直肠息肉分割算法高瑜曼,高琳”,何晋?(1.成都信息工程大学电子工程学院,四川成都6 10 2 2 5;2.成都信息工程大学区域链产业学院,四川成都6 10 2 2 5)摘要:由于结直肠息肉在形状,色泽和质地等方面各异,且息肉与其周边正常区域的边界分辨模糊等特点,导致息肉医学图像分割存在较大挑
2、战。为提高结直肠息肉的分割准确率,提出一种改进的Dual-Hard-Net网络分割算法。算法采用经典的编解码结构,以Hardnet为共享编码器提取必要的多尺度特征,运用两对并行排列的解码器对提取的特征加以充分利用,并引人改进的注意力机制和残差模块减少计算量,解决梯度消失等问题。分别在两个不同的数据集上进行比较和实验,dice及mloU系数取得了0.8 95和0.8 59的准确率。与当前的多种主流算法相比,算法具有更高的分割准确性和精确度。关键词:医学图像分割;结直肠息肉;编解码结构;多尺度特征;注意力机制中图分类号:TP391文献标志码:Adoi:10.16836/ki.jcuit.2023.
3、03.0070引言在人工智能和医学大数据快速发展趋势下,基于深度学习的医学图像分割在医学辅助领域得到更普遍和深入的运用,有重要的应用前景和潜在发展趋势。和自然图像相比,医学图像存在分辨率高、数据量小、样本大小不平衡等特点,因此基于不同医学分割任务的多种图像分割算法应运而生,解决不同分割领域的问题且得到了有效的应用。如LongJ等1 构建FCN(完全卷积)网络,通过由端到端、像素到像素训练的卷积网络进行语义分割。任意大小的图像都可输入到该网络中,最后通过有效的推理和学习,产生相应大小的分割结果。并采用全卷积化的方式来解决逐像素的预测问题,使用跨层的跳跃连接结构,将浅层的纹理信息和深层次的语义信息
4、进行融合,实现精准的分割任务。Ronneberger 等2 提出一个对称的U型网络,可融合多层多尺度特征,由一个收缩路径获取全局上下文信息以及一个对称的扩张路径进行局部精确定位组成。U-Net网络采用对称编解码结构,在编码网络部分对图像进行卷积获取上下文信息,在解码网络部分采用上采样操作将图像恢复到相应的尺寸大小,并通过跳跃连接将两部分同样分辨率大小的特征进行融合,最后恢复到原尺寸大小。Zhou等3 提出了UNet+,是一个结合深度监督的编码器网络,编码器和子网络由嵌套及密集的跳跃长短连接构建联系,短连接使模型能够得到更有效的训练,长连接可获得上下文更多信息。它还整合了不同层次的特征收稿日期:
5、2 0 2 2-0 8-0 7基金项目:四川省科技计划资助项目(2 0 2 0 YFS0316)提高精度,运用剪枝对网络结构进行简化并配合深度监督,在可接受的精度范围内让深度网络参数量大幅度缩减。Fabian Isensee 等4 提出 nnunet,这是一种根据2 D和3D的unet进行改进的强大自我适应的框架。对包括不同的实体、图像模式、图像几何和数据集大小进行自动适应,而无需手动调整数据集。JhaD5提出了新的DoubleUNet框架,即两个UNet网络叠加的结构,并使用金字塔池化来获取上下文信息。Guan s6将密集连接机制引入到UNet用于图像重建,在降低网络参量的同时提升了图像重构
6、的质量。MultiResUNet7网络使用残差路径替代传统UNet中的跳跃连接,用多分辨率思路替代卷积层。HuangH8结合全尺度的跳跃连接和深度监督,把不同尺度的高级语义和低级语义的特征图融合,提高了计算效率和分割精度。基于以上分割模型,注意力块可以根据不同的重要性有选择地更改输人或分配不同权重,得出每个像素在各个域中的特征重要性,从而重点关注图像的关键信息,较显著地提升分割的准确率。常见注意力机制有局部空间注意力、渠道注意力和混合注意力。Bi-parvaM等9 提出一个网络(ST-NET),将原始图像的信息从一个空间转换为另一个空间并保留关键信息。Oktay等10 提出了注意U-NET,注
7、意力块输出一个门控信号,对不同空间位置的特征重要性加以控制。RoyAG等11 提出的SE-NET使用3个步骤在通道上实现注意力加权。首先是挤压操作,全局平均池在输人功能上执行以获取通道特征映射;第二个是激发操作,先对通道的数量进行压缩,然后将压缩后的通道特征重建回到通道数;最后,将Sigmoid函数生成0,1的特征权重映射乘以原始输人得到最终输出。Li大292息程都成报信第38 卷学学Xiang等12 提出SKNet,设置一组动态选择的卷积,分Split、Fu s e、Se l e c t 3个步骤进行操作。空间注意力可以看作是一种自适应的空间区域选择机制,而忽略了通道信息;而通道注意力直接汇
8、总全局信息,同时忽略每个通道中的本地信息。因此,为将两种注意力机制的优势加以结合,FuJun等13 提出双注意力网络(D A Ne t),在主干网络上附加两种注意力模块,分别对空间维度和通道维度上的语义依赖关系进行建模,并对输出进行融合。上面提到的注意力机制都提高了最终分割性能,但改善图像分割性能最有效的是以渠道为中心的注意力机制。混合注意力机制可以同时利用空间和通道的优势。由于息肉图像背景复杂且息肉很容易受其他正常区域干扰,使编码器提取有效信息的能力有限;部分息肉图像类别分布不均衡,息肉区域像素在图像中比例较小,图像数据少,网络训练较困难,导致出现漏检,且分割精度不高等情况。针对以上问题,受
9、U-Net模型、DDANet模型14、Residual模型和注意力模型的启发,本文提出一种改进的DHN(D u a l-H a r d-Ne t)网络的结直肠息肉分割算法。主要包括以下几个方面的内容:(1)基于DDANet网络架构,通过编解码的形式,在编码部分运用hardnet网络对特征进行有效的多尺度提取,并结合一个由两个并行解码器共享的单个编码器结构对多尺度特征加以充分利用和融合,解决了特征能力不够,数据量少等问题,(2)多支路形式,用不同尺寸大小卷积核的卷积层和空洞卷积层来提取具有不同感受野的特征,拓展网络特征提取的宽度,最后,用11的卷积来合并这些多尺度特征。(3)在解码网络结构和残差
10、模块中嵌人注意力机制模块,捕获多尺度特征进行融合的同时,根据其特征之间的相关性分配相关的系数,对息肉区域加以重点关注,解决了息肉像素占比小,关注度不高,无区别等问题,提高了分割精度。1基于DHN网络的分割算法1.1算法框架本文提出的DHN(D u a l-H a r d-Ne t)结构如图1所示,网络主要包括3个部分:编码部分、解码部分、注意力机制和残差模块。在编码过程中,将训练图像输人到模型中,经过由hardnet网络和卷积层以及池化层组成的编码器结构,由卷积层分别输出4个不同尺度的特征图,再分别输入到解码器中;在解码过程中,上面第一个解码器充当分割网络,下面第二个解码器充当自动编码器网络。
11、自动编码器网络有助于加强编码器网络中的特征图,被用作生成注意力图以便和第一个解码器的输出相乘,然后将结果输人到下一层的解码器中。在最终的输出中,预测图像与输入图像尺寸相同。在解码网络结构和残差模块中嵌人注意力机制模块,根据像素特征之间的相似关联性,关注有效信息,忽略无关信息。将多分支和残差模块嵌入在编解码网络及各个卷积层之中,提取多尺度特征信息,拓展网络宽度。此网络结构的特征为:采用并结合由两个并行解码器共享的单个编码器和多个并行解码器组成的编解码体系结构,编码器中采用的harnet网络是对Densenet的改进,在网络中减少shortcut,增加计算速度,弥补准确性的丢失,且能提取多尺度特征
12、从而提高准确率;其中第一个解码器充当分割网络,第二个解码器充当自动编码器网络,第一个解码器将编码器输出的3个不同尺度的特征图加以充分利用,且使用注意图来改善特征图的语义表示,关注特征的重要部分,再与融合的特征图相乘,输人到下一个解码器。在下一个解码器中对编码器提取的浅层特征和上个解码器的输出重复进行同样的操作,产生新的注意力图和融合新的特征图,能够对重点区域加以再次筛选,最终和高分辨率特征图相乘,输出预测的分割mask 和重建的灰度图像。实验表明,这种结构对多尺度特征的提取和利用及多次注意力机制的运用,有助于提高整个网络的分割性能。AgBDecoderblock52SharedencoderO
13、utputAgBDecoderGrayscaleblocka2imageRFBModulcIxIConv+SignidSkipconnerlion图1DHN算法网络框架1.2编码网络结构编码部分由主干网络HardNet15、卷积层和池化层组成,结构如图2 所示。主干网络是一个低内存占用率的CNN网络,其中hardblock是对Densenet网络中的denseblock进行改进,减少短连接shortcuts的连接数,增加了推理速度,还增加了主层的通道宽度16 293高瑜曼,等:基于Dual-Hard-Net网络的结直肠息肉分割算法第3期因为增加通道的宽度可以让每一层从不同方向、不同频率的纹理特
14、征获取到更加丰富的特征,故可以恢复因为连接在修剪过程中下降的准确性,弥补准确率的丢失。用少量的11conv层来增加计算密度,从而增加运行速度,且达到了比较高的准确率。最后由conv11分别输出不同尺度的特征图,输入解码部分。HarDBlkx8InputImageEncoderconv1x1outputlMaxPooingConv3x3Stride-2HarDBIkx8cOnV3x3convlx1MaxPoolingStride-2HarDBlkx8Encoderconv1x1output2MaxPooingHarDBlkx8SkipconnectionEncoderconv1x1output3
15、MaxPooingHarDBlkx8Encoderconv1x1output4图2改进的Hard-Net编码器模块1.3解码网络结构在解码器部分,借鉴双解码器注意网络(DDA-NET),它是一种可以进行自动息肉细分的深度学习体系结构。具体结构为:有4个decoder块,RGB图像输人到encoder块,将其编码成抽象的特征表示,然后下采样,编码的输出分别对称连到两个解码器中。第一个decodersl块(分割支路)(图3),有3个RFBmod-ule和一个聚合模块,RFB模块是先对不同尺度的特征进行提取,然后再聚合为一个特征输出。EncoderRFBoutput2MouduleDenseAggr
16、egationEncoderRFBoutput3MouduleEncoderRFBoutput4MouduleSkipConnection图3分割支路的解码模块第二个decodera2块(自动编码器支路)(图4),有44的反卷积,将其空间扩大两倍,然后用跳跃连接将编码网络的特征图堆叠到解码器中,跳跃连接增加特征代表性,能加快网络收敛。两个残差块在反向传播中学习到必要的特征。紧接着一个1x1卷积和sig激活函数来产生一个注意力图谱。然后这个图谱乘以第一个解码器(分割支路)的输出,整体的输出作为下个分割支路的解码器的输人,最后decoder块输出通过1x1卷积和sig 函数,第一个块输出分割掩码,
17、第二个输出重建的灰度图。采用的改进解码部分的特点主要有两点:(1)由多个并列的对称结构的解码器组成,其中第一个解码器充当分割网络,将编码器输出的3个不同尺度的特征图加以充分利用,且使用注意图来改善特征图的语义表示,重点关注特征的重要部分。第二个解码器充当自动编码器网络。(2)注意力机制的引入使多尺度特征图在不同的区域有不同的权重系数,能够更精确地关注目标区域。inputSkipconnectionTransposeconv4x4concatenateResidual blockResidual blockoutput图4自动编码器支路的解码器模块1.4相关模块组成多感受野特征提取模块(rece
18、ptivefieldblock,RFB)(图5),采用多支路形式,用不同尺寸大小卷积核的卷积层和空洞卷积层17 来提取不同感受野的特征,最后用1x1的卷积合并这些多尺度特征,得到最后的特征表达,能加强从主干中学习到的深层特征表达。ConvConvDitated Conv1x33x13x3ConvConvDilated Conv1x55x23x3ConvConvDilatedConv1x77x13x3Conv1x1图5RFB模块大294第38 卷息报程都成信学学Residual模块(图6)对常见的残差模块进行了改进,引人注意力SE(s q u e e z e&e x c i t a t i o
19、n)模块,该注意力模块结合通道注意力,也可以引人其他的空间注意力和混合注意力模块,其作用是关注不同特征和目标之间的关联相似性,对不同特征进行区别对待,即分配不同的注意力系数,对有关联的特征加以重点关注而忽略不重要的特征,可以节省资源,input3x3.convBN&ReLU1x1conv3x3convBNBNSqueeze&excitationReLUoutput图6改进的残差模块而Aggregation block部分(图7)将经过RFBmod-ule处理的多尺度特征图先上采样到同样的尺寸,再与另外相应尺寸的输入特征进行相乘,最终通过concat操作叠加所得到的特征图,得到该模块的输出。Mo
20、duleRFBAggregationNode3-1AggregationNode3-2OutputRFBAggregationAggregationModuleNode2-1Node2-2RFBAggregationUp-sampleModuleNode1-1图7特征聚合模块1.5损失函数交叉熵损失函数不仅可以用在传统的分类问题中,也可用在大多数语义分割场景中使用。本文采用的总体损失为两种函数的混合损失函数,表达式为L=Llou+LBcE通常IoU的计算方式为HWZZS(r,c)G(r,c)r=ic=1HW2S(r,c)+G(r,c)-S(r,c)G(r,c)r=lc=1主二分类情况下,寸L1
21、8JBCF式为lBce=-,G(r,c)g(S(r,c)+(1-G(r,c)log(1-(f,c)S(r,c)其中,G(r,c)0,1是像素点(r,c)的ground truth标签,S(r,c)是其为目标显著类别的预测概率。其中IoU代表交并比,BCE代表二元交叉熵,使用加权值的方式来计算损失,可使整个模型重点关注图像中物体的边缘部分。先提取像素值周围15个像素值(上下左右各15个),形成3131的矩阵,然后计算矩阵中数值的平均值,最后计算平均值与该像素值的差值,这样可以得知该像素点与周围像素点的差异,并根据该差异大小添加相应大小的权值来计算损失,从而使模型更加关注图像的边缘部分。由于只关注
22、图像中每个像素点与周围的区别,且结果只与差异的大小有关,所以只需要取绝对值。2实验结果及分析2.1数据集及评价指标采用了Kvasir-SEG19息肉数据集,由10 0 0 张息肉图像和对应的标签图像组成,其中8 8 0 张图像用于训练集,12 0 张图像用于测试集。息肉数据的病灶区域和背景信息较难区分,边界不易分离,且病灶存在特征差异大、形状大小各异等特性,故该数据集对于医学分割任务具有较大的挑战性。因此采用了随机旋转,水平和垂直翻转等数据增强技术2 0 分割性能的评价指标采用的是相似系数(Dice)和平均交并比(mloU)。相似系数(Dice)通常用于计算两个样本之间的相似度,是一种描述集合
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 Dual Hard Net 网络 直肠 息肉 分割 算法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。