融合残差Inception与双向ConvGRU的皮肤病变智能分割.pdf
《融合残差Inception与双向ConvGRU的皮肤病变智能分割.pdf》由会员分享,可在线阅读,更多相关《融合残差Inception与双向ConvGRU的皮肤病变智能分割.pdf(10页珍藏版)》请在咨信网上搜索。
1、ISSN 10049037,CODEN SCYCE4Journal of Data Acquisition and Processing Vol.38,No.4,Jul.2023,pp.937-946DOI:10.16337/j.10049037.2023.04.016 2023 by Journal of Data Acquisition and Processinghttp:/Email:sjcj Tel/Fax:+8602584892742融合残差 Inception与双向 ConvGRU的皮肤病变智能分割顾敏杰1,李雪2,陈思光1(1.南京邮电大学物联网学院,南京 210003;2.南
2、京医科大学附属妇产医院(南京市妇幼保健院)皮肤科,南京 210004)摘要:由于皮肤病病灶的形状、颜色以及纹理差异极大,且边界不明确,使得传统深度学习方法很难对其进行准确分割。因此本文提出了一种融合残差 Inception与双向卷积门控循环单元(Convolutional gated recurrent unit,ConvGRU)的皮肤病变智能分割模型。首先设计了一种云边协同的皮肤病变智能分割服务网络模型,通过该网络模型,用户可以获得快速、准确的分割服务;其次,构建了一种新的皮肤病变智能分割模型,通过融合残差 Inception 与双向 ConvGRU,该模型能融合不同尺度特征,提高模型特征提
3、取能力,并能充分利用底层特征与语义特征之间的关系,捕获更丰富的全局上下文信息,取得更好的分割性能;最后,在 ISIC 2018 数据集上的实验结果表明,所提出的智能分割模型与近期提出的几种 UNet扩展模型相比,取得了更高的准确率与 Jaccard系数。关键词:皮肤病;图像分割;残差网络;U型卷积神经网络;卷积门控循环单元中图分类号:TP391 文献标志码:AResidual Inception and Bidirectional ConvGRU Empowered Intelligent Segmentation for Skin LesionGU Minjie1,LI Xue2,CHEN
4、Siguang1(1.School of Internet of Things,Nanjing University of Posts and Telecommunications,Nanjing 210003,China;2.Department of Dermatology,Women s Hospital of Nanjing Medical University(Nanjing Maternity and Child Health Care Hospital),Nanjing 210004,China)Abstract:The shape,color and texture of sk
5、in lesions are very different,and the boundaries are not clear,which makes it difficult for the traditional deep learning methods to segment them accurately.Based on the above challenge,this paper proposes a residual Inception and bidirectional convolutional gated recurrent unit(ConvGRU)empowered in
6、telligent segmentation model for skin lesion.Specifically,a cloud-edge collaboration intelligent segmentation service network model for skin lesion is firstly designed.By this network model,users can obtain quick and accurate segmentation services.Furthermore,a novel intelligent segmentation model f
7、or skin lesion is developed.By integrating residual Inception and bidirectional ConvGRU,this model can fuse multi-scale features and make full use of the relationship between low-level features and semantic features.It improves the ability of the model to extract features 基金项目:国家自然科学基金(61971235);中国博
8、士后科学基金(2018M630590);江苏省“333高层次人才培养工程”;江苏省博士后科研资助计划(2021K501C);南京市妇幼保健院青年人才和南京邮电大学“1311”人才计划资助。收稿日期:20220121;修订日期:20220916数据采集与处理 Journal of Data Acquisition and Processing Vol.38,No.4,2023and capture global context information,and leads to better segmentation performance.Finally,experimental results
9、 on ISIC 2018 dataset show that the proposed intelligent segmentation model achieves higher accuracy and Jaccard coefficient than several recently proposed UNet extended models.Key words:skin lesion;image segmentation;residual network;UNet;convolutional gated recurrent unit(ConvGRU)引 言皮肤病是人类最普遍的疾病之一
10、,而恶性皮肤病,如皮肤癌,是造成全世界人类死亡的重要原因之一,其中黑色素瘤是最致命的皮肤癌。2021年美国癌症协会的年度报告称,2021年美国将会有大约 10万名新确诊的黑色素瘤患者1,如果不及早发现,黑色素瘤会深入皮肤,并攻击附近健康细胞。一旦黑色素瘤扩散到身体的其他部位,就变得难以治疗,其 5年生存率低于 15%2。Siegel等3研究发现,如果黑色素瘤能在早期阶段被诊断,5年生存率可达到 92%,因此,恶性皮肤病的早期诊断至关重要。然而,良性皮肤病与恶性皮肤病在视觉上极其相似,这给皮肤病鉴别带来了极大困难。当前,皮肤病诊断需求急剧增加,主要依赖临床医生视觉评估来进行诊断,这种方法耗时烦琐
11、,且易出错。针对上述诊断需求量大与人工诊断易出错的问题,计算机辅助诊断(Computeraided diagnosis,CAD)系统已普及于皮肤病的初步诊断。皮肤病 CAD 系统的执行过程分为 4个步骤:预处理、分割、特征提取与分类。其中,分割是对皮肤病图像进行分析的基础工作,且分割结果对皮肤病诊断的影响最大4。分割可通过检查病灶的大小、形状、颜色与纹理来完成。然而,由于皮肤病种类繁多,且病灶的形状、大小和颜色各不相同,有些病灶边界不规则,有些病灶与皮肤之间的过渡很平滑,因此很难进行精确的分割。随着近年来机器学习与深度学习的快速发展,它们在许多领域取得了良好的效果。与此同时,众多研究者开始将机
12、器学习与深度学习应用于医学图像领域。目前,在图像分割领域,具有代表性的方法大概有 3类:基于机器学习的方法、基于全卷积神经网络的方法和基于编码器解码器架构的方法5。基于机器学习的方法。Aljanabi等6利用人工蜂群算法寻找黑色素瘤分割的最优阈值,然后将得出的最优阈值用于黑色素瘤分割;Khan等7提出了用于检测与区分黑素瘤与良性痣的智能系统,首先使用高斯滤波器对皮肤病图像进行去噪,然后使用改进的 k均值聚类算法对病灶进行分割,最后应用支持向量机对皮肤病进行分类;Devi等8提出了一种基于模糊 C 均值聚类(Fuzzy Cmeans,FCM)的非皮肤镜图像病变分割方法,该方法利用局部极大值与欧氏
13、距离检测图像直方图的二项分布特性,并使用直方图属性对 FCM 进行自动聚类选择,从正常皮肤中分割出病灶区域;文献 9 结合基于像素的马尔可夫随机场与随机区域合并算法,将似然函数分解为像素似然函数与随机区域合并似然函数的乘积,该方法提高了对边界不规则病变的分割精度。以上方法大多基于传统的机器学习算法,通常只能提取底层特征信息,而无法提取高级语义特征,因此,传统方法难以对复杂皮肤镜图像进行精确的分割。基于全卷积神经网络的方法。为了克服传统机器学习方法在图像分割方面存在的问题,Long等10提出了全卷积神经网络(Fully convolutional network,FCN)。FCN 是最早用于语义
14、分割的深度学习方法,该网络将 CNN 中的所有全连接层都替换为卷积层,这使得它能接收任意大小的图像并输出相同大小的分割图。FCN 经常被用于医学图像分割任务。Kaymak 等11使用 4 种不同的 FCN 结构来对皮肤病图像进行分割,包括 FCNAlexNet、FCN8s、FCN16s 与 FCN32s。AlMasni 等12提出一种新的FCN 架构 FrCN(Full resolution convolutional network),它直接学习输入数据每个像素的完整分辨率特征,实现了更精确的逐像素分割;Yang 等13提出了一种随机森林与 FCN 相结合的皮肤病图像分割方938顾敏杰 等:
15、融合残差 Inception与双向 ConvGRU 的皮肤病变智能分割法,将随机森林与 FCN 的分割结果融合成最终的图像分割结果;文献 14 提出了一种基于对比度信息融合的 FCN 用于皮肤病变分割,该网络充分利用了架构中每个卷积块的对比度信息。尽管以上基于FCN 的方法提升了皮肤病图像分割的准确率,但也存在一定的局限性,比如,没有考虑全局上下文信息,对图像细节敏感度较低等。基于编码器解码器架构的方法。基于深度学习的编码器解码器体系结构被广泛应用于医学图像分割,其中 UNet15是目前最流行的用于医学图像分割的神经网络之一。UNet由捕获上下文信息的编码器与提供精确分割定位的编码器组成。与
16、FCN 相比,UNet的优势在于可以更多地感知到全局上下文信息,并且能够在训练样本缺少的情况下取得良好的分割性能。文献 16 使用空洞空间卷积池化金字塔(Atrous spatial pyramid pooling,ASPP)生成多尺度特征,并且使用 Dense 连接来组合编码器与解码器的特征图;文献 17 在 UNet的每一步编码步骤与解码步骤之间加入残差连接,保留了编码器阶段由于各层最大池化操作而丢失的信息;Iranpoor等18在 UNet编码器部分融合预先训练的 ResNet网络进行特征提取,并将编码器部分的池化层替换成步长更大的卷积操作;Nazi等19使用 UNet从周围皮肤中分割出
17、病灶区域,并通过融入 dropout模块、数据增强与迁移学习,克服了神经网络应用于小样本医疗数据集的局限性;文献 20 使用 10个标准卷积层、金字塔池模块与扩展卷积块代替 UNet中的编码路径,这使得模型能够学习更具有代表性的图像特征。尽管 UNet在医学图像分割领域取得了很大成功,但在特征提取与特征拼接方面存在一定提升空间。例如,原始 UNet使用 33卷积进行特征提取,无法获得多尺度感受野;虽然 UNet编码器提取的特征具有丰富的图像细节信息,解码器提取的特征包含更多的高级语义特征,但是原始 UNet中的特征拼接操作无法充分利用细节信息与语义特征的依赖关系。为了进一步提升分割模型特征提取
18、与感知上下文信息能力,本文提出了一种融合残差 Inception与双向卷积门控循环单元(Convolutional gated recureent unit,ConvGRU)的皮肤病变智能分割模型。主要贡献包括:(1)设计了一种云边协同的皮肤病变智能分割服务网络模型,通过该网络,用户可以获得快速、准确的分割服务;(2)提出了一种基于 UNet的皮肤病变智能分割模型,通过融合设计的残差 Inception模块以及双向 ConvGRU 模块,所设计出的编码器与解码器能够提取多尺度特征,并充分利用底层特征与语义特征的关系,以更好地感知全局上下文信息;(3)实验结果表明,提出的模型训练效率高,和现有模
19、型相比具有更好的分割性能。1 网络模型 本节构建了云边协同的皮肤病变智能分割服务网络,其网络架构如图 1所示,由用户、边缘服务器、云服务器与医疗机构 4部分组成。图 1皮肤病变智能分割服务网络模型Fig.1Intelligent segmentation network model for skin lesion939数据采集与处理 Journal of Data Acquisition and Processing Vol.38,No.4,2023(1)用户。由几种类型的用户终端组成,如平板电脑、智能手机、笔记本电脑与个人电脑等。主要考虑两类用户,包括普通患者与皮肤科医生。具体来说,普通患者
20、可使用相机或手机拍摄皮肤病照片,通过将照片上传至客户端来生成分割服务请求;然后,客户端会把该请求发送给边缘服务器;最后,患者会接收到边缘服务器的服务响应,即获得相应的分割结果。相类似地,当皮肤科医生有辅助分割需求时,可将皮肤镜图片上传至客户端,获得由边缘服务器返回的分割结果,作为准确诊断的基础,反馈的分割结果可提高最终诊断的准确率。(2)边缘服务器。边缘服务器的主要功能是在接收到云服务器的分割模型参数后,为用户提供分割服务。当边缘服务器接收到用户的服务请求时,将图片输入至分割模型,然后把分割结果发送至用户。此外,边缘服务器会存储诊断业务中的相关样本。对于置信度高的分割结果,服务器会存储该结果及
21、其原始图片;对于置信度低的结果,服务器会将其与原始图像发送至医疗机构校正,经过校正的样本将发送至边缘服务器进行存储。最后,边缘服务器中的新样本会作为扩充的训练样本用于后续的模型训练。(3)云服务器。由于模型训练对计算资源的高度依赖,因此其被部署在云端。模型在云服务器中基于医疗机构提供的数据集进行训练,并将训练参数上传到边缘服务器。同时,基于边缘服务器在提供服务过程中涉及到的新样本,模型能够进一步获得精度提升。(4)医疗机构。医疗机构主要有两个功能:为云服务器中的模型训练模块提供训练样本,样本主要由两部分来源构成,包括国际皮肤成像合作组织(International skin imaging c
22、ollaboration,ISIC)提供的公开数据集与医疗机构在提供诊断服务过程中收集的相关数据;将边缘服务器中分割结果置信度较低的样本进行校正,然后将校正好的样本反馈给边缘服务器。2 融合残差 Inception与双向 ConvGRU的皮肤病变分割模型 为了提高模型特征提取的准确度以及感知全局上下文的能力,本节融合残差 Inception与双向 ConvGRU21,基于 UNet提出了一种新的皮肤病变智能分割模型。2.1分割模型架构图 2 展示了本节所设计的融合残差 Inception 与双向 ConvGRU 的分割网络架构。与经典的 UNet类似,该模型整体架构由左侧的编码器与右侧的解码器
23、组成,基于提升模型特征提取与捕获上下文信息能力,本部分重新设计了编码器与解码器,具体的设计如下:(1)编码器。编码器为典型的卷积神经网络结构,它包括两个卷积操作与一个用于下采样的 22 最大池化。在每个下采样操作后,特征通道的数量将增加一倍。与原始 UNet 不同的是,为了更好地提取空间特征,卷积操作使用了残差 Inception 模块,并且该设计没有对输入特征图的尺寸带来改变。(2)解码器。解码器包括一个用于上采样的 22的转置卷积、一个批标准化(Batch normalization,BN)操作、一个特征拼接操作与两个残差 Inception模块。解码器将进行 4次上采样操作,在每次上采样
24、操作后,特征图的尺寸将增大一倍,特征通道的数量将减少一半。为了使网络能够更加有效地利用浅层特征与深层特征的关系,在原始 UNet的拼接操作中应用了双向 ConvGRU 模块。此外,本文在上采样后添加的一个批标准化操作用来提高神经网络的稳定性与训练速度。在最后一层,使用 11卷积核生成与原始输入图像大小相同的特征图。2.2残差 Inception模块基于 GoogLeNet的 Inception 模块与 ResNet的残差思想,本节设计了一种残差 Inception 模块代替940顾敏杰 等:融合残差 Inception与双向 ConvGRU 的皮肤病变智能分割传统 UNet中的 33卷积操作。
25、一般来说,增加模型深度与宽度是提高其性能最直接的方法,但增加深度与宽度意味着参数的增加,具有大量参数的模型训练极其耗费计算资源,并且容易产生过拟合问题。为了解决这些问题,将 Inception 模块引入 UNet中。通过增加网络的深度与宽度以及减少参数,Inception模块可提高计算资源的利用率与图像特征提取的效率。Inception模块采用不同大小的卷积核来获得不同的感受野,最后对不同的特征图进行拼接,融合不同尺度的特征。特别地,为了解决随着网络加深而出现的网络退化问题,如梯度消失与梯度爆炸,本文在 Inception 模块中添加了残差连接。设计的残差 Inception 模块如图 3 所
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 融合 Inception 双向 ConvGRU 皮肤 病变 智能 分割
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。