基于深度迁移学习的肠道息肉癌变风险评估.pdf
《基于深度迁移学习的肠道息肉癌变风险评估.pdf》由会员分享,可在线阅读,更多相关《基于深度迁移学习的肠道息肉癌变风险评估.pdf(10页珍藏版)》请在咨信网上搜索。
1、 doi:10.3772/j.issn.1002-0470.2023.06.007基于深度迁移学习的肠道息肉癌变风险评估程 珊叶 然 曹 婧 姚佳锋 李 胜 何熊熊(浙江工业大学信息工程学院 杭州 310023)(丽水市人民医院 丽水 323400)摘 要 针对肠道息肉分类中不同类型息肉难以区分的问题,提出了一种基于深度迁移学习的肠道息肉癌变风险评估方法。该方法首先在主干网络中引入通道注意力进行息肉特征提取;然后将任务网络注意力图分支输出的注意力图加权到主干网络输出的特征图上,获取更精确的病灶特征;最后将加权后的特征图输入到任务网络的感知分支,使用 2个分支的损失函数以端到端的方式优化模型,以
2、进行息肉癌变风险评估。本文方法对数据集进行了增强,并结合迁移学习进一步提升分类效果,最优模型的灵敏度、特异度、精准度、F1 分数及曲线下方的面积(AUC)分别为 99.38%、98.15%、98.17%、98.77%和0.9996。实验结果表明,本文方法能有效地对肠道息肉癌变风险进行评估,性能优于该领域流行的深度学习方法。关键词 深度学习;迁移学习;通道注意力;注意力图;图像分类;肠道息肉0 引 言结直肠癌是最常见和致命的癌症之一,根据2020 年世界癌症报告,结直肠癌已成为发病率第3 的癌症1。肠道息肉是引发早期结直肠癌变的主要肠道疾病之一,且不同类型息肉的癌变风险不同。筛查肠道息肉和评估其
3、癌变风险对于预防早期结直肠癌很重要,若筛查出高风险息肉应当尽快手术切除。然而做结肠镜检查时,医生凭借肉眼对息肉分类的准确性与医生的经验很相关,这种人工操作难度较大、费时耗力,且易造成漏诊和误诊2。因此,需要开发计算机辅助诊断技术来实现息肉癌变风险评估,以协助医生对癌变风险不同的息肉进行分类。传统的息肉分类方法通常基于特征提取和分类器训练。Stehle 等人3利用腺瘤和增生息肉表面血管特征的区别来对息肉分类,通过相位对称和快速行进相结合对血管进行分割,以计算血管长度、血管中心线处的平均灰度和平均血管周期。Tamaki 等人4采用高斯差分和网格采样等方案提取局部特征,使用表示局部特征的视觉单词包和
4、支持向量机组成的识别系统对息肉进行分类。Mesejo 等人5利用二维颜色特征、二维纹理特征和三维形状特征对增生性病变、锯齿状腺瘤和腺瘤进行分类。传统方法基于手工特征工程,需要大量的工程技能,反复微调多个参数,且模型泛化能力差、适应性低6。深度学习7在息肉分类任务中已具有出色的表现。Zhang 等人8开发了一种用于息肉检测和分类的自动系统,使用迁移学习,利用深度卷积神经网络从大型非医学数据集中学习到的特征参数来对息肉分类。Shaban 等人9提出了一种新的大肠组织学图像上下文感知学习框架。但这些深度学习方法或忽略了局部病变区域的细微特征,或依赖组织学数据对肠道息肉进行分类。因为医学图像采集困难,
5、标记的数据集较小,息肉类内病灶形状差异大,026 高技术通讯 2023 年 第33 卷 第6 期:620-629 国家自然科学基金(61873239)和浙江省教育厅一般科研(Y202043133)资助项目。女,1997 年生,硕士生;研究方向:智慧医疗;E-mail:2268980570 。通信作者,E-mail:849221400 。(收稿日期:2021-09-14)病变区域与正常组织之间高度相似,模型性能通常受到限制。针对上述问题,本文使用数据增强对原始数据集进行了扩展,基于深度学习,提出了引入通道注意力的主干网络用于息肉特征提取,使用注意力图聚焦局部病灶区域,并结合迁移学习来进一步提高息
6、肉分类的效果,从而实现利用结肠内窥镜图像有效地对息肉癌变风险进行评估。1 方 法1.1 数据增强肠道息肉常见的有炎症性息肉、幼年性息肉、增生性息肉和腺瘤性息肉 4 种类型。各类型息肉的癌变风险不同,炎症性息肉、幼年性息肉和增生性息肉几乎不发生癌变,属于低风险息肉,腺瘤性息肉癌变风险较高。幼年性息肉可通过患者年龄来判别,因此本方法不对幼年性息肉进行计算机辅助分类。建立的结肠内窥镜息肉图像数据集包括炎症性息肉、增生性息肉和腺瘤性息肉 3 种类型的息肉图像,其中腺瘤性息肉分为管状腺瘤和绒毛状腺瘤。如图 1所示。图 1 不同类型息肉原始图像原始息肉图像周围的黑色区域含有实验并不需要的注释信息,使用 m
7、ask 技术盖住了这些无用的注释信息,再将图像大小裁剪为 560 480 像素。由于原始数据集的样本数量较小,且各类别样本数量不平衡,结肠内窥镜在拍摄肠道时角度随机,息肉图像有时因为曝光而过亮,有时因为光照不足过暗、对比度低,有时有泡泡、杂质等,因此本方法对原始息肉图像采用了亮度调整、对比度调整、随机翻转、随机旋转、加高斯噪声等一系列基本的数据增强操作,扩展了息肉样本数量,使类别的样本数量平衡,使训练的模型能够对质量较差的息肉图像进行分类。如图 2所示,图 2(a)是遮盖无用信息并裁剪后的息肉图像,图 2(b)是亮度调整后的息肉图像,图 2(c)是对比度调整后的息肉图像,图 2(d)是随机翻转
8、后的息肉图像,图2(e)是随机旋转后的息肉图像,图2(f)是加高斯噪声后的息肉图像。图 2 增强后的息肉图像1.2 ResNet50 卷积神经网络ResNet5010由很多个相似的残差块串联而成,残差块结构如图 3 所示,输入 x 经过残差路径的 3个卷积层后输出 F(x),再将 F(x)与输入 x 相加,经过 ReLU 激活后得到整个残差块的输出。图 3 残差块结构ResNet50 结构如图 4 所示,网络第 1 层是步长126程 珊等:基于深度迁移学习的肠道息肉癌变风险评估为 2、通道数为 64 的 7 7 卷积层,降采样后经过BN(batch normalization)层和 ReLU
9、激活层;第 2 层是步长为 2 的 3 3 最大池化层;接着就是分别具有3、4、6、3 个残差块的卷积层 Conv2x、Conv3x、Conv4x、Conv5x,其中 Conv2x 的步长为 1,其余卷积层的步长均为 2;最后经过 7 7 平均池化层(average pooling,Avgpool)和全连接层(fully con-nected layers,FC)后输出类别。ResNet50 在训练的图 4 ResNet50 结构后向传播时更好地将深层梯度传到上一层,利于构建更深的网络。1.3 基于 ResNet50 改进的网络结构ResNet50 在图像领域取得了显著成果,但是应对复杂的息肉
10、图像进行分类时性能仍有提升空间。因此,针对不同类型息肉图像难以区分的特点,本方法提出了一种基于 ResNet50 改进的网络结构,用于对肠道息肉癌变风险的评估。如图 5 所示,本方法改进的网络结构包括主干网络和任务网络 2 部分,主干网络基于 ResNet50 的前 40 层卷积层,任务网络包括 2 个并行执行任务的分支结构:注意力图分支和感知分支。本方法在整个网络的残差块结构中引入了通道注意力,同时将注意力图在特定通道方向上与主干网络输出的特征图进行加权,从而为网络引入空间注意力。本方法结合了通道注意力机制和空间注意力机制,能够更加准确地聚焦于息肉病灶区域。此外,生成的注意力图实现了模型对息
11、肉区域聚焦作用的可视化,为网络做出的决策提供了直观的依据,同时能够在临床中对医生进行病灶位置提示。图 5 整体模型网络结构 主干网络的输入为 224 224 像素的结肠内窥镜息肉图像,其相当于一个特征提取器,用于息肉图像的细微特征提取,以克服不同类型息肉的类内病灶形状、大小差异大的问题,同时输出特征图。主干网络的结构基于改进的 ResNet50 前 40 层卷积层,首先是 7 7 卷积层、BN 层、ReLU 激活层和最大池化层 MaxPool,接下来就是引入通道注意力模块(channel attention module,CAM)的残差块卷积层Conv2x、Conv3x、Conv4x,它们分别
12、具有 3、4、6个引入 CAM 的残差块。通过在这些残差块中引入CAM,使主干网络能够自动学习特征图中各通道的权重,关注重要的特征,抑制不相关的特征,以便主干网络更有效地提取特征。任务网络的注意力图分支接收来自主干网络输226高技术通讯 2023 年 6 月 第 33 卷 第 6 期出的特征图,并通过引入基于响应的视觉解释模型11来生成注意力图。注意力图分支首先将特征图输入到 Conv5x 以提取更深层的特征,Conv5x具有 3 个引入 CAM 的残差块,经过 BN 层、1 1 卷积层后进行 ReLU 激活,ReLU 激活后分为 2 个小分支:一个小分支经过 3 3 卷积层、BN 层后通过
13、Sig-moid 激活输出注意力图 可视化图像中具有高度响应的区域,从而聚焦于病灶;另一个小分支经过1 1 卷积层、14 14 全局平均池化层(global aver-age pooling,GAP)和全连接层(FC)后,对息肉癌变风险高低的类别进行判断。本方法利用注意力机制的思想,将注意力图分支生成的注意力图在特定通道上与主干网络输出的特征图进行点积,再与特征图相加得到新特征图,即将注意力图分支已学习到的空间方向上像素的权值加到主干网络输出的特征图上,相当于给网络引入了空间注意力。感知分支类似于一个分类器,将特征图通过具有 3 个引入 CAM 的残差块卷积层 Conv6x、7 7平均池化层(
14、Avgpool)、FC 后,对息肉癌变风险高低的类别进行判断。使用注意力图分支和感知分支 2个分支损失函数的加权和作为总训练损失函数,来对整个模型进行端到端的优化训练,克服不同类型息肉相似性大的问题,以提高模型对肠道息肉癌变风险评估的性能。1.4 通道注意力残差模块近年来,注意力机制已被广泛应用于计算机视觉应用的深度学习中,其核心思想是模拟人类视觉的感知机制,聚焦特征图中最重要的局部,从而消除计算机视觉应用中的冗余部分12。因此,为聚焦结肠内窥镜息肉图像中的息肉部分,本方法提出了一种有效的通道注意力机制,它使网络自动确定通道方向特征的重要性,过滤性地选择特征,使网络能够更有效地提取特征,且能以
15、较低的计算量成本提高网络的分类性能,其结构如图 6 所示。在图 6 中,将图像输入到残差块,经过 1 1 卷积、3 3 卷积、1 1 卷积后输出特征图 Fi,其中 C表示特征图的通道数目,H 和 W 分别代表特征图的高和宽。将 Fi作为输入,经过 CAM 后输出 C 1 1的通道注意力因子(channel attention factors,CAF)。图 6 具有通道注意力的残差模块在 CAM 中,输入的特征图首先通过全局 MaxPool 进行下采样,以保留最重要的信息,并降低计算量。接着将下采样后的特征图展平为一维向量,再经过一层 1 1 卷积,以从向量中提取特征并调整其维数。然后使用 BN
16、 层和 ReLU 激活层对提取的特征进行处理,以提高模型训练的收敛速度和非线性表示能力。最后,经过一层全连接层 FC、ReLU 激活和 Sig-moid 激活函数输出 C 1 1 的 CAF,CAF 的值范围在 0 1 之间,其大小反映了通道的重要性。经过CAM 后,将 CAF 与特征图 Fi逐元素相乘进行融合,输出融合后的特征图 Fi,其过程表示为式(1)和式(2),最后将 Fi 与残差块的输入相加后作为输出,再进入到下一个具有 CAM 的残差块。CAF=CAM(Fi)(1)Fi=CAF Fi(2)1.5 迁移学习本方法基于监督学习对结肠内窥镜息肉图像进行分类。监督学习需要大量标注过的数据,
17、而原始结肠内窥镜息肉图像的获取代价大、采集困难,所以标记的息肉图像数据集通常较小。虽然卷积神经网络具有很强的表征能力,但由于数据集规模的受限,模型的性能依然会受到限制。迁移学习可以用来解决这个问题,迁移学习将神经网络在大规模源数据集上已训练好的模型(预训练模型)参数复制到目标网络中,来帮助新的模型训练13-14,其过程示意326程 珊等:基于深度迁移学习的肠道息肉癌变风险评估图如图 7 所示。图 7 迁移学习在图 7 中,预训练网络是已经在 ImageNet 自然数据集上训练好的 ResNet50 分类网络模型,其在ImageNet 数据集上学到的一些空间特征可以有效地帮助学习息肉图像中与自然
18、图像共有的特征。本研究迁移了 ResNet50 预训练模型的参数,去初始化与本研究方法网络共有层的权重,从而加快并优化了网络的学习收敛效率,得到了性能更优的肠道息肉癌变风险评估模型。1.6 损失函数本文方法同时使用任务网络的注意力图分支和感知分支 2 个分支的损失函数加权和以端到端的方式对模型进行优化训练。每个分支的训练损失由结合标签平滑15的交叉熵损失来计算,交叉熵损失函数 L 表达为式(3),其中 N 表示总样本数量,yi表示样本 i 的标签,pi表示样本 i 预测为正类的概率。分类问题中,常认为训练数据中标签向量的目标类别概率应为 1,非目标类别概率应为 0。传统 one-hot 编码的
19、标签向量 yi为式(4)。标签平滑是一种正则化方法,它结合均匀分布,用新的标签向量yi来代替 yi,yi表示为式(5),其中 是一个很小常量,本方法经过实验设置 =0.05,K 是类别数量,本文 K=2。标签平滑后的分布相当于给真实分布加入噪声,避免模型对正确标签过于自信,降低对正负样本的预测差别,从而可以显著地提升神经网络的学习速度和泛化能力,避免过拟合。L=1Ni-yilog(pi)+(1-yi)log(1-pi)(3)yi=1 i=target0 i target(4)yi=1-i=target/(K-1)i target(5)总训练损失函数 L(xi)是注意力图分支和感知分支 2 个分
20、支损失函数的加权和,其公式表示为式(6)。在反向传播过程中,通过传递注意力图分支和感知分支的梯度来优化整个模型。用 Latt(xi)表示输入样本为 xi时的注意力图分支损失,Lper(xi)表示输入样本为 xi时的感知分支损失,经过实验,设置 为 0.1,为 0.9 时模型最优。L(xi)=Latt(xi)+Lper(xi)(6)2 实 验2.1 实验整体流程实验的整体流程如图 8 所示,首先建立包括训练集、验证集和测试集的数据集,并通过数据增强对数据集进行扩展,搭建基于深度迁移学习的两分支网络框架,在训练集上学习权重建立模型,通过验证集来调整模型参数,在测试集上测试已经训练好的模型的性能。图
21、 8 实验流程2.2 数据集2.2.1 癌变风险数据集从丽水市人民医院消化内科 405 个病例收集了405 张原始结肠内窥镜图像,所有受试者均签署了知情同意书,所有图像均由经验丰富的医生进行了手动标注,并按病理活检结果进行了分类。由于炎症性息肉和增生性息肉几乎不发生癌变,腺瘤性息肉有一定的癌变风险,所以特别需要对腺瘤性息肉进行判别。因此,将管状腺瘤和绒毛状腺瘤划分为高风险,炎症性息肉和增生性息肉划分为低风险。这样原始数据集有 135 张高风险和 270 张低风险息426高技术通讯 2023 年 6 月 第 33 卷 第 6 期肉图像,将原始数据集按照 3 1 1 的比例随机划分为训练集、验证集
22、和测试集,即原始数据集的训练集包含 81 张高风险和 162 张低风险息肉图像,验证集和测试集均包含 27 张高风险和 54 张低风险息肉图像,这 3 个子数据集互相独立不重复。利用数据增强分别对原始数据集的 3 个子数据集进行了扩展。由于类别不平衡,原始高风险数据集扩展了 12 倍,原始低风险数据集扩展了 6 倍,数据集信息见表 1。2.2.2 Kvasir 公开数据集为进一步验证本方法所提出网络的泛化能力和稳定性,本文从最大的公开胃肠图像数据集 Kvasir 公开数据集中选取了一些正常图像和息肉图像作为分类数据集,以进行对比实验。该数据集包括 1000 张正常图像和 1000 张息肉图像,
23、也按照3 1 1的比例随机地划分为训练集、验证集和测试集,数据集信息见表 1。表 1 数据集的统计信息数据集类别训练集验证集测试集癌变风险数据集高风险972324324低风险972324324Kvasir 公开数据集正常600200200息肉6002002002.3 实验细节本文实验基于 1.6.0+cu101 版 PyTorch 深度学习框架和 Python 3.7 编程语言。硬件配置为 Intel(R)Xeon(R)Silver 4210R CPU2.40 GHz 2.39 GHz(2处理器),64 GB 内存,3 块 NVIDIA GeForce RTX2080 SUPER GPU 并行
24、计算,提高训练速度。本实验训练模型时批尺寸(batch size)设为 32,使用 Ad-am 优化器来优化模型参数,其参数为 lr=0.0001,1=0.9,2=0.999,eps=1e-8,并使用 StepLR 机制来调整学习率,实验对模型进行了 100 迭代(ep-ochs)训练。训练前,将所有读入的图像的像素尺寸均调整为 224 224 像素后再输入到网络。为了评估网络的分类性能,本研究使用常应用在医学图像二分类算法的评价指标 灵敏度(sensitivity)、特异度(specificity)、精准度(precision)以及 F1 分数来定量评估模型的性能。这 4 个评价指标的计算方
25、式表示如下。sensitivity=TPTP+FN 100%(7)specificity=TNTN+FP 100%(8)precision=TPTP+FP 100%(9)F1-score=2precisionsensitivityprecision+sensitivity(10)其中,真阳性(true positive,TP)表示被模型预测为阳性的阳性样本,真阴性(true negative,TN)表示被模型预测为阴性的阴性样本,假阳性(false positive,FP)表示被模型预测为阳性的阴性样本,假阴性(false negative,FN)表示被模型预测为阴性的阳性样本。此外,本方法使
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 深度 迁移 学习 肠道 息肉 癌变 风险 评估
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。