基于半监督的3D肝脏CT自动分割方法研究.pdf
《基于半监督的3D肝脏CT自动分割方法研究.pdf》由会员分享,可在线阅读,更多相关《基于半监督的3D肝脏CT自动分割方法研究.pdf(6页珍藏版)》请在咨信网上搜索。
1、肝癌是常见癌症之一,有着较高的死亡率,精准分割肝癌区域是辅助诊断治疗的重要前提。然而肝脏 CT 图像需要专业的医师进行标注,有标签数据较少,获取途径单一。针对分割腹部肝脏 CT 图像需要大量高质量标签并且较难获取的问题,提出了一种采用协同训练的半监督学习分割方法。首先,将有标签数据输入3D U-Net 和3D Res U-Net 进行有监督训练,保存训练得到的两个分割模型,在两个分割模型中分别对无标签数据进行预测;然后,挑选预测的结果,再加入全连接条件随机场处理挑选出的伪标签,细化伪标签的边缘信息,提升伪标签的精确度;最后,加入到训练集中,重复上述步骤直到分割结果的 Dice 相似系数停止提升
2、时结束训练。实验在 LiTS2017 Challenge 肝脏数据集上进行测试,结果表明,在有标签数据集占总数据集的30%时,该方法的 Dice 值达到90.22%,几乎与全监督3D Res U-Net 分割结果持平,说明该半监督学习方法是有效的。关键词:协同训练;肝脏分割;半监督学习;全连接条件随机场;U-Net中图分类号:TP391.41摇 摇 摇 摇 摇 摇 文献标识码:A摇 摇 摇 摇 摇 摇 文章编号:1673-629X(2023)09-0149-06doi:10.3969/j.issn.1673-629X.2023.09.022Automated Segmentation of 3
3、D Liver CT ImagesUsing Semi-supervisionXIE Hong-biao1,LIU Zhi-qin1,WANG Qing-feng1,HUANG Jun1,CHEN Bo1,ZHOU Ying2(1.School of Computer Science and Technology,Southwest University of Science and Technology,Mianyang 621010,China;2.Mianyang Central Hospital,Mianyang 621010,China)Abstract:Liver cancer i
4、s one of the common cancers with a high mortality rate.Accurate segmentation of liver cancer regions is animportant prerequisite for auxiliary diagnosis and treatment.However,liver CT images need to be labeled by professional physicians,andthere are few labeled data and a single way to obtain them.I
5、n order to solve the problem that segmentation of abdominal liver CT imagesrequires a large number of high-quality labels and is difficult to obtain,a semi-supervised automatic segmentation method based on coop鄄erative training is proposed.Firstly,the labeled data is input into 3D U-Net and 3D Res U
6、-Net for supervised training,and the two seg鄄mentation models obtained by training are saved.The unlabeled data are predicted respectively in the two segmentation models.Then thepredicted results are selected,and the pseudo-labels selected by the fully connected conditional random field processing a
7、re added torefine the edge information of the pseudo-labels.It can improve the accuracy of the pseudo-label,and finally add it to the training set.Repeat the above steps until the Dice similarity coefficient of the segmentation results stops improving to end the training.The experimentwas tested on
8、the LiTS2017 Challenge.The results showed when the labeled data sets account for 30%of the total set,the Dice of theproposed method reaches 90.22%,which is almost equal to the fully supervised 3D Res U-Net segmentation result,indicating that thesemi-supervised method is effective.Key words:cooperati
9、ve training;liver segmentation;semi-supervised learning;dense conditional random filed;U-Net0摇 引摇 言肝脏是人体内最大的器官,在人体众多部位有着无可比拟的地位,承担着存储、解毒和合成三个方面的功能。由于人们高压力工作、作息不规律等原因,致使肝脏过度使用,因此肝脏疾病的发病率极高,并且具有多种类、多发性等特点,而这些肝脏疾病均具有较高几第 33 卷摇 第 9 期2023 年 9 月摇 摇 摇 摇 摇 摇 摇 摇 摇 摇计 算 机 技 术 与 发 展COMPUTER TECHNOLOGY AND DEV
10、ELOPMENT摇 摇 摇 摇 摇 摇 摇 摇 摇 摇Vol.33摇 No.9Sep.摇 2023率诱发肝癌,也叫做肝脏恶性肿瘤1。肝癌在全球癌症中有着极高死亡率,每年约有 84 万多新病例和 78万多死亡病例2。人类的生命健康正被肝癌等疾病摧残着。在临床治疗中,自动肝脏肿瘤分割3-5在 CT(computed tomography)图像中有着重要的研究价值,不但可以减少医务人员在分析病情中所耗费的时间,有些还能模仿临床手术操作,提高治疗成功率。但自动肝脏肿瘤分割的准确性在较大程度上依赖标签数据的质量和数量6-7,获取这些肝脏区域标注既需要医学专家进行细致的手动勾画,专家个人的主观因素也会影响
11、到标注精度,会影响后续治疗时间,降低效率8。并且 CT 图像是三维图像,一些分割方法9-10只利用了二维图像,由于 2D 网络结构本身的不足,导致 CT 图像的三维信息没有得到很好的利用,对 2D 网络结构的各种改动也仅限于提高单张切片分割的准确率,让肝脏肿瘤的整体分割性能的提升受到限制。对于以上问题,该文提出了一种基于半监督协同训练的 3D CT 肝脏自动分割方法。主要有以下几个方面的贡献:(1)为了更好地利用医学分割图像中少量的肝脏数据,提出了半监督协同训练方法。(2)提出使用 3D U-Net 和 3D Res U-Net 方法可以更好地利用 CT 图像的三维信息。(3)用 全 连 接
12、条 件 随 机 场(Dense ConditionalRandom Filed,Dense CRF)把预测得到的伪标签通过边缘细化,提升伪标签的精确度。1摇 相关研究深度学习11的发展推进了图像分割性能的大幅提升,通过对标注数据进行学习,能够自动提取大量的特征值,从而提升肝脏分割的准确性。因为肝脏 CT图像边界不清晰,准确分割出肝脏又需要较多高分辨率信息;同时,人体器官的位置相对固定,分割有一定的规律,语义简单清晰,所以对目标器官的识别还需要低分辨率信息。Ronneberger 等人12在 2015 年首次提出将 U-Net 应用到医学图像分割中。U-Net 在编码器和解码器之间加入跳跃连接,
13、可以将低分辨率信息和高分辨率信息很好地结合起来,能够更好地分割肝脏和肝肿瘤。跳跃连接虽然结合了低分辨率信息和高分辨率信息,但没有筛选一些无用的低分辨率信息,使得低分辨率信息过多而导致图像边界模糊。为了解决这个问题,Seo 等人13改进了网络框架,提出了 mU-Net,他们引入了一个剩余路径,加到 U-Net 的跳跃连接部分,其中包含激活操作和反卷积操作,有效地加强了全局特征的提取能力和高分辨率的边缘特征。Fan等人14提出了一种多尺度嵌套 U-Net,优化了跳跃连接区域,解决了跳跃连接传递过多低分辨率信息的问题。由于医学 CT 图像为 3D 图像,使用 2D 网络无法有效利用 CT 图像的三维
14、信息。Milletari 等人15在2016 年提出 3D 网络 V-Net,该方法解决了 2D 网络无法利用 CT 图像的三维信息的问题。紧接着,Jeong 等人16提出一种深度三维注意力 U-Net(3D attentionU-Net)有效学习了各个形状的肝脏。Jin 等人17提出用于肝肿瘤分割的 RA-UNet,在网络中加入注意力剩余机制,可以较好地获取并利用上下文信息。以上肝脏自动分割的研究方法都需要大量的肝脏标注数据进行全监督学习训练,但获取这些肝脏区域标注需要医学专家进行细致的手动勾画,费时费力。因此有研究者提出了一种半监督学习,以减少对人工标注的依赖。在 2013 年 Lee 等
15、人18提出“伪标签冶一词,通过网络自训练利用少量标签数据训练大量无标注样本,分割结果较好。Yang 等人19提出了一个基于图嵌入的半监督学习网络框架,可以共同预测伪标签和图形中的邻域上下文信息。但上述方法生成的伪标签部分效果欠佳,容易使网络错误学习。在这个问题上,Zhou 等人20提出从矢状面、冠状面和轴向平面等多个平面挖掘共识信息,采用多平面融合生成更可靠的伪标签,减少了伪标签中出现的误差,有助于训练更好的分割网络。Liu 等人21提出使用全连接条件随机场处理伪标签,提升伪标签精度,其改进了网络的并行空间和激励模块,能更好地保留图像边缘信息。2摇 方摇 法该文充分利用少量带有肝脏分割标记的
16、CT 图像来预测大量无标记的肝脏 CT 图像,提出一种基于协同训练22的肝脏 CT 图像自动分割方法,包括全监督训练、伪标签挑选和伪标签优化三个阶段。(1)将有标签数据输入3D U-Net 和3D Res U-Net 进行全监督训练,然后把得到的两个分割模型分别对无标签图像进行预测,得到多个伪标签;(2)利用两种分割网络之间的差异性,将得到的伪标签用 Dice 值进行挑选,挑选出 Dice 值较高的伪标签进行下一步处理;(3)把挑选后的伪标签用全连接条件随机场进行细化处理,提高伪标签的准确性。处理后的伪标签加入到训练集继续训练,直到第二步 Dice 值不再增大后停止训练。所提方法可以减少分割模
17、型对肝脏区域手动勾画标注数据的依赖,同时还可以提升 CT 肝脏器官的分割结果精度。半监督分割网络框架如图 1 所示。具体方法如下所述。2.1摇 基于 3D U-Net 和 3D Res U-Net 的全监督训练实验先把有标签数据分别输入到 3D U-Net 和051摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 计算机技术与发展摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 第 33 卷3D Res U-Net 进行全监督训练,训练网络中损失函数均采用 DiceLoss,如公式(1):图 1摇 网络协同训练示意图摇 摇DiceLoss
18、=1-2X 疑 YX+Y摇(1)2.2摇 挑选伪标签将无标签数据分别输入基于 3D U-Net 和 3D ResU-Net 训练出的两个分割模型中进行预测,预测结果作为伪标签集。在半监督学习方法中,难点是如何选择可靠的伪标签加入到训练集中以扩大训练集,该文选用常用的评估指标 Dice(Dice similarity coefficient)值的大小来判断,如公式(2)所示。Dice 值超过 0.85的伪标签在下一步进行标签优化。Dice=2P1疑 P2P1+P2摇(2)式中,P1和 P2分别代表 3D U-Net 与 3D Res U-Net网络对同一 CT 图像的分割结果。2.3摇 基于全连
19、接条件随机场的伪标签优化在网络训练中,若有通过3D U-Net 与3D Res U-Net 协同网络预测产生精度不高的伪标签,未作处理便加入训练集中进行训练,会导致迭代训练过程中网络学习出错,致使错误累积。Dense CRF 可以优化伪标签中粗糙和边缘不确定的标记,修补零星的区域,使其趋近于金标签。Dense CRF 的能量函数23如下:E(Z)=移O子e(ki)+移O,p子f(ki,kj)(3)式中,子e(ki)为一元势能,用于衡量像素点的类别概率,子e(ki)=-logP(fi),fi为经过分割网络后像素 i 得到的预测结果,P(fi)为 f 的概率;子f(ki,kj)为像素 i和像素 j
20、 上的预测结果 ki,kj之间的二元势能,解释各个像素点之间的关系,表达式如下:子f(ki,kj)=滋(ki,kj)誗棕1exp(-mi-m2j2滓2琢-ni-n2j2滓2茁)+棕2exp(-mi-m2j2滓2酌)(4)式中,棕1,棕2为线性组合权重;滋 为标签兼容性函数,滋(ki,kj)为标签兼容项24,它约束了像素间传导的条件,当 ki屹kj时,滋(ki,kj)=1,否则为0;像素之间的邻近程度和相似度由系数 滓琢和 滓茁控制;滓酌=1,其将较小的独立区域去除;mi,mj分别为像素 i 和像素 j 的位置关系,ni,nj分别为像素 i 和像素 j 的强度值。二元势能函数会多于注意到具有相似
21、位置 m、相似强度 n但具有不同标记的 k 像素。能量 E(Z)越小,预测的类别标签 m 就越准确。在实验中,预测的伪标签用 Dense CRF 进行优化,可以提高伪标签的准确度,使其更趋近金标签。2.4摇 具体训练方案实验将数据分为两部分,设 X 为 CT 图像,Y 为其对应的标签图像。第一部分设置有标签数据集 FL=XL,YL,第二部分是无标签数据集 FU=XU。通过训练 3D U-Net 与 3D Res U-Net 分割模型,预测无标签数据得到伪标签 YU,加入 FU中得到 FU=XU,YU。整个实验流程见算法 1。Algorithm1:半监督训练算法I.Network trainin
22、gInput:输入有标签数据集 FL=XL,YLOutput:Model MU,MR/MU为3D U-Net 网络模型,MR为3D Res U-Net 网络模型1:Training 3D U-Net,3D Res U-Net2:Save model MU,MRII.Semi-supervised trainingInput:输入无标签数据集 FU=XUOutput:Model MU,MR1:Load model MU,MR2:for i=1,2,N do/i 表示样本集编号3:摇 Make inference摇MU(XU)寅 Y1U,MR(XU)寅 Y2U4:Compare沂 YU5:摇 Op
23、timize YUwith Dense CRF6:end for7:until converged8:return Model MU,MR3摇 实验结果与分析3.1摇 数据及预处理实验数据来自公开数据集 2017 MICC AI LiTS 肝脏肿瘤分割挑战赛(https:/competitions.codalab.org/competitions/17094),其中包括 0 130 号共 131 例的腹部 CT 图像及其金标签。将数据中的肝脏和肝肿瘤的标签融合为一个,肝脏 CT 图像大小为 512伊512伊 L(其中 L 为 CT 数据中的切片数量)。将肝脏 CT 图像的灰度值标准化到-100
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 监督 肝脏 CT 自动 分割 方法 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。