基于不确定性估计的医学影像标志点定位.pdf
《基于不确定性估计的医学影像标志点定位.pdf》由会员分享,可在线阅读,更多相关《基于不确定性估计的医学影像标志点定位.pdf(9页珍藏版)》请在咨信网上搜索。
1、基于不确定性估计的医学影像标志点定位叶子杨,余海洋(复旦大学计算机科学技术学院,上海200438)通信作者:叶子杨,E-mail:摘要:基于热力图的方法是当前医学影像标志点定位算法中的主流方法,然而,现有方法几乎都使用预定义的热力图作为标签,不能很好地表示真实的标志点位置分布,从而限制了模型的性能.为此,本文提出基于不确定性估计的医学影像标志点定位算法,同时预测标志点位置及其分布.模型利用多分支空洞卷积提取多尺度的上下文信息,同时使用自注意力机制强化重要特征,从而在预测分布的同时提高算法的定位能力.在公开数据集上的结果表明,本文提出的算法整体上提升了标志点定位的性能,在大部分指标上优于现有算法
2、,并且其预测出的标志点分布与真实标注下的标志点分布相符.关键词:医学影像分析;标志点定位;不确定性估计;热力图;深度学习引用格式:叶子杨,余海洋.基于不确定性估计的医学影像标志点定位.计算机系统应用,2023,32(10):19.http:/www.c-s- Localization in Medical Images Based on Uncertainty EstimationYEZi-Yang,YUHai-Yang(SchoolofComputerScience,FudanUniversity,Shanghai200438,China)Abstract:Heatmap-basedmeth
3、odsaremainstreamforlandmarklocalizationinmedicalimages.However,currentheatmap-basedmethodsalmostexclusivelyemploypredeterminedheatmapsaslabels,whichcannotfullyrepresentthereallocationdistributionsoflandmarkstolimitperformance.Therefore,thisstudyproposesalandmarklocalizationalgorithminmedicalimagesba
4、sedonuncertaintyestimationtosimultaneouslypredictthelandmarksandtheirlocationdistributions.Themodeladoptsmulti-branchdilatedconvolutiontoextractmulti-scalecontextinformationandemploysaself-attentionmechanismtoenhanceimportantfeatures,thusimprovingthelandmarkdetectionabilitywhilepredictingthedistribu
5、tions.Experimentsonpublicdatasetsshowthattheproposedmethodimprovestheoveralllandmarkdetectionperformanceandperformsbetteronmostmetrics.Additionally,thepredicteddistributionsareconsistentwiththerealannotationdistributions.Key words:medicalimageanalysis;landmarklocalization;uncertaintyestimation;heatm
6、ap;deeplearning医学影像是指通过非侵入方式获得的关于人体或其内部状态的图像1.自从 X 射线的发现以来,医学影像就成为了医疗领域之中至关重要的一个工具,在病情诊断、病灶定位、手术规划之中都起到了关键的作用2.标志点则是医学影像中重要的一个解剖学特征.医学影像领域中,标志点的定义是“普遍存在于人体之中,具有一定特征并在位置和拓扑上有对应关系的点或曲线”3.通过对医学影像中的标志点进行定位和分析,医生可以把握病人的身体状况并据此判断病情.因此,探索高效精确的医学影像标志点定位方法,对于医计算机系统应用ISSN1003-3254,CODENCSAOBNE-mail:ComputerSy
7、stems&Applications,2023,32(10):19doi:10.15888/ki.csa.009247http:/www.c-s-中国科学院软件研究所版权所有.Tel:+86-10-62661041基金项目:上海市市级科技重大专项(2017SHZDZX01)收稿时间:2023-03-19;修改时间:2023-04-20;采用时间:2023-04-27;csa 在线出版时间:2023-07-17CNKI 网络首发时间:2023-07-18SpecialIssue专论综述1疗领域而言有着非常重要的意义.近年来,随着人工智能的发展,深度学习技术进入到医疗领域之中,而其中绝大部分研究都
8、是和医学影像分析有关4.基于深度学习的医学影像标志点定位算法也随之大量出现,并展现出了各自优秀的性能.比起直接通过回归的方式获取标志点的坐标,研究者们通常更倾向于选择让深度学习模型去预测表示标志点位置概率分布(一般为高斯分布)的热力图,因为热力图可以更好地建模人类行为5:标注者由于不能每次都完全准确地标注标志点的位置,对同一标志点进行多次标注时可能会给出不同的结果,其概率可以用一个分布来表示,并通过热力图的方式展现出来,即:热力图表示了标注过程中存在的不确定性.然而,现有的基于热力图的方法并没有充分对这种不确定性进行估计.在这些方法中,研究者通常使用预先定义好的热力图作为先验知识,同时引入了两
9、个假设:(1)所有标志点的位置分布具有相同的方差;(2)标志点的概率在不同方向上具有相同的下降速度.这两点假设并不符合现实:首先,所有标志点的概率分布方差相同意味着所有标志点的定位难度相同,然而一些较容易定位的标志点(比如在较清晰的边界上)的概率分布应该有着更小的方差,反之亦然;其次,标志点的概率分布具有各向同性意味着该标志点在不同方向上都具有相同的发生误差的概率,然而处在边缘上的标志点更可能同样被定位在边缘之上,而不是定位在外侧或内侧,因此其分布应该具有各向异性.图 1 展示了一个下颌角点的样例,其中图 1(a)是目前大多数方法中使用的分布,然而由于该标志点更可能被定位在下颌边缘上,图 1(
10、b)能更好地表示其位置的真实概率分布.(a)当前其他方法所使用的概率分布(b)本方法预测的概率分布图 1各向异性概率分布的样例鉴于当前方法在不确定性估计上的不足之处,本文设计了一种基于不确定性估计的医学影像标志点定位算法.预测热力图的主干网络为 U-Net 架构6,而为了预测标志点的位置分布,本文在其中添加了一个协方差预测模块.协方差预测模块使用注意力机制对主干网络的编码器输出的特征图进行加权,强化有效特征并从中预测出标志点位置分布的协方差矩阵.此外,受启发于关注上下文的金字塔特征提取模块(context-awarepyramidfeatureextraction,CPFE)7,本文使用多分支
11、空洞卷积代替卷积层,从而捕捉不同尺度的上下文特征.本文的贡献主要为以下 3 个方面.(1)本文提出了一个基于不确定性估计的医学影像标志点定位算法,其可以同时预测标志点的位置及其概率分布.(2)本文设计了一个协方差预测模块来预测位置分布的协方差矩阵,从而对标志点的不确定性进行估计.可视化结果表明本文方法所预测出的分布要比现有其他方法所使用的更符合现实,能一定程度上表示现实中标志点的标注不确定性.(3)在公开数据集上的实验表明,本文提出的算法整体上提升了标志点定位的性能,并且在大部分指标上都取得了最优表现,具有较高的标志点定位能力.同时本文提出的协方差预测模块可以迁移至其他基于热力图的方法中并进一
12、步提升其定位能力.1相关工作 1.1 医学影像标志点定位算法早期的医学影像标志点定位算法通常基于一个简单的分类器,比如随机森林8,9.而现阶段,基于深度学习的方法成为了医学影像标志点定位算法中的主要方法.目前,根据关注信息和预测原理上的不同,基于深度学习的医学影像标志点定位算法可以分为以下 3种10:通过回归的方式直接预测标志点坐标的基于回归的方法11;利用图表示标志点间的结构从而预测坐标的基于图的方法10;以及基于热力图的方法.基于热力图的方法是当前方法的主流.这些方法通过预测出一个热力图的方式来获取标志点在不同位置上的概率,并由此计算标志点最可能的位置.部分研究者同时使用偏移图来引入部分空
13、间信息,从而提升预测的准确度12.Zhong 等13设计了一个两阶段深度学习方法,首先在全局阶段通过预测热力图的方式获取大致的注意力分布,并在局部阶段中对切割出的图像块继续回归得到高精度的热力图.Chen 等14则使用金字塔融合模块,通过多个空洞卷积获取并融合不同感受野的信息.他们还使用注意力机制对融合的特征进行加权,从而进一步突出重要特征的作用.Ao 等15计 算 机 系 统 应 用http:/www.c-s-2023年第32卷第10期2专论综述SpecialIssue则将卷积网络和 Transformer 架构相结合,利用卷积网络对局部特征的提取能力和 Transformer架构对全局特征
14、的挖掘能力,分别构建两个编码器来提取多尺度的特征并预测出一个热力图.这些方法都使用了预定义的热力图并通过降低预测的热力图和目标热力图之间的距离来优化模型.然而,他们所使用的热力图没有很好地表示真实的标志点位置分布,从而限制了方法的性能.1.2 不确定性估计目前有两种不确定性估计的方式:基于样本的(sampling-based)和无需样本的(sampling-free).基于样本的方法通过多次预测的方式来估计不确定性,比如利用贝叶斯网络进行变分推断16,或是用蒙特卡洛方法进行随机多次 Dropout 从而获得不同的预测结果17,或者在不同的扩充数据集上进行训练和预测18.而无需样本的方法则是对已
15、有的方法进行优化,使其具备不确定性估计的功能.和基于样本的方法不同,该种方法使用同样的数据集和同样的模型.比如 Ovadia 等19通过在模型中引入随机变分推断和温度定标的方法来估计不确定性,而 Sensoy 等20则使用了狄利克雷分布,通过拟合分布的方式获取不确定性.2网络结构与算法原理U-Net 架构是医学影像处理中常见的架构.尽管U-Net 具有较为简单的结构,它却能同时利用底层的结构特征和高层的语义特征,从而得到不亚于很多其他复杂方法的效果21.鉴于其优秀的性能,本文同样选择U-Net 架构作为主干网络来预测标志点位置.本文方法整体的网络结构如图 2 所示.多分支空洞卷积多分支空洞卷积
16、多分支空洞卷积多分支空洞卷积多分支空洞卷积多分支空洞卷积多分支空洞卷积多分支空洞卷积卷积块卷积块卷积块卷积块卷积块输入图像热力图主干 U-Net 网络自注意力机制全连接层协方差矩阵协方差预测模块图 2本文提出的方法 2.1 主干 U-Net 模型标准的 U-Net 模型具有一个编码器和一个解码器.编码器从输入的图像中提取出多尺度的特征,而解码器则利用这些特征预测出热力图.编码器和解码器的同层级特征用跳跃连接(skipconnection)结合在一起,从而实现多尺度特征的利用.本文使用在 ImageNet 数据集22上预训练过的 VGG19 网络23作为模型的编码器,并在训练过程中对其加以微调.
17、而在解码器部分,本文使用多分支空洞卷积替代了原本的卷积块.多分支空洞卷积的结构如图 3 所示,其作用是提取不同尺度的特征并将它们融合起来,具体而言分为两步:(1)通过多个不同扩张率的空洞卷积24提取出不同感受野的特征信息,用补零的方式保证输入和输出的尺寸一致;(2)由于获取的不同尺度特征的大小相同,本文将它们直接在通道维度堆叠合并起来,并使用 11卷积融合这些特征.其中堆叠操作是在通道维度堆叠特征进行合并.由于这些空洞卷积使用相同大小的 33卷积核,在增大了模型的感受野的同时,模型的参数量并没有显著增加.i最后,对于标志点,主干模型预测出其对应的热力2023年第32卷第10期http:/www
18、.c-s-计 算 机 系 统 应 用SpecialIssue专论综述3bHib xi图.传统的从热力图中获取标志点位置坐标的方法有取最大值所在坐标和投票法.然而,由于这两种方法均是不可微的操作,使用它们会导致梯度截断,从而无法根据坐标来优化整个模型.因此,为了避免梯度截断,同时利用到整个热力图上的信息,本文将热力图某个坐标上的值作为该坐标对应的权重,并通过计算加权空间均值的方式来得到预测的标志点坐标:b xi=x(bHi(x)xx(bHi(x)(1)xbHi(x)bHix()其中,表示对所有位置上计算出的后式结果求和,是热力图在位置 上的值,是激活函数.本文选取 ReLU 函数作为该激活函数.
19、卷积核:33扩张率:1卷积核:33扩张率:3卷积核:33扩张率:6卷积核:11扩张率:1堆叠图 3多分支空洞卷积 2.2 协方差预测模块协方差预测模块的目标是预测出标志点位置分布的协方差矩阵,从而对标志点的不确定性进行建模.本文选择高斯函数来表示标志点的位置分布.iHi现有的方法往往用如下的二维高斯函数来生成标志点 对应的目标热力图:Hi(x;i)=22iexpxxi2222i(2)xiii其中,是标志点 的坐标,是该高斯分布的标准差,而 则是一个比例因子,用于稳定数值.然而,这个高斯分布是各向同性的,不能很好地表示真实的标志点位置分布.因此,为了更好地对不确定性进行建模,本文选择如下高斯函数
20、:Hi(x;i)=exp(xxi)Ti1(xxi)2)2|i|(3)ixii和式(2)不同,本文使用一个二维的协方差矩阵来表示概率分布.由于分布的均值设定为标志点的真实坐标,模型只需要预测出 便能够确定整个分布.然而,通过回归的方式直接获得的协方差矩阵可能并不合法.由于协方差矩阵是一个半正定矩阵,其行列式满足:det(i)=cov(x,x)cov(y,y)cov(x,y)2 0(4)det(i)=0 xyi而直接输出协方差矩阵各个元素的做法不一定满足式(4).实际上,由于当且仅当 和 的相关系数为 1 或1,而这几乎不可能发生在现实当中,因此可以直接认为标志点位置分布的协方差矩阵为正定矩阵.在
21、这种条件下,可以用预测协方差矩阵的 Cholesky分解作为替代.对于正定矩阵,其可以被分解为一个下三角矩阵和其转置的乘积:i=CiCTi(5)其中,Ci=ai0bici(6)为下三角矩阵.A Rkkk=1k=n1bA R(n1)(n1)每一个正定矩阵都可以按照式(5)的方式分解.证明如下:令为正定矩阵,显然在时存在Cholesky 分解.假设时仍然成立,即对于正定矩阵,有:bA=bLbLT(7)A Rnn则可以写作:A=bAT(8)令:L=bL0T(9)=bL1 2=TA1ATA1 0其中,(由于 为正定矩阵,一定有),则有:A=LLT(10)k=n即时依旧存在 Cholesky 分解.根据
22、数学归纳法可知,任何一个正定矩阵都有其 Cholesky 分解.为了方便起见,本文令预测出的 Cholesky 分解矩阵中的值均为非负数,这通过一个 ELU 函数实现:f(x)=x,if x 0ex,otherwise(11)而在矩阵元素均为非负数的情况下,若:a10b1c1a1b10c1=a20b2c2a2b20c2(12)则显然有:a1=a2,b1=b2,c1=c2(13)计 算 机 系 统 应 用http:/www.c-s-2023年第32卷第10期4专论综述SpecialIssue即此时预测出的 Cholesky 分解与协方差矩阵有着一一对应的关系,因此可以通过预测 Cholesky
23、分解的方式获得协方差矩阵.XQKV本文利用主干网络提取出的最高层特征来预测协方差矩阵的 Cholesky 分解.鉴于自注意力机制25在挖掘长距离依赖、强化重要特征等方面的性能,本文将其应用在协方差预测模块中,以提升其不确定性估计的能力.自注意力机制分别将输入 进行嵌入,并得到查询向量,键向量和值向量:Q=XWQ(14)K=XWK(15)V=XWV(16)WQWKWV其中,和是可学习的线性变换系数.随后通过如下计算方式获得自注意力机制的结果:S=(QKTd)V(17)dK()其中,是的维度,是 Softmax 函数.通过图 2 中协方差预测模块的整个流程,协方差预测模块最终预测出 Cholesk
24、y 分解,并根据式(5)计算出协方差以供之后使用.2.3 损失函数受启发于负对数似然损失,本文使用的损失函数和式(3)的负对数似然相似,具体为:L=(b xixi)Tb1i(b xixi)+ln?bi?(18)b xixiiibi其中,和 是预测的第 个标志点和真实的第 个标志点的位置,是预测的协方差矩阵.=0.1公式的第 1 项是预测标志点坐标和真实标志点坐标之间的马氏距离(Mahalanobisdistance)的平方,而第 2 项则是一个正则项.是调整正则项权重的超参数,本文选取.3实验分析本文使用公开数据集进行实验,首先将本文提出的方法和该领域其他先进方法进行对比,证明本文方法的优势;
25、随后进行消融实验,证明本文提出的协方差预测模块的有效性;之后将对标志点和协方差矩阵的预测结果进行可视化展示,并对预测出的不确定性进行分析.3.1 数据集本文所使用的数据集为 IEEEISBIChallenge2015中公开的头影测量标志点定位数据集(简称头影数据集)26和 DigitalHandAtlas 数据集(简称左手数据集)27.头影数据集含有 400 张头影测量 X 光侧位片,并由两名医生标注 19 个标志点的位置.为了和其他方法保持一致,本文选取两个标注值的平均值作为标志点的真实坐标,并将全数据集分为 150 张训练集图片和 250张测试集图片.数据集中图像的分辨率为 1935240
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 不确定性 估计 医学影像 标志 定位
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。