基于差分曲率分组混合模型的脑部MRI图像超分辨重建.pdf
《基于差分曲率分组混合模型的脑部MRI图像超分辨重建.pdf》由会员分享,可在线阅读,更多相关《基于差分曲率分组混合模型的脑部MRI图像超分辨重建.pdf(10页珍藏版)》请在咨信网上搜索。
1、第 35 卷 第 6 期 计算机辅助设计与图形学学报 Vol.35 No.6 2023 年 6 月 Journal of Computer-Aided Design&Computer Graphics Jun.2023 收稿日期:2021-12-06;修回日期:2022-04-30.基金项目:国家自然科学基金(61501241);江苏省自然科学基金(BK20150792);生物流变科学与技术教育部重点实验室开放基金(CQKLBST-2018-011);山东省数字医学与计算机辅助手术重点实验室开放基金(SDKL-DMCAS-2018-04);江苏省交通运输科技项目(2021Y).王文倩(1995
2、),女,硕士研究生,主要研究方向为医学图像处理、机器学习;李敏(1985),女,博士,副教授,硕士生导师,CCF 会员,论文通信作者,主要研究方向为医学影像分析与处理、图形图像技术与应用、遥感信息系统理论与应用;黄宇(1998)男,硕士研究生,主要研究方向为图像处理;邓小于(1997),女,硕士研究生,主要研究方向为图像处理.基于差分曲率分组混合模型的脑部 MRI 图像超分辨重建 王文倩1),李敏1,2,3)*,黄宇1),邓小于1)1)(南京理工大学计算机科学与工程学院 南京 210094)2)(重庆大学生物流变科学与技术教育部重点实验室 重庆 400045)3)(山东省数字医学与计算机辅助手
3、术重点实验室 青岛 266003)()摘 要:核磁共振成像(magnetic resonance imaging,MRI)能够提供丰富的病理信息,在脑损伤的诊断和治疗中具有重要意义,受采样时间和现有医疗设备的限制,临床上很难获得高分辨率的 MRI 图像.为此,提出一种基于差分曲率分组混合模型的超分辨重建方法.首先在梯度特征提取的基础上引入差分曲率算法,进一步检测图像的边缘、斜坡等特征结构,并将特征块分为平滑区域、纹理区域和边缘区域 3 组;然后基于学生 t 分布混合模型分别学习 3 组特征区域的模型参数;最后选取多个似然概率较大的子分布共同重建高分辨率图像块.在癌症成像档案库数据集上的实验结果
4、表明,在2,3 和4 超分辨任务下,所提方法的平均峰值信噪比分别为 41.36 dB,35.01 dB 和 31.32 dB,平均结构相似度分别为 0.984 8,0.941 5 和 0.879 5;与现有的超分辨重建方法相比,该方法重建的 MRI 图像纹理细节更丰富、边缘更清晰,并且重建时间更短.关键词:脑部 MRI 图像;超分辨重建;差分曲率;学生 t 分布混合模型 中图法分类号:TP391.41 DOI:10.3724/SP.J.1089.2023.19517 Super-Resolution Reconstruction of Brain MRI Images Based on Dif
5、ferential Curvature Grouping Mixture Model Wang Wenqian1),Li Min1,2,3)*,Huang Yu1),and Deng Xiaoyu1)1)(School of Computer Science and Engineering,Nanjing University of Science and Technology,Nanjing 210094)2)(Key Laboratory of Biorheological Science and Technology(Chongqing University),Ministry of E
6、ducation Chongqing,Chongqing 400045)3)(Shandong Key Laboratory of Digital Medicine and Computer Assisted Surgery,The Affiliated Hospital of Qingdao University,Qingdao 266003)Abstract:Magnetic resonance imaging(MRI)provides rich pathological information which is of great sig-nificance in diagnosis an
7、d treatment of brain lesions.High resolution MRI images are hard to obtain in clinic due to the limitations of sampling time and existing medical equipment.To address these problems,a su-per-resolution(SR)reconstruction method is proposed based on differential curvature grouping mixture model.Firstl
8、y,a differential curvature algorithm is introduced on the basis of gradient feature extraction to detect edges,slopes and other feature structures of the image.Following that,the feature blocks are divided into three groups including smooth,texture and edge regions.Secondly,the student t-distributio
9、n mixed model is applied to learn the model parameters of the three sets of feature regions.Finally,multiple distribu-tion models with larger likelihood probability are selected to reconstruct high-resolution image patches.The 926 计算机辅助设计与图形学学报 第 35 卷 experiments on the cancer imaging archive(TCIA)d
10、ataset show that this method achieves an average peak signal-to-noise ratio(PSNR)of 41.36 dB,35.01 dB and 31.32 dB with an average structural similarity index(SSIM)of 0.984 8,0.941 5 and 0.879 5 respectively for 2,3 and 4 SR.Compared with some current SR reconstruction approaches,the proposed method
11、 reconstructs more reasonable images at the cost of less time with richer texture details and clearer edges.Key words:brain MRI image;super-resolution reconstruction;differential curvature;student t-distribution mix-ture model 核磁共振成像(magnetic resonance imaging,MRI)是一种安全、无创的成像技术,其利用强磁体、无线电波和计算机构建人体图像
12、,能够提供丰富的病理信息,在脑部疾病的诊断和治疗中具有重要作用.当前,有 2 种途径可以获得较高分辨率的MRI图像:延长扫描时间和使用更精密的仪器1.然而,受扫描时间和现有设备等因素的限制,临床上很难获得高分辨率(high-resolution,HR)的 MRI图像.图像超分辨(super-resolution,SR)重建能够利用图像处理方法将低分辨率(low-resolution,LR)图像转换成 HR 图像,因此,在提高 MRI 图像质量方面更具应用潜力.SR 重建2是指利用软件算法从单个或多个LR 图像中重建出 HR 图像的过程,该技术已被广泛应用于医学成像3、卫星成像4、安防5等领域.
13、根据研究方法的不同,现有的 SR 算法分为基于插值、基于重构和基于学习 3 类.基于插值的算法6-7利用固定的插值核来添加更多的像素点,从而生成 HR 图像,如最近邻插值、双线性插值和双三次插值等;该类算法简便、快速,但这种线性模型未考虑图像的先验知识,限制了图像恢复高频信息的能力,导致重建图像模糊,边缘有锯齿效应.基于重构的算法8利用图像的先验信息进行重构约束,如迭代反投影、凸集投影等.与插值算法相比,重构算法能够重建出边缘更清晰的图像,但当放大倍数变大时图像重建效果不佳.基于学习的算法9通过学习大量 HR/LR 图像块之间的特征映射关系来预测 LR 图像所对应的 HR 图像.Yang 等1
14、0利用字典学习和稀疏表示生成 HR 图像;Zeyde 等11提出一种更有效的字典学习方法,利 用 主 成 分 分 析(principal component analysis,PCA)降维来提高学习效率,虽然这些基于字典学习的方法在图像重构质量和内存分配方面有显著的优势,但当字典规模增加时,解决稀疏表示仍然耗时,限制了其在实际中的应用.基于深度学习的 SR 重建方法是一种更先进的学习方法,此类方法在重建质量和实时计算方面都取得了很大的进步12-13.深度学习的方法能够直接学习 LR 和HR 图像之间端到端的非线性映射回归,具有强大的表征能力,但深度学习是“黑盒”操作,其过程可解释性受限.文献1
15、4-17在子空间内学习 LR 和 HR 图像块之间的映射关系,能够在保证 SR 重建质量的同时减少处理时间.Timofte 等14提出的锚定邻域回归方法通过对相关邻域分组来学习 HR/LR 特征子空间之间的映射函数;Zhang 等15提出的多个线性映射 SR 重建方法使用 K-Means 聚类学习特征子空间的映射关系,多个子空间映射在重建时显示出了较好的性能.一些基于概率模型的研究建立了更准确、高效的映射回归18-20.Sandeep 等20利用高斯混合模型在 HR/LR 图像块之间建立映射回归关系,高斯混合模型对于块的结构信息敏感程度高,聚类效果比 K-Means 聚类算法更好.当数据存在噪
16、声时,高斯分布往往不能满足建模需求.学生 t分布在高斯分布的基础上引入自由度参数,对噪声的鲁棒性更好,更适合处理数据集中存在噪声和离群点等情况21-22.在图像的特征提取方面,Chen 等23提出的差分曲率算子对于图像的特征结构有较好的预处理,在有噪声的情况下也能很好地检测出图像的边缘、斜坡等结构;Huang 等24利用差分曲率进行图像特征提取,取得了良好的 SR重建效果.本文提出一种基于差分曲率分组混合模型的脑部 MRISR 重建方法:首先利用差分曲率对提取到的图像块梯度特征进一步检测边缘、斜坡等特征;然后将特征块分为平坦区域、纹理区域和边缘区域 3 组,分别进行学生 t 分布混合先验的聚类
17、学习;最后在重建阶段选取多个较大的似然概率子分布共同重建图像块,提高图像重建质量的同时加快重建速度.第 6 期 王文倩,等:基于差分曲率分组混合模型的脑部 MRI 图像超分辨重建 927 1 本文方法 本文提出的基于差分曲率分组混合模型的 SR重建方法分为训练和重建2个阶段,该方法的框架如图 1 所示.在训练阶段,首先对每个 HR 训练图像进行下采样降质,并将降质的 LR 图像再插值放大到目标图像大小,将 HR 图像与插值后图像的残差图像作为 HR 图像的高频特征,并将其与 LR 图像特征联合起来;然后借助差分曲率算法对梯度特征图像块进一步提取特征结构,并将特征块分成 3 组,即将整个图像块分
18、为 3 组包含相似特征块的子空间,再对不同组别的特征块分别进行基于学生t分布混合模型的参数学习.图 1 本文方法框架 在重建阶段,首先对输入的 LR 图像进行上采样插值,使图像放大到所需尺寸的 HR 图像,并使用基于差分曲率的方法提取相应的 LR 图像块特征,根据训练时记录的阈值将图像块划分到对应的组中;图像重建时,选择多个较大的似然概率分布混合重建出 HR 图像块,再将其重建为完整的HR 残差图,融合插值后的 LR 图像形成完整的 HR图像;最后通过迭代反投影(iterative back-projection,IBP)算法优化,得到最终的 HR 图像.1.1 基于差分曲率的特征分组 差分曲
19、率相当于一种边缘检测算子,其原理是二阶导数在一维信号中能够较好地区分边缘和斜坡.如图 2 所示,使用一阶、二阶梯度算子和对角算子,从低分辨率图像块中提取水平、垂直和对角上的边缘特征.将对应的特征分别表示为xf,yf,xxf,yyf和xyf,差分曲率D的表达式21为 Dff(1)其中,22222xxxxyxyyyyxyfff f ffffff(2)表示沿着梯度方向的二阶导数;22222yxxxyxyxyyxyfff f ffffff(3)图 2 梯度特征图 928 计算机辅助设计与图形学学报 第 35 卷 表示垂直于梯度方向的二阶导数.在图像的不同区域,像素点的差分曲率值不同:(1)对于图像边缘
20、区域,f较大,f较小,根据式(1)将得出一个偏大的D值,所以在图像边缘区域的像素点差分曲率值较大.(2)对于图像斜坡和平坦区域,f和f均较小,将式(2)(3)代入式(1),将得出一个相比边缘区域较小的D值,所以在图像斜坡等区域的像素点差分曲率值相对较小.(3)对于图像的孤立噪声点,f和f均较大,根据式(1)将得出一个较小的 D 值,所以在图像的孤立噪声点处差分曲率值较小.基于上述分析,可以通过差分曲率值将图像中的边缘区域从斜坡、平坦和孤立噪声点中区分出来.对于图像中的孤立噪声点,通过对差分曲率值使用中值滤波25消除图像中可能存在的孤立噪声点,即对 D 值周围的邻域窗口选择其邻域像素的中值作为滤
21、波结果,小于中值的孤立噪声点会被平滑,而边缘和斜坡等纹理信息不会被平滑.因此,本文用中值作为图像块的选择度量标准.考虑到图像的边缘、纹理等区域是重建图像的重点,而图像的平滑区域也对重建做出贡献,因此将所有的特征块样本进行分组,每组分别训练混合模型.根据图像块结构将特征块划分为平坦区域、纹理区域和边缘区域 3 组,由于无法精确各组的取值范围,采用人工确定各组所占的百分比进行辅助分组.假设有N个图像块,其中,40%为较低度量标准(平坦区域),30%为中间度量标准(纹理区域),剩下的 30%为较高度量标准(边缘区域).首先计算每个图像块像素点的值,并找出每个图像块的中值,记作V,以N个中值作为各个图
22、像块的索引.然后将V从小到大升序排序,记为SV,将SV中50%的临界值记为阈值1S,把1VS对应的图像块划分到平坦区域;将 VS中 30%的临界值记为阈值2S,把12SVS对应的图像块划分到纹理区域;对于SV中 20%的部分,把2VS对应的图像块划分到边缘区域.至此,将特征块分成 3 个组别,对这 3组样本分别进行学生 t 分布混合模型的参数学习.1.2 学生 t 分布混合先验学习 在训练阶段,使用学生 t 分布混合模型学习LR 图像和 HR 图像间的映射关系,具体步骤如下.Step1.训练样本预处理与特征提取.将 HR 图像记为 H,首先对 H 进行降采样,得到 LR 图像;然后使用双三次插
23、值将 LR 图像的尺寸放大到和 HR 图像一致,得到中间图像,记为 Y.由于残差图像通常包含重要的高频细节,对特征学习有很大帮助,因此将残差图像作为 HR 的高频特征.残差图像RHY,根据文献10中的联合学习策略将 HR/LR 特征结合起来,定义联合特征向量TXRY.将 X 划分为 N 个图像块 1Niix,利用基于差分曲率的图像块选取算法将 N 个联合特征向量分成 3 组,每组训练一个独立的学生 t 分布混合先验模型来表示各组 HR 和 LR 特征之间的潜在映射关系.为了减少计算量,使用 PCA 对联合向量特征进行降维.Step2.学生 t 分布混合先验学习.对每组联合特征向量,利用学生 t
24、 分布混合先验学习得到的参数1,Kkkkkkv w .其中,K表示聚类个数;kv,kw,k,k 分别表示第 k 个学生 t 分布模型的自由度、权重、均值向量和协方差矩阵.学生 t分布混合模型的概率密度函数 1KkkikP xw px.其中,1/22/21/21/21/2kvkikkidkkkkkvpvvvxx(4)表示ix在第k个聚类上对应的多变量学生t分布的概率密度函数.其中,表示Gamma函数;d表示数据维数.当kv,学生t分布将转变为高斯分布.学生t分布混合模型的求解问题是一个参数似然估计问题,使得训练样本数据在概率密度函数中的概率值最大.本文使用最大期望算法(EM)学习最优的学生 t
25、分布参数,首先进行初始化,为了能够更快地收敛,使用 K-Means 算法将每一组联合特征向量聚成 K 类,计算初始参数1,Kkkkkw ,自由度 1Kkkv取随机值初始化;然后根据 EM 算法迭代更新参数值.求解过程分为 4 个步骤.Step1.计算联合分布的条件概率期望(E-Step).隐变量ik指观测向量ix属于第k个学生t分布的概率,公式为1kkiikKjjijw pw pxx.修正比例参数iku服从Gamma分布,其公式为1Tkikkikikkvduvxx .Step2.更新参数估计(M-Step),公式为 111T111NkikiNikikiikNikikiNikikikikikNi
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 曲率 分组 混合 模型 脑部 MRI 图像 分辨 重建
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。