基于物理模型的级联生成对抗网络加速定量多参数磁共振成像.pdf
《基于物理模型的级联生成对抗网络加速定量多参数磁共振成像.pdf》由会员分享,可在线阅读,更多相关《基于物理模型的级联生成对抗网络加速定量多参数磁共振成像.pdf(8页珍藏版)》请在咨信网上搜索。
1、多回波多参数定量磁共振成像(qMRI)是一种定量MRI 1 的成像技术,它利用多回波图像获得多对比度图像来量化组织性质。与广泛使用的定性MRI有很大不同的是,定量MRI通过获得多对比度图像来重建参数图,如定量质子密度加权(PDW)、T1弛豫时间等组织参数映射、定量T2*Map 2,3 映射等。这种多参数图可以提供关于医学图像解剖结构特征的互补的定量信息,为特定的组织组成和微观结构提供更多的见解。然而,多参数MRI需要对解剖结构进行多次成像,通过多个翻转角(FA)、回声时间(TE)和重复时间(TR)产生不同的对比进行参数量化。对所有组织类型的时间信号演化的基于物理模型的级联生成对抗网络加速定量多
2、参数磁共振成像基于物理模型的级联生成对抗网络加速定量多参数磁共振成像刘羽轩,楚智钦,张 煜南方医科大学生物医学工程学院/广东省医学图像处理重点实验室,广东 广州 510515Physicalmodel-basedcascadedgenerativeadversarialnetworksforacceleratingquantitative multi-parametric magnetic resonance imagingLIU Yuxuan,CHU Zhiqin,ZHANG YuSchool of Biomedical Engineering,Southern Medical Univer
3、sity/Guangdong Provincial Key Laboratory of Medical Image Processing,Guangzhou 510515,China摘要:目的 探讨基于物理模型的级联生成对抗网络使用原始的多回波多线圈k空间数据加速定量多回波多参数磁共振成像方法的可行性分析与解释。方法 提出了一种基于物理模型的级联生成对抗网络,利用多域信息联合训练以及通过系统矩阵学习图像重建所需的关键参数,并自适应地优化k空间生成器和图像生成器结构来增强图像特征信息以获得高质量的重建图像。使用原始的多回波多线圈k数据加速多对比度多参数磁共振图像成像。提出了基于物理驱动的深度学习
4、重建方法,通过建立系统矩阵函数而不是直接通过模型端到端训练的方式来增加模型的泛化能力和提高模型性能。结果 在整体回波图像质量评价方面,该模型在80例测试集上的重建图像的平均PSNR值为34.13,SSIM为0.965,NRMSE为0.114,大幅度优于本文的其它对比方法。在多对比度多参数图像重建方面,该模型评估的PDW、T1W以及T2*Map的PSNR分别为38.87、35.62和34.38,在定量上也显著优于其它对比方法,并拟合出更为清晰的大脑灰质、白质和脑脊液特征。除此以外,在重建时间相差不到10%的前提下与现有的方法相比,本研究的方法对PSNR、SSIM和NRMSE的指标提升最高可达到2
5、0%。结论 相比现有的方法,基于物理模型的级联生成对抗网络方法可以重建出更多的图像细节和特征,从而提高了图像的质量和准确性,并有望将其应用于临床诊疗流程中。关键词:加速磁共振成像;多对比度多参数;物理模型;级联生成对抗网络;多域联合学习Abstract:Objective To explore the feasibility and interpretation of physical model-based cascaded generative adversarialnetworks for accelerating quantitative multi-echo multi-parame
6、tric magnetic resonance imaging using raw multi-echo multi-coil k-space data.Methods A physical model-based cascaded generative adversarial network is proposed to enhance imagefeature information to obtain high-quality reconstructed images using joint training of multi-domain information and learnin
7、gof key parameters required for image reconstruction through a system matrix and adaptively optimizing the k-space generatorand image generator structures.Raw multi-echo multi-coil k-space data are used to accelerate multi-contrast multi-parametricmagnetic resonance imaging.A physically driven deep
8、learning reconstruction method is used to increase the generalizationcapability and improve the model performance by building a system matrix function instead of direct end-to-end training ofthe model.Results In terms of overall image quality,the proposed model achieved significant improvements comp
9、ared toother methods.On an 80-case test set,the average PSNR value of the reconstructed images was 34.13,SSIM was 0.965,andNRMSE was 0.114.In terms of multi-contrast multi-parametric image reconstruction,the model achieved PSNR values of 38.87for PDW,35.62 for T1W,and 34.38 for T2*Map,which were sig
10、nificantly better than those of other methods for quantitativeevaluation.The model also produced clearer features of the brain gray matter,white matter,and cerebrospinal fluid.Furthermore,compared with the existing methods with a reconstruction time difference of less than 10%,the proposedmethod ach
11、ieved the highest improvement of up to 20%in the metrics of PSNR,SSIM,and NRMSE.Conclusion Comparedwith other existing methods,the physical model-based cascaded generative adversarial networks can reconstruct more imagedetails and features,thus improving the quality and accuracy of the reconstructed
12、 images.Keywords:accelerated magnetic resonance imaging;multi-contrast and multi-parameter;physical model;cascaded generativeadversarial networks;multi-domain joint learning收稿日期:2023-03-15基金项目:国家自然科学基金(61971213)Supported by National Natural Science Foundation of China(61971213).作者简介:刘羽轩,在读硕士研究生,E-ma
13、il:L通信作者:张 煜,博士,博士生导师,教授,E-mail:doi 10.12122/j.issn.1673-4254.2023.08.18J South Med Univ,2023,43(8):1402-14091402要求可能导致过长的扫描时间,这将增加个体的不适感和在采集过程中产生运动伪影。因此,在保持良好图像质量的同时,开发一种加速多参数MRI成像的重建技术至关重要。从欠采样的k空间重建高质量图像是加速多对比度磁共振成像的主要策略,但这是一个没有解析解的逆问题。对于定量MRI,传统的定性MRI重建方法如并行成像 4-6(PI)和压缩感知 7-9(CS)可以获得多对比度图像,然后采用
14、物理模型进行参数图估计。然而,当加速速率较高时,这些传统的方法会出现残留的伪影混叠现象。基于深度学习的MRI 重建方法已被提出 10,包括独立的去噪网络和解卷级联网络 11,12。基于卷积神经网络 13-23(CNNs)的方法被提出来去进一步增加加速因子和提高重建质量。遗憾的是,这些研究没有充分利用输入数据,特别是在处理小数据集的时候。例如,在一些研究中 11,14-20,23,输入数据只在图像域进行处理,而在频域和图像域同时进行处理可以获得更好的图像重建效果 13,21,22。此外,生成对抗网络(GANs)也被用于MRI重建工作 24-26,这些方法通过引入GAN来让输出的重建图像学习全采样
15、图像的数据分布,但它们无法与同时涉及多域联合训练的方法相比。并且,使用相同的U-Net网络,特别是简单的池化和上采样层应用于频域和图像域信息,对频域恢复和图像重建并不是最合适的 27。另一方面,单一地使用像素差值类型的损失函数并不能充分约束重建损失以提高重建图像的质量,重建的质量并不只受到像素之间差值的影响,也与图像的对比度、亮度和相似性有关 28。除了网络结构设计问题外,数据的预处理和使用显得更为重要。例如,数据的不正确处理又会导致很多算法都只能止步于实验阶段,缺乏实时性也无法真正落地即实验与真实场景使用数据形式不一致。其次,医学图像数据的收集困难,通常只能从少量的样本中提取信息,但是,要想
16、进行有效的深度学习训练,就必须收集大量的训练数据。通过结合物理驱动的深度学习重建方法,可以有效地解决k空间到图像域或者图像域之间的映射问题,从而提高模型的泛化能力,减少训练数据量,并且可以更好地学习和预测模型的最优参数。然而,在许多加速定量磁共振成像研究中 29-32,采样数据的选择和网络结构的设计仍然没有摆脱单线圈数据的使用和基于数据驱动处理的模式弊端。而我们都知道,实际使用大多都是多线圈数据,将传统重建方法中的物理原理和深度学习结合起来,能实现比基于数据驱动方式更好的结果。1 方法1.1 总体结构本研究所提出的框架由两个部分组成(图1)。第一部分是利用深度学习网络对多回波图像进行重建。然后
17、利用重建后的多回波图像进行基于物理模型的最小二乘拟合以获得多对比度多参数图像。给定欠采样的 多 回 波 梯 度 回 波 序 列 k 空 间 数 据Y=Y1,Y2,YTCTCN,其 中N=NxNy,并 且YiCCN,其中i=1,2,T是第i个多线圈复值欠采样回波k空间数据,N表征每个线圈数据的像素数量以及C为总的线圈数,T是总的回波数。由于二维多回波多线圈数据的巨大内存消耗,本研究在读出方向(RO)中执行二维图像重建,在RO方向全采样而相位编码(PE)和空间相位编码(SPE)其他两个方向则处于欠采样的条件约束。Nz表示读出方向上的总层数,其中(s=1,2,Nz)。为了更好的描述多回波磁共振成像系
18、统,本研究定义:图1 网络框架Fig.1 Overallarchitectureoftheproposedmethod.Y=AX+b()1其中XCTN表示重建的多回波图像,并且bCTCN表示高斯噪声,这有利于异常点的重建。操作算子A作用于系统矩阵并且通常可以被定义为:A=MFS()2A:CTNCTCN()3其中M=M1,M2,MT表示多回波采样矩阵,每个矩阵Mi0,1NN,F表示二维离散傅里叶变换,http:/www.j-J South Med Univ,2023,43(8):1402-14091403SCCNN表示线圈敏感度图。由于加速MRI重建是一个没有解析解的逆问题,需要对输出图像X进行
19、正则化来限制解空间。通常,优化问题可以表述为:argminXAX-Y22+R(X)()4以R作为平衡数据保真度项和正则化项R(X)的权重。为了同时有效地处理实部和虚部数据,本研究将Y分为实部和虚部两个通道送入到本研究的重建网络中。本研究的网络包含生成器和判别器,它们迭代数为p(p=1,2,K)次,K为总的迭代次数,每次迭代后网络的性能都会得到提升。图2A展示了所提出的网络架构,我么可以将重建的回波图像进行后处理以得到多参数多对比度的图像例如PDW、T1W以及T2*Map。合成的方法如下所示:PDW=(T/2)i=1T/2Xi,T1W=(T/2)T/2+1TXi(5)XiCN表示重建的单个回波图
20、像,T2*Map映射计算采用MDI方法 3。1.2 生成器生成器(G)由k空间生成器Gf、图像生成器Gi、线圈敏感度图生成器Gs和数据一致性层 12(DC)组成。一次迭代后,图像生成器的输出将被输送到上一个的k空间生成器中以提供额外的监督信息。k空间生成器、图像生成器和数据一致性层的每次迭代都共享相同的参数。生成器的优化过程如下所示:argminX,AX-Y22+X-G(X|)22(6)生成器的结构如图2B所示。1.2.1 k 空间生成器在 k 空间生成器中,卷积层由333卷积核、实例归一化(IN)层和校正线性操作单元(LReLU)组成。具体来说,最后一层只有111的卷积运算。由于输入的不是真
21、正意义上的三维数据,而是多回波二维数据,因此仅在二维空间减少特征图像分辨率大小,而卷积操作仍然在三维空间中进行。k空间信号具有全局信息。为了避免特征空间中频域信息的丢失,本研究提出采用多尺度特征融合采样层(MSFS)来代替池化层和上采样层。此外,本研究使用预训练网络提供偏移校正的频域信息,以获得接近全采样频域信息的频域特征图。预训练的网络是U-Net。本研究只在第一次迭代网络中引入预训练网络。MSFS模块的详细结构如图2E 所示。其中,B为批处理大小,E为通道数,THW为三维特征图的维度。本研究定义第p个k空间生成器的输入为Yp,第p个k空间生成器的损失包含均方误差损失,可以表示为:Lfppi
22、xel=Gpf(Yp)-Ygt22(7)其中Gpf表示第p个k空间生成器,Ygt表示全采样的多回波k空间数据,为损失参数权重。1.2.2 图像生成器 图像生成器使用与k空间生成器相同的卷积、归一化和激活函数,但将池化层替换为卷积核为344步幅为2的卷积。本研究定义第p个图像生成器的输入为Xp,由图像域与频域之间的关系可得到:Xp=F-1Gpf(Yp)(8)其中F-1表示二维离散逆傅里叶变换。由于多回波二维图像丢失了三维空间结构信息,因此利用特征图通道残差块和空间特征表示模块(CSRB)增强特征信息是解决空间结构变化引起的结构信息丢失问题的可行方法。CSRB模块的详细结构如图2F所示。此外,本研
23、究使用了绝对误差损失、均方误差损失、梯度差异损失和结构相似性损失 29 的组合损失函数来保持良好的图像细节。绝对误差损失L1和均方误差损失L2可以表征为像素误差损失。本研究定义第p个图像生成器的像素误差损失为:Lippixel=Gpi(Xp)-Xgt22+Gpi(Xp)-Xgt21(9)其中Gpi表示第p个图像生成器,和为损失参数权重,Xgt表示全采样的线圈组合后的多回波图像。在上式中,左边L2部分保证图像的鲁棒收敛性,右边L1部分防止重建图像的过度平滑。在Lippixel中加入Lipssim可以改善图像质量和细节 28。结构相似性损失是局部区域的损失,考虑了每个像素的局部邻域,它为位于前景和
24、背景之间的过渡缓冲区(例如边界、精细结构)中的像素分配更高的权重,使得边界周围的损失更高,即使边界和前景的其余部分上的预测概率相同。通过这样的方式,结构相似性损失可以改变图像的对比度、亮度和相似性。卷积运算会带来图像边界信息的模糊和遗失,这点在图像重建中尤为明显。而利用梯度差异损失Lipgd恢复图像边界信息是缓解卷积运算对图像边界信息损失影响的一种有效方法。梯度差异损失可以表示为:Lipgd=Gpi(Xp)-Xgt22(10)表示梯度算子,为损失参数权重。总的来说,图像生成器的损失函数可以由上述3项损失函数相加而得到Lip=Lippixel+(1-Lipssim)+Lipgd,为结构相似性损失
25、的损失参数权重。一次迭代中总的生成器损失可以表示为LpG=Lfppixel+Lip。由于图像生成器的输出被送入到数据一致性层中来保证输出图像的一致性,并且数据一致性层的输出是下一次网络迭代的输入,因此本研究可以通过以下公式来定义各个网络层之间的联系以及输入输出之间的作用关系:Yp+1=F(AHA+I)(AHY+Gpi(Xp)(11)J South Med Univ,2023,43(8):1402-1409http:/www.j-1404Y1=FAHY(12)实际上,在系统矩阵A中,线圈灵敏度图S也是未知的,需要进行估计。需要注意的是,由同一线圈获得的多回波数据具有相同的灵敏度图S。本研究采用U
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 物理 模型 级联 生成 对抗 网络 加速 定量 参数 磁共振 成像
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。