利用双注意力CycleGAN从超声合成数字乳腺断层扫描病灶研究.pdf
《利用双注意力CycleGAN从超声合成数字乳腺断层扫描病灶研究.pdf》由会员分享,可在线阅读,更多相关《利用双注意力CycleGAN从超声合成数字乳腺断层扫描病灶研究.pdf(8页珍藏版)》请在咨信网上搜索。
1、临床研究63现代仪器与医疗2 0 2 3年第2 9卷第4期利用双注意力CycleGAN从超声合成数字乳腺断层扫描病灶研究马健晖唐钒梁宇棋李晏宁!刘书朋齐宏亮?*(南方医科大学南方医院1放疗科;2 医学工程科,广州510 515)【摘要】目的为了提高乳腺癌临床诊断准确性的同时,降低数字乳腺断层扫描(DigitalBreastTomosynthesis,DBT)带来的辐射剂量风险,提出一种从超声等非放射性医学成像中合成DBT图像的方法。方法去由于DBT和超声在组织形态学上存在巨大差异,本文首先研究了DBT和超声中乳腺病灶的有效代表,然后提出了一种双注意力CycleGAN框架,将空间和通道注意机制与
2、CycleGAN相结合,用于合成DBT病灶。结果定性和定量结果表明,本文方法能够合成接近真实图像质量的DBT图像,良恶性诊断的精确度、灵敏度和特异性分别为0.8 3、0.7 1和0.90。结论本文提出的方法具有从超声合成DBT图像的优异性能潜力。【关键词】数字乳腺断层扫描;超声;双注意力机制;生成对抗网络【中图分类号】TH774;R81【文献标志码】A【D O I10.11876/mimt202304012Synthesized lesion of digital breast tomosynthesis from ultrasoundusing dual attention CycleGAN
3、Ma Jianhui,Tang Fan,Liang Yuqi,Li Yanning,Liu Shupeng,Qi Hongliang(1.Department of Radiotherapy;2.Department of Medical Engineering,Southern Hospital,Southern MedicalUniversity,Guangzhou510515,China)Corresponding author:Qi Hongliang,E-mail:605341387 Abstract Objective To improve the accuracy of clin
4、ical diagnosis of breast cancer and reduce the risk of radiation doseirradiated by digital breast tomosynthesis(DBT),this study proposes a method to synthesize DBT images from nonradioactive medicalimaging such as ultrasound.Methods Since DBT and ultrasound are vastly different from each other in hi
5、stomorphology,this paperfirstly investigates the effective representative of breast lesion in DBT and ultrasound,then proposes a dual attention CycleGAN frameworkintegrating spatial and channel attention mechanism with CycleGAN for intractable DBT lesion synthesis.Results The qualitative andquantita
6、tive results demonstrate that this method can synthesize DBT images close to the real image quality.The accuracy,sensitivity,and specificity of benign and malignant diagnosis are 0.83,0.71,and 0.90,respectively.Conclusion The proposed method haspotential to achieve superior performance of DBT synthe
7、sis from ultrasound.KeywordsDigital breast tomosynthesis;Ultrasound;Dual attention;Generative adversarial network当前乳腺癌的发病率居女性恶性肿瘤首位临床诊断需要通过多种成像方式进行肿瘤筛查,如全视野数字乳腺X线摄影(FullFieldDigitalMam-mography,FFD M)、数字乳腺断层扫描(DigitalBreastTomosynthesis,DBT)、超声等2 。肿块的微钙化和囊性或实性都是乳腺肿瘤诊断的关键特征。钙化在FFDM和DBT上更容易发现,而肿块的囊性或实
8、性则需要超声检查。FFDM是一种二维成像方法,能基金项目:国家自然科学基金青年项目(8 2 2 0 2 96 0);广东省医学会一般项目(2 0 2 2 GDMAYB-04)第一作者:马健晖,男,博士,工程师,研究方向:人工智能肿瘤放射治疗应用,E-mail:142 16 8 6 97 5 q q.c o m通讯作者:齐宏亮,男,博士,博士,高级工程师,研究方向:人工智能图像处理,E=mail:64ModernInstruments&Medical Treatm,Vol.29No.4够经济高效地检测癌症。然而,二维成像往往在空间上与组织重叠,这可能会导致放射科医生的误诊。DBT作为一种三维断层
9、成像技术,能够逐层重建医学图像,极大地减少肿瘤诊断的假阳性和假阴性,从而提高致密乳腺组织的敏感性和特异性。然而,FFDM和DBT都是X射线成像模式,会对患者产生辐射剂量。为了降低辐射诱发乳腺癌的风险,根据其他成像模式合成DBT或FFDM图像具有重要临床意义。2013年,美国食品药品监督管理局(FoodandDrugAdministration,FDA)授权了一款软件,用于从DBT数据采集中合成二维乳腺X光片,作为FFDM3的替代品。Schie等4 利用计算机辅助检测系统来确定DBT体积中的相关点,并根据通过这些点的表面与DBT体积的交点生成乳房X光照片。Wei等5利用多尺度图像融合方法将最大强
10、度投影图像与DBT中心投影图像相结合,用于从DBT合成乳腺X光片。Korkinof等6 应用渐进生成对抗网络(Gen-erativeAdversarialNetwork,G A N)合成高分辨率乳腺X光片。Kim等7 首先根据DBT体积生成前向投影图像、线性结构加权投影图像和最大强度投影图像,然后将这三种图像合成为信号增强和伪影减少的乳腺图。Jiang等8 应用梯度引导的条件GAN来合成具有更可靠乳房密度分类X光片。然而,这些方法需要DBT图像,在扫描患者时仍会产生辐射剂量。相反,超声是非辐射性和非侵入性的,因此从超声合成DBT对减少剂量和临床诊断意义重大。在过去的几年里,GAN在许多任务中已
11、被证明具有强大的性能,例如超分辨率重建9-1、图像修复12.13、图像到图像转换免14.15、风格转换英16,17 等。对于GAN模态,生成器试图生成与真实图像难以区分的图像,同时判别器旨在区分合成图像与真实图像,生成器和鉴别器相互对立并同时发展。其中,由两个生成器和两个判别器组成并受循环一致性约束的CycleGAN在图像合成方面取得了显著成就。对于磁共振成像(Magnetic Resonance Imaging,M RI)到计算机断层扫描(Computed Tomography,CT)的合成,Wolterink等18 用未配对的大脑MR和CT图像训练CycleGAN,Yang等【19 定义了
12、结构一致性损失来约束输入和合成图像,Hiasa等2 0 增加了梯度一致性损失来提高骨盆区域边界的准确性。Liang等2 1 和Kida等2 2 成功地将CycleGAN用于锥束CT(Co n e Be a m CT)到CT的合成,还有一些研究聚焦于将DBT合成乳腺X光片6.8 O本文旨在通过超声合成DBT病灶。超声图像和DBT图像在强度变化、纹理异质性和组织性质方面存在巨大差异。因此,与上述图像合成任务相比,DBT病灶合成更具挑战性。本文首先研究了DBT和超声中乳腺病灶的有效代表,然后测试了不同图像合成模式和网络架构对DBT病灶合成的影响。最后,基于对实验结果的分析,我们提出了一种双注意力Cy
13、cleGAN框架。1方法1.1双注意力CycleGAN模型如图1所示,CycleGAN框架15 由两个生成器Gus和GpBr以及两个判别器Dus和DpBr组成,GpBr旨在通过将超声图像作为输入来生成DBT图像,而Gus则试图将DBT转换回超声域。DpBr试图将合成的DBT图像与真实DBT图像区分开来,而Dus则通过将真实超声图像标记为1,合成超声标记为0 来辨别真假。判别器需要最小化预测标签和真实标签之间的距离,因此,由L2范数表示的对抗性损失可以分别写成:Lpus=I us(lus)-1 1/+I us(Gus(Ipr)l1(1)LDper=I DBr(IDBr)-1 l/+1 DBr(G
14、Br(lus)12(2)为确保目标域中的合成数据能够精确地重建回原始域,本文引人循环一致性损失:Leyele=Il Gus(GDBr(Ius)-Ius Il,+Il GDBr(Gus(I BT)-I DB Il 1(3)由于Gus能够产生以DBT图像作为输人的超声图像,因此即使Gus以超声作为输人,输出仍然为超声。为了保证Gus和GpBr的恒等映射,恒等映射损失定义为:Lianiy=II Gus(Ius)-usll/+II Gper(I br)-IDBTII(4)因此,总加权损失函数可以表示为Lcycle-CAN=LDus+LD DBT+入Lcyele+0.2入LLidentity(5)DBT
15、其中入表示循环一致性损失的加权参数,恒等映射损失的权重为0.2 入。65现代仪器与医疗2 0 2 3年第2 9卷第4期ReconstructedDBTcycleidentitySynthesizedUltrasoundGusGDBTDusRealDBTSynthesizedDBTDDBTGusGDBTSynthesizedUltrasoundRealUltrasoundcycleidentitySynthesizedDBTGusReconstructedUltrasound图1双注意力CycleGAN框架注:双注意力CycleGAN框架由正向和反向循环组成。对超声图像,前向循环是指将GpBr生
16、成的DBT图像通过Gus转换回原始超声域。在反向循环中,Gus从DBT合成超声图像,然后GDBr通过将生成的超声作为输入来重建DBT图像。1.2网络架构如图2 所示,本文参照文献14,15】构建了一个全卷积网络作为判别器架构。它通过预测块标签,而不是传统的数字标签,从而对真假图像进行分类。对于生成器,我们验证了不同类型的U-net网络,并根据实验性能表现采用了双注意力Un e t 架构。如图3所示,双注意力机制可以使神经网络更加关注空间和通道信息,同时略微增加模型的复杂度。根据文献2 3 的建议,将双注意力模块并人到网络的最佳位置。128128,16464,643232,1281616,256
17、88,51288,1Imagelnput44Conv2D,Strides=2LeakyReLUInstanceNormalization44Conv2D图2块标签判别器架构注:顶部数字表示特征图的大小和通道数,右下角为各层操作说明。66ModernInstruments&MedicalVol.29No.4C1x11x1128128,1128128,1HHWHHWW*ix16464,32W6464,64Feature Map*PmxnConv2DwithpchannelsMultiplymxnGlobal Average PoolingReLUa(o)SigmoidMax-out13232,64
18、3232,1281616,1281616,256ImageInput44Conv2D,Strides=2LeakyReLuInstanceNormalization88,256DualAttentionUpsampling,4x4Conv2D,ReLUConcatenateUpsampling,44Conv2D,sigmoid图3双注意力U-net架构注:黑色矩形框详细说明双注意力机制。1.3DBT和超声的乳腺病灶代表在MR到CT、C BC T 到CT和DBT到乳房X光片的合成任务中,这两种不同模态的图像具有相似的形态学结构,两个域之间的转换可以被认为是一种风格转移。例如,MR对软组织具有优越
19、的成像性能,而CT在骨等钙化结构成像方面表现出色。相比之下,DBT和超声由于纹理的异质性和组织特性而有很大的不同,尽管基于GAN的方法对于许多棘手任务具有强大功能,但生成整幅图像仍是一项极具挑战性的任务。此外,放射科医生更倾向于根据乳腺病变及其周围结构进行临床诊断,因此我们截断了边缘包含周围正常组织的病变区域。放射科医生建议留出10 个像素的边缘用于诊断辅助。DBT是一种用于减轻组织重叠的三维断层成像技术,然而,一个乳房的切片过多会耗费大量时间和精力,因此我们只选择了能显示最显著病理特征的侧斜位(MedioLa t e r a l O b l i q u e,M LO)图像切片作为DBT图像的
20、有效代表1.4实验细节我们回顾性地收集了南方医院8 1名接受DBT和超声检查的乳腺癌患者。其中DBT图像由Ho-logic Selenia Dimensions System(Bedford,MA,USA)收集,超声图像在PhillipsiU22USSystem(Bo t h e l,WA,USA)上采集。我们随机选择8 1名患者中的64名进行训练,同时选择17 名患者作为测试数据集,并应用5折交叉验证。对训练数据集进行了数据扩充,包括垂直和水平翻转、顺时针和逆时针旋转,因此在训练阶段向模型输人了38 4例训练数据。DBT和超声的强度值被归一化为0,1,并且截断的病变区域被重采样到12 8 1
21、2 8。在本研究中,我们使用Keras24和Tensorlow25作为后端,利用一个NvidiaTITANXpGPU和内存为40 GB的Intel(R)Co r e(T M)i 7 3.6 G H z 四核处理器来实现该框架。按照文献15 的建议,我们设置入=10,使用学习率为2 10-的Adam26优化器来计算损失函数的梯度下降。2实验结果2.1定量评价Frechet Inception Distance(FID)2 6 是一种量化67现代仪器与医疗2 0 2 3年第2 9卷第4期指标,能够测量真实数据和生成数据分布之间的距离。FID使用在ImageNet数据集上训练的名为In-ceptio
22、nV327的图像分类模型,根据原始图像的计算机视觉特征统计数据计算两组图像的相似度得分。FID越低,这两种数据分布就越相似。更具体地说,将从预训练InceptionV3的全局平均池化层提取的特征向量视为真实或合成图像的代表,FID分数可定义为:d=Il mu,-mu,l2+Tr(C,+C,-2 C,C,)(6)其中mu,和muz分别表示真实图像和合成图像的特征向量的均值,C,和C是特征向量的协方差矩阵。Tr表示迹线性代数运算,即对方阵对角线元素求和。本文首先研究了三种最先进的图像合成方法在DBT病灶合成任务中的性能。为了研究不同方法对合成图像质量的影响,pix2pix(14和CyeleGAN1
23、5的生成器,以及端到端U-net28采用相同的网络结构,pix2pix和CycleGAN的判别器与图2 相同。如表1所示,CycleGAN框架以较低的FID分数优于端到端U-net和pix2pix,表明CycleGAN模式更适合DBT病灶合成任务。需要注意的是,由于采集角度有限和低剂量照射,DBT图像具有噪声性,因此本研究的FID得分远高于其他相关研究。此外,In-ceptionV3模型是用RGB三通道图像训练的,灰色图像必须沿着通道轴复制三次以进行FID计算。U-net架构2 8 用于构建生成器,因为它可以对图像进行编码以提取全局特征,并将特征图解码回输人大小。结合不同的操作策略,如空间和通
24、道注意力2 3、残差块2 9、致密块30】等,验证了几种基于U-net 的模型,即双注意力Un e t(D A-U n e t)、残差 U-net(Res-Unet)31、致密 U-net(Dense-Unet)【32】,从而为DBT合成找到CycleGAN的最优生成器模型。U-net、D A U n e t、Re s -U n e t 和Dense-Unet的FID统计数据如表2 所示。可以观察到,DA-Unet适用于CycleGAN的生成器架构,该架构通过获得较低的FID分数而优于其他模型表1端到端U-net、p i x 2 p i x 和CycleGAN的FID分数统计,所有GAN方法的
25、生成器和判别器都使用相同的网络架构U-netpix2pixCycleGANFIDScore325.5272.2250.9表2U-net、D A-U n e t、Re s-U n e t 和Dense-Unet作为CycleGAN生成器的FID分数统计U-netRes-UnetDense-UnetDA-UnetFIDScore250.9256.6300.3208.72.2放射科医生感知评估为了定量评估合成图像的质量,我们邀请了三位经验丰富的放射科医生对合成DBT图像的病变类型(良恶性)、钙化和病灶显现性进行鉴定。对于良恶性判断,采用病理诊断作为金标准,要求三位放射科医生根据不同网络模型生成的合成
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 利用 注意力 CycleGAN 超声 合成 数字 乳腺 断层 扫描 病灶 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。