基于Transformer和CNN的低剂量CT图像去噪网络.pdf
《基于Transformer和CNN的低剂量CT图像去噪网络.pdf》由会员分享,可在线阅读,更多相关《基于Transformer和CNN的低剂量CT图像去噪网络.pdf(7页珍藏版)》请在咨信网上搜索。
1、Jun.2023Journal of HainanNormalTaturalScience2023年6 月Vol.36 No.2海南师范大学学报(自然科学版)第36 卷第2 期Doi:10.12051/j.issn.1674-4942.2023.02.010FTransformerNN的低剂量CT图像去噪网约郝文强,崔学英*,郭映亭(太原科技大学应用科学学院,山西太原030024)摘要:低剂量计算机断层扫描(Low-doseComputedTomography,L D CT)在临床中有着广泛的应用,可以有效减轻对病人的辐射剂量。但是成像后的低剂量CT图像中含有明显的噪声和条形伪影,影响医师的诊
2、断。提出了一种基于Transformer和CNN的去噪网络,该网络是一种改进的编解码网络架构,其编码端的每一层由卷积模块与Transformer模块融合而成,用来提取每一层的局部特征和全局特征,同时引入融合模块用来有效地融合提取的局部特征和全局特征。并把融合后的特征通过跳跃连接融入解码端对应的层,解码端的每一层通过卷积模块提取有效特征进而重建去噪后的图像。在真实数据集Mayo上的实验结果说明所提出的网络不仅可以有效去除噪声,还能够保持图像的边缘。关键词:低剂量CT;图像去噪;U-Net;Transformer;通道注意力中图分类号:0 157.5文献标志码:A文章编号:16 7 4-49 42
3、(2 0 2 3)0 2-0 17 6-0 7w-dose CT Image Denoising Network Based on Transformer and CNHAO Wenqiang,CUI Xueying,GUO Yingting(School of Applied Sciences,Taiyuan University of Science and Technology,Taiyuan 030024,China)Abstract:Low-dose Computed Tomography(LDCT)is widely used in clinic,which can reduce
4、the radiation dose of pa-tients effectively.However,the low-dose CT images often contain obvious noise and streak artifacts,which affect the diag-nosis of doctors.This paper proposes a denoising network based on Transformer and CNN,which is an improved codec net-work.Each layer in encoder includes t
5、he convolutional module and Transformer module,which are used to extract local andglobal features of each layer.At the same time,a fusion module is introduced to integrate the extracted local features andglobal features.The fused features are concatenated into the corresponding layer of the decoding
6、 terminal through skip con-nection.Each layer in the decoder extracts effective features through the convolutional module.The denoised image are re-constructed through the final convolutional layer.Experimental results on the real data set Mayo show that the proposed de-noising network can not only
7、effectively remove noise,but also maintain the edge of the image.Keywords:low-dose CT;image denoising;U-Net;transformer;channel attention低剂量计算机断层扫描(Low-dose ComputedTomography,LDCT)虽然能够有效地减少辐射对人体的危害,但是辐射剂量的降低又会导致重建图像被斑点噪声和条形伪影污染,影响医师的诊断。所以如何有效地去除LDCT图像的噪声和伪影,提高图像的质量一直是近年来CT领域的一个研究热点。经过学者们的不断探索研究,可以把
8、去噪算法分为投影域去噪方法、迭代重建方法和后处理去噪算法3类,而其中后处理方法由于其简便性、可移植性等优点得到了广泛研究。传统后处理方法使用物理模型或先验信息来抑制和消收稿日期:2 0 2 3-0 3-2 1基金项目:国家自然科学基金项目(6 2 0 0 132 1);山西省自然科学基金项目(2 0 2 10 30 2 12 2 42 7 4)第一作者:郝文强(19 9 7 一),甘肃兰州人,硕士研究生,研究方向为图像处理。E-mail:*通信作者:崔学英(19 7 8 一),山西临汾人,副教授,研究方向为图像处理、低剂量CT重建。E-mail:177第2 期郝文强,等:基于Transform
9、er和CNN的低剂量CT图像去噪网络除噪声。块匹配三维滤波器(Block-Matching and3Dfiltering,BM3D)是一种经典的传统去噪算法,通过在局部区域搜索进行相似块叠加,在变换域使用阅值去噪方法对堆叠的图像块进行去噪,得到相似块的估计,然后根据平均权重,实现图像去噪的聚合,然而该算法在去除LDCT图像中条形伪影和噪声的效果不理想随着深度学习和各种神经网络结构的发展,在CT图像去噪方面也出现了一些数据驱动的网络降噪算法。Kang等在小波域上通过学习小波系数之间的映射关系后通过轮廓波反重构得到预测图像12 。Chen等提出的残差编解码网络RED-CNN用卷积层进行编码,再用反
10、卷积层进行解码,且添加残差连接提升网络的性能 3。这两种方法都是通过L2损失函数对去噪后的图像与标签图像即标准剂量CT图像进行约束,会导致结果图像过于平滑而丢失图像的纹理细节。为了尽可能地保留图像的纹理细节,Johnson等提出了基于预训练的VGG模型的感知损失来约束图像的重建过程(4。Wolterink等提出采用生成对抗网络,通过判别器损失在训练时提供反馈信息提高生成器的噪声学习能力,从而提高去噪图像的质量 5。Yang等人提出高频感知的GAN(H FSG A N),其生成器由高频域和图像域的U-Net构成,分别处理高频组织特征和图像的整体特征,采用不同大小的卷积核增加判别器的宽度提高其特征
11、抽取能力 6 基于卷积神经网络搭建的去噪模型虽然在低剂量CT去噪领域表现效果良好,但是也存在缺点:(1)感受野的有限性影响了其在长距离依赖关系上的建模;(2)卷积在进行操作时的权重是静态的,不能灵活地适应输人的内容。Transformer由于其优异的性能在自然语言处理(NLP)中大放异彩,其优异性能的关键在于自注意力机制,可以捕获输入序列之间的长距离依赖关系。Dosovitskiy等提出的Vision Transformer(ViT)开创了将Transformer应用于计算机视觉领域的先河17。然而ViT的不足之处是其弱的归纳偏置和全局自注意力导致的计算量问题。为了克服这些缺点,Liu等提出了
12、具有层级设计的SwinTransformer模型,自注意力的计算限制在图像局部窗口以及滑动窗口中,大幅度降低计算量 8 。文献 9 提出的DehazeFormer是一个5阶段的编解码网络,用通道注意力聚合跳跃连接的特征,用软重建层代替残差网络中的残差连接。并对每一级中的SwinTransformer进行改进以适应于图像去雾。Uformer使用SwinTransformer块构建U-net网络,并在前馈网络(feed-forward network,FFN)中融人深度卷积提高网络提取局部和全局特征的能力ul。L u t h r a 等首次将Trans-former用于LDCT图像去噪,同时在Tr
13、ansformer块中融入边缘特征以增强网络提取边缘特征的能力。Zhang等提出TransCT,在高低频分支中使用Transformer模块把从低频部分提取的潜在纹理特征融人高频以提高高频分支的恢复能力,最后融合低频分支的内容信息和恢复的高频特征,对图像分阶段重构 2 。本文设计了一个CNN与Transformer相结合的U-net结构,在编码端图像由大到小的过程中,由CNN与Transformer2种方式进行编码,将局部信息与全局信息融合在一起,在解码时使用CNN结构,并将编码阶段的特征融合到解码阶段以补充更多的细节特征,从而逐步恢复以及充分利用不同尺度的信息提高网络的细节保持能力。1方法1
14、.1去噪模型LDCT图像的去噪问题可以通过建立以下数学模型进行解决Y=(X),(1)其中,X为低剂量CT图像,Y为去噪后的CT图像,是通过训练构建的网络学习到的映射关系。网络训练的目标是尽可能使得去噪后的图像接近标准剂量的CT图像Y,即满足:arg min|lo(X)-Yll(2)1.2网络结构整体网络结构如图1(a)所示,是一种改进的U-Net结构,在编码阶段使用卷积支路提取图像的局部特征,使用SwinTransformer模块支路提取图像的全局特征。输入一张噪声图像后,先使用两个卷积层和1个ReLU激活函数来提取图像的浅层特征,将浅层特征分别送人两条支路中分别提取特征,在SwinTrans
15、former支路中,在每一层设置多头自注意力头数为2、4、6、1。两条支路的通道数为2 4、48、9 6、19 2。经过卷积支路和SwinTransformer支路提取特征后,将两条支路提取的特征使用通道注意力模块进行融合,分别送人解码1782023年海南师范大学学报(自然科学版)端和下层SwinTransformer模块。对特征图像进行下采样后重复此过程。一一一1+1+文1一ConyReLU一ConvLNSWMSALNMLPConyReLUHxWxCConvTransformerBlockHxWxCCNN BlockRearrangeCNN BlockCAB1WJX2CXLN22MLPDow
16、nDownHx兴2 CEmbedingPatchLNW.MSA一CNN BlockTransformerBlock22(b)TransformerBlock一RearangeCNN BlockIHW4C14CAB43*3ReLReLU1ConvConvDownDownHXW4C4xX4CNNBlockTransformerBlockRearangeCNNBlock(c)CNNBlockHWx8CCABonca88DownConvDownFeaturesGlobal AverageCNNBlockHx兴x8C1*1Conv1*1Conv3*3 Conv3*3 ConvTransformerBlo
17、ckSigmoid1*1Conv8Pooling8ReLUReLURearange1CNNBlockCABTransfomern/16n一Features(a)网络结构(d)CAB图1提出的网络结构Figure1Structure ofthe proposednetworkSwim Transformer模块的结构如图1(b)所示,假定一个输人特征xERBHW,通过PatchEmbedding将特征划分为patches并投射为向量x-1 eR8(r*W)x(cxP),其中Patch Embedding通过卷积核大小和步长都为P=4,输出通道为C的卷积来对图像进行划分,H=HIP,W=WIP,最
18、后展平并置换维度。此过程可以表示为x-1=Flattern(Conv2d(x)。(3)2个连续的TransformerBlocks可以表示为=W-MSA(LN(x/-1)+x/-1,x=MLP(LN()+&,(4)x+1=SW-MSA(LN(x)+x,x+1=MLP(LN(/*1)+&*I,其中,LN表示层归一化,(S)W-MSA表示带有(移位)窗口分割的多头自注意力,MLP是两层感知器。图1(c)表示在编码段补充特征所添加的卷积块,其结构与解码端的结构一致,由两个3x3卷积和2 个ReLU激活函数构成。图1(d)为将卷积提取的局部特征和Transformer提取的全局特征融合时采用的融合模块
19、,首先将两部分特征进行通道级联得到F,经过全局平均池化将每个通道转化为一个值,通过1X1卷积进行压缩为原通道的1/16,ReLU激活函数,再通过1x1卷积进行拉伸回原通道数,由Sigmoid函数将每个通道的值变为权重,与级联后的特征相乘以赋予不同通道重要关系程度,之后通过两个3x3卷积和ReLU激活函数后做残差连接后用1X1卷积调整通道数得到特征F。此过程可表示如下F,=F,OFc,(5)=Sigmoid(ConViI(ReLU(ConvixI(AvgPool(F,),(6)F=Conv1 1(F,+Conv3 3(ReLU(Conv3 3(F,),(7)其中,F,表示TransformerB
20、lock的特征,Fc表示卷积块的特征,表示通道维度级联。179第2 期郝文强,等:基于Transformer和CNN的低剂量CT图像去噪网络1.3损失函数本文使用Charbonnier损失函数约束网络输出和标准剂量CT图像之间的差异,Charbonnier损失函数har=X-Y+82(8)其中,X,表示网络输出图像,Y为标签图像,8=110-32结果2.1实验数据集Mayo数据集 5 在LDCT研究领域应用广泛,使用该数据集进行模型的训练、验证和测试,该数据集共有2378张来自10 名匿名患者的腹部CT图像,大小都为512 x512,厚度均为3mm,将其中的150 0 张图片作为训练集,311
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 Transformer CNN 剂量 CT 图像 网络
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。