基于生成对抗网络的肺炎CT图像生成.pdf
《基于生成对抗网络的肺炎CT图像生成.pdf》由会员分享,可在线阅读,更多相关《基于生成对抗网络的肺炎CT图像生成.pdf(5页珍藏版)》请在咨信网上搜索。
1、计算机与现代化JISUANJI YU XIANDAIHUA2023年第7期总第335期文章编号:1006-2475(2023)07-0020-05收稿日期:2022-09-02;修回日期:2023-04-28基金项目:江苏省六大高峰人才项目(XYDXX-117);国家自然科学基金资助项目(51008143)作者简介:王家晨(1998),女,山东潍坊人,硕士研究生,研究方向:图像处理与计算机视觉,E-mail:;张鸿鑫(1998),男,山东聊城人,硕士研究生,研究方向:图像处理与计算机视觉;通信作者:刘庆华(1977),男,内蒙古赤峰人,教授,硕士生导师,研究方向:智能交通,人工智能,E-mai
2、l:。0引 言新冠肺炎遍及全球,国外疫情确诊病例居高不下,给人民日常生活带来极大影响。爆发的疫情使许多国家医疗系统崩溃,物资短缺,严重威胁到各国人民的生命财产安全。虽然我国的疫情状况已基本稳定,但在流感多发季节仍然病例频出1。为了缓解我国医疗系统的压力,部分研究人员利用深度学习在医学图像方面的优势建立辅助医生诊断新冠肺炎的网络系统。深度学习的神经网络训练需要大量数据集,由于医疗图像的私密性,新冠肺炎公开的CT数据集少之又少,因此需要在现有数据的基础上,对肺炎CT图像进行有效扩充2。传统的翻转、裁剪、旋转等扩充方法并没有改变图像的特征细节,这使得神经网络模型极易过拟合,网络训练效果不佳3。后来出
3、现的基于马尔可夫链、最大似然及近似推理的 RBM(Restricted BoltzmannMachines)及其衍生模型等4,这些方法计算量繁重、方法复杂,并且生成效果非常有限。近年来深度学习方法在图像分析领域表现强劲,提高了医学影像研究的工作效率,如特征金字塔融合、生成式对抗网络等5。生成对抗网络(Generative Adversarial Networks,GAN)的发展从根本上改变了依靠硬件来生成医疗图像数据的传统模式,大大提高了生成图像的质量和效率,其仅仅使用特征分布相同的图像数据集摘要:针对以随机噪声为输入的生成对抗网络生成图像模糊、训练不易收敛,以及传统物理数据扩充方法无法融合数
4、据特征的相似性与多样性的问题,提出一种基于特征金字塔和注意力机制CBAM的生成对抗网络UG-DCGAN。首先以经过遮掩去噪的CT图像作为输入,增强网络的鲁棒性;然后利用特征融合金字塔与注意力机制联合建立生成网络提取和重构CT图像,其中特征融合金字塔仅保留最大尺度融合,并在下采样过程中加入残差结构以提高特征提取能力;最后增加判别器网络的卷积层,提高其监督判断能力。经过实验验证,与最新的StyleGAN2模型生成的CT图像相比,本文算法所生成的CT图像的IS值提高了12.44%,FID值降低了21.98%,表明本文算法对提升CT图像生成的清晰度、特征的相似性和多样性都有较明显的效果。关键词:深度学
5、习;特征金字塔;GAN;图像生成;CT中图分类号:TP391文献标志码:ADOI:10.3969/j.issn.1006-2475.2023.07.004CT Image Generation of Pneumonia Based on Generative Adversarial NetworkWANG Jia-chen1,ZHANG Hong-xin2,LIU Qing-hua1,2(1.Ocean College,Jiangsu University of Science and Technology,Zhenjiang 212100,China;2.Computer College,J
6、iangsu University of Science and Technology,Zhenjiang 212100,China)Abstract:Aiming at the problem of fuzzy image generated by generative adversarial networks with random noise as input,difficult convergence in training,and the similarity and diversity of data features cannot be fused by traditional
7、physical data expansion methods,this paper proposes a generative adversarial network-UG-DCGAN based on feature pyramid and attention mechanism CBAM.The method first takes the masked and denoised CT image as input to enhance the robustness of the network.Thenuse the feature fusion pyramid and attenti
8、on mechanism to jointly establish a generative network to extract and reconstruct CT images,in which the feature fusion pyramid only retains the maximum scale fusion,and the residual structure is added in thedown-sampling process to improve the feature extraction ability.Finally,the convolution laye
9、r of the discriminator network isadded to improve its supervised judgment ability.After experimental verification,the results compared with the StyleGAN2model,the FID value of the CT image generated by the algorithm is reduced by 21.98%,and the IS value is increased by 12.44%.Itshows that the algori
10、thm has obvious effects on improving the clarity of CT image generation,the similarity and diversity of features.Key words:deep learning;feature pyramid;GAN;image generation;CT基于生成对抗网络的肺炎CT图像生成王家晨1,张鸿鑫2,刘庆华1,2(1.江苏科技大学海洋学院,江苏 镇江 212100;2.江苏科技大学计算机学院,江苏 镇江 212100)2023年第7期合,采用特征提取和目标生成的技术进行图像的生成,给生物医学
11、图像合成带来了全新的思想和可能6。但是,生成对抗网络还面临着模型训练不收敛、训练阶段模型坍塌,以及产生图像中深层特征细节模糊等的技术困难。初代 GAN 的网络架构都使用了全连接(FullyConnected,FC)神经网络,利用公共数据集CIFAR-10等来生成假图像。Chen等人7提出了一个根据FC层而构造的GAN架构,该架构只在几组数据分布上显示出了高性能。Arjovsky等人8通过引入Wasserstein距离来改进GAN模型,从而解决了原始网络训练困难、生成的图像多样性较差、损失函数无法工作等问题,提升了图像生成效果。Shaban等人9提出了一种基于生成对抗网络的新模型 StainGA
12、N,不仅消除了原始生成对抗网络对样本图像的依赖,而且实现了与目标域的高度相似性。针对以上问题,本文提出一种基于特征金字塔融合 和 DCGAN 的 CT 图 像 生 成 对 抗 模 型UG-DCGAN。该方法是在意大利放射协会和加州大学圣地亚哥分校开源数据集上,综合利用特征金字塔融合的特征提取能力和 GAN 的图像合成能力来解决CT图像数据生成问题。1GAN的基本模型及工作原理生成式对抗网络的出现源于GoodFellow等人受到博弈中的纳什平衡启发10,其结构主要分为生成器(generator,G)和判别器(discriminator,D)这 2个部分。GAN基本模型如图1所示。图1生成对抗网络
13、基本模型生成对抗网络以随机变量z作为输入,输入到生成器G,然后将生成器G生成的样本x与真实样本x一起输入到判别器D进行监督判别,判别器D判断输入的数据为真实数据还是生成数据,并通过判断的结果输出相应概率11。其目标函数如下:minGmaxDV(D,G)=EzPdatalogD(x)+EzPz(z)log(1-D(G(z)(1)其中,公式左侧V(D,G)表示真实样本x和生成样本x的差异程度;公式右侧Pdata代表真实样本的分布,D(x)为输入数据x的概率分布,Pz(z)为噪声的分布。在网络训练时,生成器G努力生成让判别器无法区分真假的样本,而判别器D输出生成数据是否为真的概率。如果判断为真实图像
14、,则输出概率结果为1;如果判断为直接生成图像,则概率输出为012。然后通过损失函数进行梯度反馈,生成器和判别器的网络参数不断迭代更新,直至判别器的输出概率达到0.5,模型此时趋于稳定达到最优13。2UG-DCGAN:CT图像合成方法2.1UG-DCGAN总体框架CT图像的病灶特征往往纹理结构复杂,特征多样丰富。现有的GAN图像生成处理算法存在深层特征缺失、特征提取不足、小目标信息丢失等问题,生成器鲁棒性较弱。为了解决以上问题,本文首先对训练数据进行遮掩去噪14处理,遮掩去噪是对图像的像素点随机置零,使其成为黑色像素点。此过程有利于增强网络对图像多种特征的敏感性,提高生成器鲁棒性。其次利用特征金
15、字塔单一融合编解码结构、残差网络以及注意力机制重构特征多样的CT图像数据。最后将生成器生成的图像与真实图像作为判别器的输入进行判别,并将得到的结果反馈给生成器更新网络参数,通过训练达到图像生成的目的。整个改进后的特征金字塔融合作为生成对抗网络的生成器,然后经过判别器的监督学习,训练生成器能够生成图像清晰、相似性多样性并存的肺炎 CT图像。本文改进后的 UG-DCGAN网络结构如图2所示。图2UG-DCGAN网络结构图2.2特征金字塔单一融合生成器与判别器由图3可以看出,特征金字塔单一融合生成器由改进的特征金字塔和残差结构组成。图3UG-DCGAN生成器网络参数示意图特征金字塔首先对输入的图像进
16、行不同程度的下采样,提取真实数据特征,将这些带有病灶特征的数据作为解码器的输入,以解决随机噪声作为输入造真实样本x随机变量z生成器G生成样本x判别器D判别器损失函数概率数据生成器损失函数输出概率改进后的判别器D梯度反馈改进后的U型生成器GCBAM真实样本x生成样本G(x)去噪的真实样本xupsamplescale=2conv1 k=3 s=2 p=1conv2 k=3 s=2 p=1Resual backResual backResual backupbackupbackupbackupbackinputoutputABLReLUn_s=0.2BN m=0.833 convs=1 p=1upb
17、ack 结构maxpool11 conv11 conv33 conv11 convresual back结构王家晨,等:基于生成对抗网络的肺炎CT图像生成21计算机与现代化2023年第7期成的模型不易收敛、病灶特征不明显的问题。为了避免像卷积块那样不断卷积导致信息丢失过于严重的状况,一方面将下采样过程的部分卷积层替换为残差块,残差块在将CNN网络中的特征图继续向下传递的同时,将当前位置的特征图映射到后面的特征图中,这会让网络后面的特征图具有更加丰富的信息;另一方面实施首尾特征图单一融合,即去除特征金字塔原有的高语义特征之间的横向连接,仅保留输入之后第一层特征与输出之前最后一层特征之间的横向连接
18、,如图3中特征A与特征B融合的过程。此操作将高分辨率的清晰底层特征映射到生成的图像中,保证了生成器的相似性,同时也可以解决多融合过程造成的时间延长、生成图像多样性较差的问题。分别对UG-DCGAN的生成网络和判别网络进行建模。1)UG-DCGAN 生成器网络参数示意图如图 3所示。本文建立的生成器网络总共有9层,前5层为卷积编码器的下采样结构,由2层普通卷积层后接3层残差结构,此残差块是在一个33卷积核的两侧各添加一个11大小的卷积核的基础上,在输入端和输出端连接一个最大池化层和11的卷积核;后4层为恢复数据特征的上采样结构,上采样由4个upback块组成,upback块中依次设置upsamp
19、le、33卷积层、批量归一化层以及LeakyReLU函数。并利用公式(2)对特征层A和特征层B进行加和操作。Z=i=1mxi ki+i=1myi ki(2)其中,xi和yi分别表示进行加和操作的双方的通道,ki表示第i个通道卷积核。最后接入一个Tanh函数,得到生成器输出的肺炎CT图像。2)UG-DCGAN判别器网络结构,其网络示意图如图4所示。相比原始的DCGAN,本文需要增强判别器对数据特征的识别检测能力。根据每层特征图的尺寸,本文采用的判别器总共有8层,其中卷积层为6层,全连接为1层,最后接入sigmoid函数,输出概率数值。图4UG-DCGAN判别器网络参数示意图2.3注意力机制由于卷
20、积操作的本质是通过卷积核对局部感受野邻域内的所有信息加以处理的工作流程,因此无法形成对全局信息的关联,但通过CBAM双重注意力机制可以捕获这种全局关联15。所以,通过把 CBAM注意力机制整合在GAN中,就解决了特征提取能力不足和信息效率低下的问题。其结构如图5所示。图5中的通道注意力部分(Channel Attention)经过挤压、激励和特征标定等3步操作对输入的特征图进行处理,具体公式如下:1)挤压操作。zc=1H Wi=1Hj=1Wuc(i,j)(3)2)激励操作。s=Fex(z,W)=(g(z,W)=(W2(W1z)(4)3)特征重标定。Xc=Fscale(uc,sc)=scuc(5
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 生成 对抗 网络 肺炎 CT 图像
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。