基于卷积稀疏编码与生成对抗网络的图像超分辨率重建.pdf
《基于卷积稀疏编码与生成对抗网络的图像超分辨率重建.pdf》由会员分享,可在线阅读,更多相关《基于卷积稀疏编码与生成对抗网络的图像超分辨率重建.pdf(11页珍藏版)》请在咨信网上搜索。
1、第 38 卷 第 10 期2023 年 10 月Vol.38 No.10Oct.2023液晶与显示Chinese Journal of Liquid Crystals and Displays基于卷积稀疏编码与生成对抗网络的图像超分辨率重建杜均森1,郭杰龙2,3*,俞辉2,3,魏宪2,3(1.福州大学 先进制造学院,福建 泉州 362000;2.中国科学院 福建物质结构研究所,福建 福州 350108;3.中国科学院 海西研究院 泉州装备制造研究中心,福建 泉州 362000)摘要:针对现有图像超分辨率重建算法的重建图像仍存在高频信息缺失、噪点增多问题,本文提出了一种基于卷积稀疏编码与生成对抗
2、网络的图像超分辨率重建模型。首先,利用卷积网络实现稀疏编码并获取图像稀疏表示,充分利用图像的先验信息,有效避免重建图像高频信息缺失和噪点增多的问题;在得到低分辨率图像的稀疏表示后,通过重建模块对稀疏表示进行重建得到超分辨率图像;随后,鉴别器对重建图像进行鉴别,缓解由 PSNR 主导的算法导致重建图像趋于平滑的问题。在不断对抗训练后,最后的重建图像具有更好的视觉效果。本文在 Set5、Set14、BSD100和 Urban100通用测试数据集上进行 2倍和 4倍的超分辨率重建实验,并与 Bicubic、SRGAN、EDSR 和 ESRGAN 对比。与 ESRGAN 方法相比,本文模型在 4个数据
3、集上平均 PSNR提升约 0.702 8 dB,平均 SSIM 提升约 0.047,平均 LPIPS提升了 0.016。实验结果表明,所提出的模型具有较强的竞争力,能够恢复更多的细纹理细节且具有更好的清晰度。关键词:图像处理;图像超分辨率;稀疏表示;生成对抗网络中图分类号:TP391.4 文献标识码:A doi:10.37188/CJLCD.2022-0406Super-resolution image reconstruction based on convolutional sparse coding and generative adversarial networksDU Jun-se
4、n1,GUO Jie-long2,3*,YU Hui2,3,WEI Xian2,3(1.School of Advanced Manufacturing,Fuzhou University,Quanzhou 362000,China;2.Fujian Institute of Research on the Structure of Matter,Chinese Academy of Sciences,Fuzhou 350108,China;3.Quanzhou Institute of Equipment Manufacturing,Haixi Institutes,Chinese Acad
5、emy of Sciences,Quanzhou 362000,China)Abstract:To address the problems of high-frequency information missing and increased noise in images 文章编号:1007-2780(2023)10-1423-11收稿日期:2022-12-06;修订日期:2023-01-17.基金项目:中国福建光电信息科学技术创新实验室(闽都创新实验室)(No.2021ZZ120);福建省科技项目计划(No.2021T3003);泉州市科技项目(No.2021C065L)Supporte
6、d by Fujian Science&Technology Innovation Laboratory for Optoelectronic Information of China(No.2021ZZ120);Fujian Science and Technology Plan Project(No.2021T3003);Quanzhou Science and Technology Plan Project(No.2021C065L)*通信联系人,E-mail:第 38 卷液晶与显示generated by existing image super-resolution reconstr
7、uction algorithms,this paper proposes an image super-resolution reconstruction model based on convolutional sparse coding and generative adversarial networks.Firstly,convolutional networks are employed to implement sparse coding and obtain a sparse representation of the image,which makes full use of
8、 the prior information of the image and effectively avoids the problems of high-frequency information missing and increased noise in the reconstructed image.After obtaining the sparse representation of the low-resolution image,the sparse representation is reconstructed by the reconstruction module t
9、o obtain the super-resolution image.Subsequently,the discriminator discriminates the reconstructed image to alleviate the problem that the reconstructed image tends to be smooth due to the PSNR-dominated algorithm.After continuous adversarial training,the final generated super-resolution images are
10、made to have better visual effects.The super-resolution reconstruction experiments are performed on Set5,Set14,BSD100 and Urban100 general test datasets at 2 and 4 and compared with Bicubic,SRGAN,EDSR and ESRGAN methods.Compared with ESRGAN,the average PSNR improvement is about 0.702 8 dB,the averag
11、e SSIM improvement is about 0.047,and the average LPIPS improvement is 0.016 on the four datasets.Experimental results show that the proposed model is highly competitive and enables the recovery of more fine-texture details with better definition.Key words:image processing;image super resolution;spa
12、rse representation;generative adversarial network1 引言图像超分辨率重建是通过某种映射将低分辨率(Low Resolution,LR)图像重建出具有丰富细节的高分辨率(High Resolution,HR)图像的技术1,在许多领域中得到广泛的应用,例如视频网络、眼底影像处理和卫星遥感等。目前主流的图像超分辨率重建算法主要可以分为两大类:基于传统的算法2和基于学习的算法3。传统算法包括基于插值和基于重建的算法,在图像超分辨率上取得了一定的效果。其中,基于插值的算法包括最近邻插值、双线性插值4、双立方插值5等,只是简单地增加对像素点,并没有充分利用
13、图像的先验信息,难以恢复图像细节;基于重建的算法6包括凸投影集算法7和迭代反向投影算法8,这类算法需要明确的先验信息并增加一些附加操作,导致计算量较大,效率较低。因此基于传统的超分辨率重建算法仍未能满足人们对图像分辨率提升的期望。基于学习的算法通过机器学习算法学习到先验知识,能够更准确地捕获低-高分辨率图像特征之间的映射关系,从而极大地提升超分辨率重建的效果。目前常用的基于学习的算法主要有稀疏表示和深度学习。图像的稀疏表示作为先验知识,可以揭示图像的主要几何结构特征和分布,更有效地表示图像和保留高频结构信息,能够胜任各种视觉任务,例如人脸识别9、超分辨率重建10和去噪任务11等。Yang等人1
14、2认为不同分辨率图像的稀疏表示应当线性一致,通过学习高分辨率图像和相应的低分辨率图像之间的字典对获取对应的稀疏表示,利用稀疏表示恢复缺失的高频信息,进而重建出超分辨图像。Zeyde 等人13在 Yang 的基础上对特征提取算子进行了改进,通过采用字典学习算法学习字典,并使用正交匹配追踪法进行稀疏求解。基于稀疏表示的超分辨率重建技术已经较为成熟,稀疏表示可以提供足够的图像高频信息,且具有较强的噪声抗干扰能力。稀疏编码虽然在重构图像上有着优秀的表现和深刻的物理意义,但其仍具有计算开销大、训练时间长的问题。卷积神经网络已经成为有效解决许多具有挑战性问题的工具14,在安防监控、光学成像15、全息投影1
15、6等领域得到广泛的应用。因此,学者们开始研究如何利用效率更高的卷积神经网络进行超分辨率重建,如 SRCNN(Super-Resolution using Convolutional Nerural Network)17、VDSR(Super-Resolution using Very Deep Convolutional Networks)18、ESPCN(Efficient Sub-Pixel Convolutional Nerural Network)19等。近年来,文献 20采用更深的网络并加入残差模块。文献 21 提出了一种融合多尺度特征的光场超分辨网络以1424第 10 期杜均森,等
16、:基于卷积稀疏编码与生成对抗网络的图像超分辨率重建提高光场子孔径图像的空间分辨率,进一步推进卷积神经网络在超分辨率重建技术的发展。这些深度学习模型可以学习到低分辨率图像到高分辨率图像的映射关系,但由于损失函数广泛采用岭回归以提高峰值信噪比,使得重建图像整体趋于平滑和缺失高频信息,重建效果尚不尽人意。而目前大多基于稀疏编码的超分辨率重建算法在图像输入时,首先将图片划分为具有重叠的小块,然后再对每个小块单独进行处理。然而这样的处理方式往往容易导致图像块之间的像素缺乏一致性和重叠像素中出现伪影,使得重建图像质量下降。近年来在深度学习领域中,结合稀疏编码的研究主要围绕数值优化算法操作的网络架构设计。文
17、献 22 提出了可学习的迭代阈值算法,将迭代阈值算法23(Iterative Shrinkage Thresholding Algorithm,ISTA)展开为深度神经网络。Liu等人24将可学习的迭代阈值算法应用于图像超分辨率重建领域。文献 25 将卷积稀疏编码转化为深度卷积神经网络并应用于图像的去噪和修复中,获得了不错的效果。随着各类深度学习模型的提出和训练策略的不断完善,Goodfellowt等人26提出的生成对抗网络(Generative Adversarial Networks,GAN)采用了内容损失函数和对抗损失函数进行训练,使得生成图像更逼近自然图像。随后,Ledig等人27提出
18、了 SRGAN(Super-Resolution Generative Adversarial Networks),首次将 GAN 思想应用于图像超分辨率重建中,设计新型的感知损失作为网络的损失函数,使得重建图像更符合人眼的主观感受。Wang等人28提出 ESRGAN(Enhanced Super-Resolution Generative Adversarial Networks),在SRGAN 模型框架上加入了密集残差块并去除所有的批归一化层,同时加入了 Relativistic GAN的鉴别器,使得重构图像具有更高的指标值和更清晰的视觉效果。基于生成对抗网络的图像超分辨率重建模型通过生成
19、器与鉴别器的博弈可以生成逼真的重建图像,极大地改善了主观质量,但它们仍存在伪影,锐化后不可避免地产生噪点。针对上述问题,本文提出了基于卷积稀疏编码和生成对抗网络的超分辨率重建模型。不同于以往可学习的稀疏编码模型采用全连接层实现稀疏编码,本文利用卷积算子替代稀疏编码算法中的矩阵乘法以获得图像的稀疏编码,既提高了网络训练的速度,又能够利用稀疏编码捕获图像的高频信息,提高模型对图像复杂几何结构的稀疏表示能力。随后获得的稀疏表示通过重建层生成重建的高分辨率图像。将重建图像与原始的高分辨率图像输入到鉴别器进行鉴别,使重建图像在低层的像素上和高层次的抽象特征上更好地接近原始的高分辨率图像,进一步提高了重建
20、图像的质量。2 理论基础2.1稀疏编码信号的稀疏表示模型具有捕获信号奇异性结构能力强、表示冗余度低及系数稀疏度改的优势29。利用图像的稀疏表示作为先验知识,更有效地表示图像和保留高频结构信息。稀疏编码理论13即假设信号x Rm可以由字典中D Rm n的原子线性组合来表示,其中m n,常见的稀疏编码模型如下:x=D+,(1)其中:Rn表示稀疏编码,Rm表示信号重建后的残差。稀疏编码的目标函数如式(2)所示:argminD,x12x-D22+g(x),(2)式中:第一项为重构误差;第二项为稀疏正则函数,用于测量和约束稀疏表示x的稀疏性,常见的有0范数、1范数、p范数(0 p 1)。对于公式(2),
21、已经提出一些算法求解,包括正交匹配追踪30、K-SVD算法31和迭代阈值算法23。迭代收缩阈值算法是一种在图像生成领域中非常受关注的算法。对于公式(2),ISTA23具体求解稀疏表示的迭代公式如式(3)所示:k+1x=S(kx+DT(x-Dkx),(3)其中:=1L,当 L max(DTD)时,保证收敛性;max()表示矩阵最大的特征值;为常量。S(x)为软阈值算子,其表达式如式(4)所示:S(x)=sign(x)max(|x-,0),(4)式中:S(x)为软阈值操作函数,为阈值,在公式(3)中,=;sign(x)为符号函数。2.2生成对抗网络生成对抗网络是通过对抗训练的深度学习1425第 3
22、8 卷液晶与显示模型。生成对抗网络由生成器(Generator,G)和鉴别器(Discriminator,D)两个网络框架构成。生成器 G 的主要目的是生成一张接近于真实的虚假图像来骗过鉴别器。而鉴别器 D 则是一个二分类器,目的是能够准确判断输入的样本是真实的还是生成器生成的虚假图像。生成器 G 与鉴别器 D 通过不断的对抗训练更新优化各自网络能力。总的损失函数如式(5)所示:minGmaxDExpdata(x)log D(x)+Exp(z)log(1-D(G(z),(5)其中:pdata(x)为真实样本分布,p(z)为生成器生成图像的分布。生成对抗网络的训练是单独交替迭代训练的。对于鉴别器
23、的优化,如式(6)所示,保持生成器 G 不变而训练鉴别器 D,鉴别器的目的在于能够正确地区分真实样本和生成的虚假样本,使用 1和 0来代表输出的结果为真实样本和生成的虚假样本。第一项输入样本来自真实数据,因此期望D(x)接近于 1。同理,第二项的输入样本来自生成器 G 生成的数据,因此期望D(G(z)接近于 0,使得总数最大。minGV(D,G)=Expdata(x)log(D(x)+Ezp(z)log(1-D(G(z).(6)对于生成器的优化,即minGV(D,G)部分,只需将鉴别器的鉴别结果D(G(z)接近于 1,即总数值最小:minGV(D,G)=Ez p(z)log(1-D(G(z).
24、(7)3 模型框架本文采用基于卷积稀疏编码网络作为生成器,利用卷积稀疏编码层学习到低分辨率图像的稀疏表示x,随后稀疏表示x经过线性变换层映射得到高分辨率图像的稀疏表示y,最后再经过卷积字典层得到重建图像。为使最后重建图像更加自然,将生成的高分辨率图像与原始的高分辨率图像输入到鉴别器中,通过交替训练生成器和鉴别器,最后得到生成的高分辨率图像。模型的整体框架如图 1所示。3.1生成模型目前低分辨率图像数据集主要通过原始的高分辨率图像数据集经过下采样获取。在下采样的过程中,获得的低分辨率图像在一定程度上引入噪点,导致后续进行超分辨率重建时噪点被放大。而图像信号具有冗余结构,在稀疏编码过程中可以被稀疏
25、化,噪声因其自身的随机性不能被稀疏表示。因此可以通过提取图像的稀疏表示,再用提取的稀疏表示来重构图像。在这个过程中,噪声被处理为观测图像和重构图像之间的残差,在重构过程中残差被丢弃,从而避免重建图像噪点增多的问题。假设给定训练集xi Rm,yiRlni=1,稀疏编 码 即 找 到 满 足 与 式(8)中 对 应 字 典D:=d1,dk和F:=f1,fk的稀疏编码:minD,P,xyini=1i=1n12xi-Dxi22+xip+12yi-Fyi22+yip,s.t.D (m,k),F (l,k),0 p 1,(8)其中:xi为低分辨率图像集,yi为高分辨率图像集,xip为稀疏性。R+对稀疏性进
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 卷积 稀疏 编码 生成 对抗 网络 图像 分辨率 重建
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。