基于残差注意力机制的图像超分辨率算法研究.pdf
《基于残差注意力机制的图像超分辨率算法研究.pdf》由会员分享,可在线阅读,更多相关《基于残差注意力机制的图像超分辨率算法研究.pdf(9页珍藏版)》请在咨信网上搜索。
1、May 2023Journal of Jilin University(Information Science Edition)2023年5 月No.3Vol.41吉林大学(信息科学版)第3期第41卷文章编号:16 7 1-5 8 9 6(2 0 2 3)0 3-0 48 4-0 9基于残差注意力机制的图像超分辨率算法研究刘斌,王耀威(东北石油大学电气信息工程学院,黑龙江大庆16 3318)摘要:针对传统单幅图像超分辨辩率重建算法未能充分利用浅层特征信息,忽略视觉目标中的空间结构信息,难以捕捉特征通道与高频特征信息之间的依赖关系,重建图像出现伪影、边缘模糊的问题,提出一种基于残差网络和注意力机
2、制的图像超分辨率重建算法。该模型特征提取部分结合WDSR-B(W i d e r A c t i v a t i o n Su p e r-ResolutionB)残差网络增强特征信息在网络中的流通,通过坐标注意力机制对特征参数加权,引导网络更好地重建高频特征,恢复图像细节。实验结果表明,4倍图像重建下,在Set5和Set14测试集上的峰值信噪比(PSNR:Pe a k Si g n a l t o No i s e Ra t i o)为31.0 0 dB、2 8.9 6 d B,结构相似性(SSIM:St r u c t u r a l Si m i l a r i t y)为 0.8 9
3、3、0.854,重建后的图像在细节、轮廓方面均表现更好,优于其他主流超分辨率重建算法。关键词:残差网络;超分辨率;注意力;深度学习;图像处理中图分类号:TP391.4文献标志码:AResearch on Image Super-Resolution AlgorithmBased on Residual Attention MechanismLIU Bin,WANG Yaowei(School of Electrical and Information Engineering,Northeast Petroleum University,Daqing 163318,China)Abstract:
4、Because the traditional single image super-resolution reconstruction algorithm fails to make full use ofthe shallow feature information,ignores the spatial structure information in the visual target,is difficult to capturethe dependence between the feature channel and the high-frequency feature info
5、rmation,and there are artifactsand edge blur in the reconstructed image,an image super-resolution reconstruction algorithm based on residualnetwork and attention mechanism is proposed.The feature extraction part of the model combines the WDSR-B(Wider Activation Super-Resolution B)residual network to
6、 enhance the flow of feature information in thenetwork,weights the feature parameters through the coordinate attention mechanism,and guides the network tobetter reconstruct high-frequency features and restore image details.The experimental results show that underquadruple image reconstruction,the PS
7、NR(Peak Signal to Noise Ratio)on Set5 and Set14 test sets is 31.00 dBand 28.96 dB,and the SSIM(Structural Similarity)is 0.893 and 0.854.The reconstructed image performsbetter in detail and contour,which is better than other mainstream super-resolution reconstruction algorithms.Key words:residual net
8、work;super resolution;attention;deep learning;imageprocessing0引言随着深度学习的快速发展,卷积神经网络(CNN:Co n v o l u t i o n a l Ne u r a l Ne t w o r k s)已成功应用于单幅图像超分辨率(SISR:Si n g l e-Ima g e-Su p e r-Re s o l u t i o n)任务中1。1。SISR是指从单幅低分辨率(LR:Lo w-收稿日期:2 0 2 2-0 6-0 1基金项目:国家自然科学基金资助项目(416 0 2 134);黑龙江省自然科学基金优秀青年基
9、金资助项目(YQ2019D001);中国石油科技创新基金资助项目(2 0 2 1DQ02-1103)作者简介:刘斌(19 8 2 一),男,山东潍坊人,东北石油大学教授,博士生导师,主要从事控制理论研究,(Tel)86-18645955167(E-mail)。刘斌,等:基于残差注意力机制的图像超分辨率算法研究第3期485Resolution)图像中恢复自然清晰的高分辨率(HR:H i g h-Re s o l u t i o n)图像,其在安全监控、卫星遥感、医疗卫生领域有广泛的应用2-7 卷积神经网络被Dong等8 引人到图像超分辨率重建中,提出了SRCNN(Su p e r-Re s o
10、l u t i o nConvolutionalNeuralNetwork)网络模型,该网络模型使用3层的卷积神经网络,通过训练获取端到端的映射模型,超分辨重建效果提升明显。为提高重建图像的质量和速度,在SRCNN的网络模型基础上又设计出了FSRCNN(FastSuper-Resolution Convolutional Neural Network)网络模型9,网络性能进一步增强。之后VDSR(Ve r y D e e p Su p e r-Re s o l u t i o n)网络的提出实现了深层网络在超分辨率重建中的应用,VDSR网络模型通过引人更深的网络和非常小的卷积核重建图像10,其
11、实验证明了基于残差网络(ResNet:Residual Network结构下模型性能远超非ResNet结构的模型性能。随着对ResNet结构的深人研究,针对其改进的结构相继被提出12。SRResNet 改进ResNet 架构执行图像超分辨率任务并表现出了良好的效果13。为降低 SRResNet 网络的计算开销,EDSR(En h a n c e d D e e p Su p e r-Re s o l u t i o n)超分辨率网络去除了BN(Ba t c h No r ma l i z a t i o n)层14,在计算开销和特征提取方面做出进一步提升。此后更多的超分辨率模型被提出,但很多网
12、络模型不关注图像中的特征意义,不区分提取到的特征,这样会大大减弱网络的性能。因此注意力机制被应用于RCAN(Re s i d u a l Ch a n n e l A t t e n t i o n Ne t w o r k s)网络中进行超分辨率重建15,通过通道注意力机制对特征图中的通道赋予权重16,从而对通道特征加以区分,更好地重建高频特征。上述方法各有优劣,加深网络固然能更好地保留图像特征,但会显著提升计算开销17】,且过深的网络反而会丢失图像细节,注意力机制可以很好地区分特征18-19,但如何最大限度传递特征信息,发挥注意力机制的筛选作用也需要进行更多研究。为解决重建图像出现伪影、边
13、缘模糊的问题,笔者将残差网络与注意力机制相结合应用于图像超分辨率重建网络中。在深层特征提取部分将WDSR-B(W i d e r A c t i v a t i o n Su p e r-Re s o l u t i o n B)网络与注意力网络结合,其残差网络的旁路构造可以保证浅层信息在神经网络中有效传递;注意力网络对主要特征参数加权,增大有用特征提取,弱化无用特征,增强重建图像的高频特征表现,最后采用亚像素卷积的方式对特征图重组,重建高分辨率图像。实验结果表明,相比其他主流超分辨率算法,基于残差注意力的模型重建后的图像主观评价更好,客观评价指标也有提升。1基于残差注意力的超分辨率重建模型1
14、.1整体模型结构基于残差注意力的超分辨率模型主要由浅层特征提取、深层特征提取和图像重建模块组成。其模型结构如图1所示HHFFFLLDFFD低分辨率图像重建模块高分辨率图像浅层特征提取模块深层特征提取模块图1基基于残差注意力的图像超分辨率模型Fig.1Image super-resolution model based on residual attention输入低分辨率图像,经过特征提取和图像重建后,输出高分辨率图像。在浅层特征提取模块中采用33卷积进行6 4通道的特征提取,连接PReLU激活函数进行非线性整流。低分辨率图像通过浅层特征提取模块FL=f(/UR),(1)FL=f(/R),48
15、6第41卷吉林大学报(信息科学版)其中F为浅层特征提取模块的输出,f(IR)为低分辨率图像TR在浅层特征提取模块中进行卷积和非线性整流操作。深层特征提取模块由多个残差注意力模块串联组成,并对每个残差注意力模块的输出进行跳跃连接,以实现更有效的信息传递。残差注意力模块由特征提取网络和注意力网络组成2 0 2 1!F,=FL+H,(FL),(2)F2=F,+H,(H(FL),(3)其中H,(FL)为浅层特征FL经过第1个残差注意力模块的输出,然后与FL相加作为第2 个残差注意力模块的输人FI。同理,第2 个残差注意力块的输出为H,(H,(F,),每个残差注意力模块的输人都是前一个块的输人和输出之和
16、。深层特征提取模块的最后一层残差注意力网络的输出Hg-1(Fg-1),(4)FD=F-1+f(H,(Hg-1(Fg-1),其中F,为深层特征提取模块的输出,Fg-1为第g-1个残差注意力模块的输出,H。为第g个残差注意力模块。重建部分采用亚像素卷积(Sub-PixelConvolution)的方式进行2 2,结构如图2 所示。将输出特征图用小尺寸卷积核计算出放大倍数h的平方个原图分辨率大小的特征图,通过抽样的方式,每隔k个像素点进行插值排列,将多张特征图排列成放大图像。串联两个亚像素卷积模块,最多可将图像放大为原尺寸的4倍1.2残差注意力模块结构卷积像素排列激活函数CxHxWCxHxWx倍数?
17、图2亚像素卷积模型结构图Fig.2Structure diagram of sub-pixelconvolution model为改善特征信息在网络中的传递效率,设计一种残差注意力模块,结构如图3所示,将WDSR-B网络和坐标注意力网络融合。WDSR-B残差网络是基于ResNet网络的改进,由于ReLU激活函数会阻碍特征信息的传递,因此WDSR-B网络中增加了激活函数前的特征通道数和网络中的信息量,由于通道数的增加会增大参数量,为降低计算开销,使用11卷积替代33卷积,H_平均池化Sigmoid拼接拆分卷积1X1Sigmoid64通道W_平均池化Sigmoid32通道64通道ReLU卷积11卷
18、积1X1卷积33输入特征图256通道256通道线性转换64通道输出特征图64通道64通道图3残差注意力模块结构图Fig.3Structurediagram of residual attention module在残差注意力模块中,首先将输人特征图进行2 5 6 维度的11卷积,通过增加通道数使更多高频特征被提取,经过非线性整流后再经由11卷积压缩特征通道数,其次使用11卷积将通道扩张至输人特征通道数,使更多浅层特征在网络中传导至最后,降低特征信息在网络中的损失。然后在WDSR-B模块后连接坐标注意力网络,沿输人特征图的宽和高方向进行平均池化,特征矩阵分解为沿x轴和轴两个空间方向的聚合特征,使
19、用11卷积压缩通道,再进行批归一化和非线性回归编码x轴和y轴的空间信息,最后扩张通道并通过注意力机制对输入特征通道进行加权,再与输出相加,实现特征通道参数的聚合。1.3损失函数模型采用均方误差(MSE:M e a n Sq u a r e Er r o r)即L2损失函数指导模型优化学习,Ll和L2损失函数刘斌,等:基于残差注意力机制的图像超分辨率算法研究第3期487是超分辨率重建算法中常用的损失函数,L1损失函数(平均绝对损失函数)的梯度在极值点处会产生较大跃变,不利于网络的学习,L2损失函数梯度收敛的速度更快且更稳定,模型更容易被训练。模型的损失函数为1(y:-.),1LMSE二(5)n其
20、中y;为模型的第i个预测值,即第i张重建图像,;为标签值,即第i张原始高清图像。训练过程中需要最小化目标函数,重建图像越接近真实图像,MSE的值越趋近于0。MSE损失对离群点的处理会导致重建图像更为平滑,相应会降低部分高频细节恢复,在输出层使用激活函数降低离群点对模型的影响。对应的MSE损失函数为TWTH2-S.()1PWH(6)其中IR为HR图像THR对应的LR图像,W、H 分别为IR的宽和高,为THR到TR的下采样倍数,S。为由参数构建的前馈神经网络,S。(ILR)为重建图像。2实验结果与分析2.1实验环境与参数实验的硬件环境为IntelCorei7-11700KFCPU、16 CBy t
21、 e 运行内存、GeForceRTX3080显卡。软件环境为Windows10操作系统、Cudal1.2、Cu d n n 8.2、Py t o r c h 1.9、Py t h o n 3.7。数据集中的图片随机裁剪成9696像素的方形,使用Adam优化器进行训练。Adam优化器具有自适应学习率的梯度下降算法和动量梯度下降算法的优点,可针对不同参数分配不同学习率,这种自适应学习率机制可以增加优化速度,缓解梯度震荡的同时也更适应稀疏梯度。初始化学习率为0.0 0 0 1,训练过程中将BatchSize设置为6 4,共训练10 0 个周期。为充分发挥模型超分辨率重建性能,在COCO2014数据集
22、上进行训练,其中包含123287张图像。使用的测试集为Set5、Se t 14、BSD 10 0、U r b a n 10 0 共计2 19 张图像:Set5测试集包含5 张特征简单、层次清晰的图像;Set14测试集包含14张图像,高频特征和低频特征更加复杂;BSD100测试集中的图像多达10 0 张,特征更为多样性;Urban100测试集包含10 0 张结构性强,特征简单的城市建筑图像。基于这些图像特点,以上4个数据集常被用于超分辨率重建研究。实验进行的是2 倍和4倍的超分辨率重建,在训练和测试过程中,首先将原始图像降质,再送入网络进行放大重建,降质方法采用双三次插值法,将原始图像分辨率缩小
23、为原来的1/2 和1/4,两种分辨率放大倍数的实验独立进行。2.2实验结果分析为深入分析模型的性能,首先研究了模块数量对性能的影响,然后进行了模型结构的消融实验,最后与其他超分辨率重建算法进行比较。增加网络深度可一定程度上提高模型性能,为探究残差注意力模块数量对模型性能的影响,对比了不同残差注意力模块数下的模型在Set14测试集上4倍超分辨率重建的测试结果。Set14测试集中的图像特征复杂度低,高频特征和低频特征的边界较清晰,使用峰值信噪比(PSNR:Pe a k Si g n a l t o No i s eRatio)和结构相似度(SSIM:St r u c t u r a l Si m
24、i l a r i t y)这两个客观评价指标量化重建图像质量,PSNR是通过定量计算重建图像和原始图像之间像素的方差评估两幅图像的像素级相似程度,数值越高表示重建图像质量越好,单位dB,计算方法为L?MNfpsNR=10 1og2(7)MNZZ(X,-Y,)2其中L为标准图像的灰度级别,M和N为图像长和宽的像素数,i和j为像素点的坐标,X为原始图像,Y为重建图像。SSIM为灰度、对比度和结构相关性3方面数值的整合,取值介于0,1间,计算方法为(2,l,+C,)(20 y+C,)fsiM(8)(+,+C,)(o+o,+C2)488吉林大学学报(信息科学版)第41卷其中和,分别为原始图像与重建图
25、像灰度的平均值,和,分别为原始图像与重建图像的标准差,为原始图像与重建图像的协方差,C,和C为维持稳定,避免分母为O的常数。SSIM的值越接近1,表示重建图像的质量越好。实验结果如表1所示。表1不同残差注意力模块数量下的测试结果Tab.1TTest results under different residual attention modules残差注意力模块数量PSNR/dBSSIM残差注意力模块数量PSNR/dBSSIM827.910.8051628.960.8541228.470.8322228.940.8521428.750.846由表1可看出,当残差注意力模块数量为16 时,模型性
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 注意力 机制 图像 分辨率 算法 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。