深层跳线残差网络热红外图像超分辨重建_邓伟.pdf
《深层跳线残差网络热红外图像超分辨重建_邓伟.pdf》由会员分享,可在线阅读,更多相关《深层跳线残差网络热红外图像超分辨重建_邓伟.pdf(6页珍藏版)》请在咨信网上搜索。
1、引用格式:邓伟,陈建飞,张胜 深层跳线残差网络热红外图像超分辨重建J 电光与控制,2023,30(3):27-32 DENG W,CHEN J F,ZHANG SSuper-resolution reconstruction of thermal infrared image in deep residual network with skip connections J Electronics Optics Control,2023,30(3):27-32深层跳线残差网络热红外图像超分辨重建邓伟,陈建飞,张胜(南京邮电大学电子与光学工程学院、柔性电子(未来技术)学院,南京210000)摘要:
2、在公共安全、军事等领域高分辨率热红外图像能够提供更多的场景细节信息,有着广泛的应用需求,但高昂的设备成本限制了高分辨率红外图像的获取。为此设计了一种多级跳线深层残差卷积神经网络(DR-CNN),通过软件超分辨的方法重构出高分辨率的红外图像。采用多级跳线双通道注意力残差块增加卷积深度以解决卷积层间缺乏关联性的问题;使用 Concat 模块实现局部特征信息的融合,利用反卷积层进行特征图像的上采样,使其直接从低分辨率图像学习到高分辨率图像以降低训练的复杂度,加快运行速度。所提算法与 SRCNN,FSRCNN 和 ADSR 等算法进行对比测试,使用峰值信噪比(PSNR)和结构相似度(SSIM)作为算法
3、的评价指标。实验结果表明提出的 RD-CNN 算法优于其他对比算法,生成的高分辨率图像细节丰富且清晰。关键词:热红外图像;超分辨重建;多级跳线;双通道;注意力残差块;Concat 层中图分类号:TP391 41文献标志码:Adoi:10 3969/j issn 1671 637X 2023 03 005Super-Resolution Reconstruction of Thermal InfraredImage in Deep Residual Network With Skip ConnectionsDENG Wei,CHEN Jianfei,ZHANG Sheng(Nanjing Uni
4、versity of Posts and Telecommunications,College of Electronic and Optical Engineering College ofFlexible Electronics(Future Technology)Nanjing 210000,China)Abstract:In public security and other fields,high-resolution thermal infrared image can provide more scenedetails,and has a wide range of applic
5、ation requirements However,high equipment cost limits theacquisition of high-resolution infrared images In this paper,a multistage skip Deep Residual ConvolutionalNeural Network(DR-CNN)is designed to reconstruct high resolution infrared images by software super-resolution method Multistage skip dual
6、-channel attention residual blocks are used to increase theconvolution depth to solve the problem of lack of correlation between convolution layers In order to reducethe complexity of training and speed up the operation,Concat module is used to realize the local featureinformation fusion and the dec
7、onvolution layer is used to upsample the feature images directly from lowresolution images to high resolution images Compared with SRCNN,FSRCNN and ADSR,the Peak Signal-to-Noise Ratio(PSNR)and Structural Similarity(SSIM)are used as evaluation indexes Experimentalresults show that the DR-CNN algorith
8、m proposed is superior to other algorithms,and the generated high-resolution images are rich in detail and clearKey words:thermal infrared image;super-resolution reconstruction;multi-level skip;dual-channel;attention residual block;Concat layer0引言红外图像是通过红外热像仪将物体向外发散的辐射信号转变成电信号生成的人眼可识别图像。红外图收稿日期:2022
9、-01-20修回日期:2022-02-14基金项目:国家自然科学基金(61601237)作者简介:邓伟(1996),男,江苏泰州人,硕士。像因其不受外部光线的影响且穿透力强、作用距离远等优点被广泛应用于消防、医疗1、卫星遥感2、军事3 等领域。然而,由于硬件设备工艺进程的限制,所获得的红外图像分辨率低,视觉效果不佳。现阶段,提高红外图像分辨率主要有两种方法:一种是提高热红外设备的性能,但高性能的设备意味着高成本;另一种是利用软件方法提升红外图像的分辨率。而超分辨重建技术就第 30 卷第 3 期2023 年 3 月电光与控制Electronics Optics ControlVol 30No 3
10、Mar 2023是利用软件方法将原有的低分辨率图像进行处理最终获得高分辨率图像,无需提高设备性能,经济有效且实用性很强。目前图像超分辨方法大致有 3 种。1)基于插值的方法。例如最近邻插值法4、双立方插值5 等,这类方法的算法简单、运行速度快,但其仅利用局部信息无法还原图像的高频信息,图像视觉效果提升有限。2)基于重建的方法。该类方法分为频域法和空域法两大类。常用方法有凸集投影法(Projection Onto Convex Set,POCS)6、迭代反投影法(Iterative Back Projection,IBP)等。3)基于学习的方法。随着深度学习的不断发展,卷积神经网络开始应用于图像
11、领域。由 DONG 7 首次提出的SRCNN(Super-Resolution Convolution Neural Network)模型成功使用了卷积网络,图像成像质量获得了极大的提升。SRCNN 分为 3 个阶段:特征提取、非线性映射、重建。算法实现了从低分辨率图像到高分辨率图像端到端的学习,相比于插值、重建等传统算法有较大提升;但SRCNN 卷积层较少,因此无法获取足够多的图像信息且收敛速度缓慢。针对此缺点 KIM 等8 提出了 VDSR卷积神经网络,VDSR 由 20 层卷积层(3 3)组成,利用残差学习加快网络收敛速度增强了模型的重建性能;但由于 VSDR 网络深度的加深,其训练量急
12、剧增大训练时间过长。DONG 等9 在其原有 SRCNN 模型上提出了 FSRCNN 卷积神经网络模型,FSRCNN 直接将原始低分辨率图像输入卷积神经网络,最后进行上采样操作(反卷积)获得超分辨重建图像,实验结果表明,该网络模型在速度和效果上都有较大提高。深度卷积网络在超分辨重建技术上能够获取更多的图像信息,但仅通过简单地增加卷积层数会导致梯度消失、梯度爆炸等问题;简单地增加卷积层的数量无法有效利用卷积层间的特征信息,使得在超分辨重建过程中图像区域信息缺乏相关性,图像重建难以达到预期效果。为此,赵小强等10 提出了新的深度残差网络,该网络通过残差学习方式增加神经网络深度以解决深层网络梯度消失
13、、梯度爆炸的问题;同时,利用跳线思想使得卷积层间图像特征信息得以充分利用从而达到了更好的重建效果。在图像超分辨过程中,图像的局部特征信息有时比全局特征信息更能获得准确的重构效果。然而,文献 10 没有充分利用局部特征信息,仅进行了简单的全局特征融合,无法达到最佳的重建效果。为解决以上问题,本文提出了新的多级跳线连接深层残差网络(DR-CNN),通过采用注意力机制并改进残差网络结构充分利用了有效特征信息,利用Concat 模块进行多级残差块的特征融合(局部特征融合),最后通过反卷积层上采样重建高分辨率图像从而达到了更好的重建效果。1多级跳线连接的残差网络重建方法本文基于残差学习、跳线连接的思想构
14、建了 DR-CNN 网络。DR-CNN 网络结构如图 1 所示。图 1多级跳线连接的深度残差网络结构图Fig 1Structure diagram deep residual network with multistage skip connection该网络包含一个由两层卷积组成的浅层特征提取模块,7 个多级跳线注意力残差块(35 个子残差块),由两层卷积层组成的 Concat 模块和一个反卷积层。利用跳跃连接将图像特征信息传递到后面的卷积层中并充分利用局部特征信息,有利于更好地恢复图像;而利用反卷积层使得输入的低分辨率图像(LR)无需进行双三次插值(上采样),将 LR 图像直接作为输入。具
15、体流程如下:将 LR 图像输入卷积网络,通过特征提取模块提取特征信息,第 1 层卷积(3 3 3 64)输出为 G1,第 2 层卷积(64 3 3 64)输出为 G2;随后将 G2输入残差模块中,通过 7 个注意力残差块后将得到预测特征(P)输入到 Concat 模块中进行局部特征信息融合,输出为 H;随后与 G1全局特征信息融合(H1);最后 H1经反卷积层上采样获得高分辨率图像。1 1多级跳线连接注意力残差块1 1 1残差网络在卷积神经网络中卷积层的数量对图像重建效果有重要影响。卷积层数过少,神经网络学习不充分,图像重建效果不佳,但随着卷积层数的增加神经网络出现网络梯度消失、退化等问题,无
16、法有效提升图像质量。2016 年由 HE 等11 提出的残差网络方法有效解决了这一问题。残差卷积网络中每个残差块都包含了多个由卷积层和激活层构成的特征提取单元,结构如图2(a)所示。实验研究表明,BN 层在图像超分辨学习中容易破坏图像的对比度信息,从而影响重建效果。在曲海成等12 的研究中验证了这一观点:发现 BN 层易导致网络的不稳定和发散,因此将 BN 层去除。本文在此基础上重新构建了残差网络,新结构为双通道网络,其由3 个82第 30 卷电光与控制邓伟等:深层跳线残差网络热红外图像超分辨重建卷积层(1 1+3 3+1 1)与 2 个卷积层(3 3)组成,如图 2(b)所示。新结构既增加了
17、网络深度以提取深层特征信息,也保证了充分利用局部浅层特征信息,从而达到更好的重建效果。图 2残差网络Fig 2Residual network1 1 2多级跳线连接残差块传统的深度神经网络模型卷积层只对其前一个卷积层的特征向量进行卷积计算,没有有效利用相邻两个卷积层的特征信息,从而导致图像区域特征信息少且其前后信息缺乏关联。为解决此问题,本文在改进的残差网络的基础上设计残差模块,其结构如图 3所示。图 3多级跳线连接注意力残差块结构Fig 3Block structure of attention residualwith multistage skip connection该残差模块采用跳线
18、连接思想,残差块的跳线连接参数分别为 L=0 1,M=0 1,并引入通道注意力机制与空间注意力机制提高运行效率及精确度。图 3 上半部分为上通道多级跳线连接残差块结构,图中每个卷积层与前一层 L 倍权重值特征融合组成 3 个子残差块。设由两层卷积组成的特征提取模块输出为 x,每个子残差块输出分别为 y1 1,y2 1,y3 1,且有y1 1=W1(x)+Lx(1)y2 1=W2(y1 1)+Ly1 1=W2(W1(x)+Lx)+LW1(x)+L2x(2)y31=W3(y21)+Ly21=W3(W2(W1(x)+Lx)+LW1(x)+L2x)+L(W2(W1(x)+Lx)+LW1(x)+L2x)
19、。(3)图 3 下半部分为下通道多级跳线连接残差块结构,子残差块输出分别为 y1 2,y2 2,且有y1 2=W1(x)+Lx(4)y2 2=W2(y1 1)+Ly1 1=W2(W1(x)+Lx)+LW1(x)+L2x。(5)每个残差块与残差块输入 M 倍权重值特征融合,即y4=y31+y22+Mx=W3(W2(W1(x)+Lx)+LW1(x)+L2x)+L(W2(W1(x)+Lx)+LW1(x)+L2x)+W2(W1(x)+Lx)+LW1(x)+L2x+Mx。(6)由式(6)可以分析出,残差块输出(y4)包含了上通道前两个子残差块的输出值 Ly1 1,Ly2 1和下通道前一子残差块输出值 L
20、y1 2;因此该残差网络能够有效提取残差块各层卷积层的特征信息。1 1 3注意力机制传统基于 CNN 的图像超分辨模型在处理图像特征信息时平均化,因此在模型迭代过程中浪费大量资源计算次要信息,而重要信息没有充分重视利用,最终导致超分辨神经网络模型重建效果不佳。而注意力机制在图像超分辨研究中取得较好的效果13。本文在残差块网络中加入 CASA(CA 为通道注意力,SA 为空间注意力)模块,该模块得以让网络在重要信息方面给予更多的注意力,从而在边缘信息处理方面得到更好的表现。CASA 模块结构如图 4 所示。图 4CASA 模块Fig 4CASA module从图 4 可以看出,CASA 模块由通
21、道注意力子模块(CA)和空间注意力子模块(SA)组成。由一个池化层(Pooling)、两个卷积层组成,非线性激活函数为 ReLU和 Sigmoid 组成的通道注意力子模块;由两个卷积层,非线性激活函数为 ReLU 和 Sigmoid 组成的空间注意力子模块,其中,SA 卷积核大小为 7 7 以扩大感受野。具体实现过程如下。本文采用平均池化方式将通道中的全局空间信息特征信息转变成描述符,即yc=HGP(xc)=1H WHi=1Wj=1Xc(i,j)(7)式中:HGP为全局池化函数;xc为第 c 通道的特征图;特征图的长宽分别为 H,W;Xc(i,j)为第 c 通道特征图在位置(i,j)处的特征值
22、。平均池化后特征图的 H 和 W均为1,在通过池化层后得到通道的关联性后的 ReLU,Sigmoid 激活函数,即s=f(Conv(Conv(yc)(8)式中:f 为 ReLU 激活函数;为 Sigmoid 函数;Conv(yc)为卷积层权重,目的是减少通道数量;经 ReLU 函数激92第 3 期活后获得 c 通道的权重 s,因此每条通道获得了不同的权重。最终通道的不同权重特征信息与输入特征图相乘得到 CA 输出特征图 F。SA 子模块的目的是获得各个空间(像素)的权重信息。CA 输出特征图 F 经 SA 模块权重信息为r=(Conv(A+M)(9)式中:A(A Pooling)代表平均池化函
23、数;M(M Pooling)代表最大池化函数;r 表示特征图各空间信息的权重。经 SA 子模块输入的特征图通道数由 c 降低为 1 改变了特征图的通道数,将空间权重特征信息 r 与输入特征图 F 相乘得到 SA 模块输出特征图 F。1 2Concat 模块Concat 模块用于将所有多级跳线连接残差块提取到的特征融合在一起,完成局部特征信息融合,得到尽可能多的特征信息。Concat 模块结构如图 5 所示。图 5Concat 模块Fig 5Concat moduleConcat 模块将 7 个跳线连接残差块进行 Concat 操作14(局部特征融合),由 1 1 卷积核减少通道数以降低神经网络
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 深层 跳线 网络 红外 图像 分辨 重建 邓伟
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。