双注意力引导的细节和结构信息融合图像去雾网络_高继蕊.pdf
《双注意力引导的细节和结构信息融合图像去雾网络_高继蕊.pdf》由会员分享,可在线阅读,更多相关《双注意力引导的细节和结构信息融合图像去雾网络_高继蕊.pdf(12页珍藏版)》请在咨信网上搜索。
1、第 1 期2023 年1 月电子学报ACTA ELECTRONICA SINICAVol.51 No.1Jan.2023双注意力引导的细节和结构信息融合图像去雾网络高继蕊1,2,李华锋1,2,张亚飞1,2,谢明鸿1,李凡1,2(1.昆明理工大学信息工程与自动化学院,云南昆明 650500;2.云南省人工智能重点实验室,云南昆明 650500)摘要:雾图像结构信息弱化、边缘细节信息丢失,严重影响其在高水平视觉任务的使用.现有大部分去雾方法对图像细节信息的恢复并不理想,影响了图像去雾的整体效果.为此,本文提出一种双注意力引导的细节和结构信息融合去雾网络.该网络主要由空间-通道双注意力联合模块、细节
2、和结构信息融合模块以及多尺度特征重建模块组成.其中,空间-通道双注意力联合模块通过联合空间和通道两个维度的注意力进行特征提取,实现雾图像中细节和结构信息的增强;细节和结构信息融合模块将结构信息和边缘细节信息融合为注意力权重和逆向注意力权重,以进一步增强这两种信息;多尺度特征重建模块将提取到的特征重建为清晰图像.实验结果表明,本文方法的去雾效果在定量评价和视觉效果上均优于对比方法.关键词:图像去雾;图像恢复;信息融合;注意力;特征重建基金项目:国家自然科学基金(No.62161015)中图分类号:TP399 文献标识码:A 文章编号:0372-2112(2023)01-0160-12电子学报UR
3、L:http:/ DOI:10.12263/DZXB.20211549Dual Attention-Guided Detail and Structure Information Fusion Network for Image DehazingGAO Ji-rui1,2,LI Hua-feng1,2,ZHANG Ya-fei1,2,XIE Ming-hong1,LI Fan1,2(1.Faculty of Information Engineering and Automation,Kunming University of Science and Technology,Kunming,Yu
4、nnan 650500,China;2.Yunnan Key Laboratory of Artificial Intelligence,Kunming,Yunnan 650500,China)Abstract:Haze weakens the structural information of an image and makes the edge information lost,which negatively affects the performance of high-level vision tasks.The details recovered by most existing
5、 dehazing methods are unsatisfactory,affecting the overall effect of image dehazing.To this end,this paper proposes a dual-attention guided detail and structure information fusion network composed of spatial-channel dual attention joint module,detail and structure information fusion module,and multi
6、-scale feature reconstruction module.The spatial-channel dual attention joint module performs feature extraction by combining spatial attention and channel attention to enhance details and structural information in the hazy image.The detail and structure information fusion module fuses structure and
7、 edge into attention weights and inverse attention weights to further enhance both information.The multi-scale feature reconstruction module reconstructs the extracted features into a clear image.The experiment results show that the dehazing effect of the proposed method is superior to that of the c
8、ompared methods in both quantitative evaluation and visual effect.Key words:image dehazing;image restoration;information fusion;attention;feature reconstructionFoundation Item(s):National Natural Science Foundation of China(No.62161015)1引言雾霾天气条件下拍摄到的图像会出现对比度和清晰度下降、边缘细节信息丢失严重等问题.雾天图像质量的退化会影响后期计算机视觉任务
9、(如图像分割13、目标检测47、卫星定位8等)的开展.因此,图像去雾受到了研究者的广泛关注.根据大气散射模型911,雾图像的成像过程如式(1)所示:I(x)=J(x)t(x)+A(1-t(x)(1)其中,I(x)表示有雾图像;J(x)表示清晰图像;t(x)表示透射率;A表示全局大气光.一些研究者利用图像先验知识估计出透射率t(x)和全局大气光A,并根据式(1)恢复出清晰图像.常用收稿日期:2021-11-19;修回日期:2022-04-25;责任编辑:朱梅玉第 1 期高继蕊:双注意力引导的细节和结构信息融合图像去雾网络的图像先验有暗通道先验12、颜色衰减先验13、非局部先验14等.虽然,基于图
10、像先验的去雾方法实现了有雾图像的恢复,但是图像先验带有统计特性,估计出的透射率和全局大气光存在误差,导致其去雾效果不理想.近年来,研究者们开始利用深度学习来解决图像去雾问题.基于神经网络的图像去雾方法可分为两类:一类是基于大气散射模型的方法1518,另一类是端到端的方法1924.以大气散射模型为基础的方法通过神经网络估计出透射率和全局大气光,并根据式(1)恢复出清晰图像.这类方法要利用雾图像和其对应的透射率标签图像来训练透射率估计网络.但是,现实中的透射率标签图像一般由深度相机获取,与实际雾图的透射率存在偏差.因此,基于大气散射模型去雾时,由透射率网络估计出的透射率并不准确,以致影响了算法的去
11、雾效果.端到端的图像去雾方法则将有雾图像作为神经网络的输入,通过网络直接估计出清晰图像.这类方法主要通过残差、跳跃连接、密集连接、注意力等设计去雾模型,以学习有雾图像到清晰图像之间的映射来实现图像去雾.但是,现有去雾方法对图像细节信息的恢复效果并不理想,影响了图像去雾的整体性能.为改善去雾图像边缘细节信息丢失的问题,本文提出一种双注意力引导的细节和结构信息融合的图像去雾网络.具体地,本文构建了空间-通道双注意力联合模块分别对图像中的结构信息和边缘细节信息进行提取并初步增强.在特征提取过程中,该模块不仅分别在空间维度和通道维度上提取相关信息,而且能联合空间-通道维度,挖掘两个维度在特征提取过程中
12、遗漏的信息.为实现边缘细节和结构信息的恢复,本文设计了细节和结构信息融合模块,该模块利用注意力和逆向注意力(即注意力未注意到的区域)互补的思想增强图像中的边缘细节和结构信息.同时,本文利用不同感受野的卷积核能处理不同尺度信息的思想,设计了多尺度特征重建模块,将提取到的特征重建为清晰图像.本文提出的方法在实现去雾的同时有效地恢复了有雾图像中的边缘细节信息.综上所述,本文的主要贡献包括以下3个方面.(1)构建了空间-通道双注意力联合模块.不仅能够在空间维度和通道维度上提取边缘细节信息和图像结构信息,而且能够挖掘两个维度在特征提取中遗漏的信息,有效地实现图像结构信息和边缘细节信息的初步恢复和增强.(
13、2)设计了细节和结构信息融合模块.将图像结构信息和边缘细节信息融合为注意力权重和逆向注意力权重,使图像中的结构和边缘细节通过注意力权重和逆向注意力权重得到增强.该模块实现了图像结构信息和边缘细节信息的进一步增强和恢复.(3)从图像恢复和增强的角度出发,将图像去雾视为一个恢复和增强图像中结构信息和边缘细节信息的过程.实验结果表明,本文方法取得了良好的去雾效果.2相关工作2.1先验知识为基础的去雾方法以先验知识为基础的图像去雾方法主要通过图像先验估计出透射率和全局大气光,然后通过大气散射模型求出清晰图像.He等人12通过观察发现清晰图像块中的像素至少在一个颜色通道上的值接近于零,并根据这一观察结果
14、提出基于暗通道先验的去雾方法.为了改善暗通道先验算法处理时间过长,计算资源消耗过大的问题,张等人25提出一种基于暗通道先验的快速图像去雾算法,该算法有针对性的解决了计算效率低和明亮区域暗通道先验失效的问题.刘等人26针对去雾后图像的明亮区域颜色失真的问题,基于HSI色彩空间对透射率和全局大气光进行估计,并对估计的白色区域的透射率进行矫正,改善了颜色失真的情况.Berman等人14发现在RGB颜色空间中,清晰图像由数百种颜色值构成,且这些颜色值中某一颜色值不是分布于某一局部区域,而是分布在整幅图像的各个区域中,并且,他们通过这一发现提出非局部先验算法.Fattal等人27根据在小图像块中的像素在
15、RGB颜色空间中呈一维分布这一先验,提出基于颜色线的图像去雾方法.上述以先验知识为基础的方法虽能实现图像去雾,但因先验知识带有统计特性,与现实场景存在误差,因此,去雾效果受到影响.2.2深度学习为基础的去雾方法以深度学习为基础的图像去雾方法可分为两类:以大气散射模型为基础的方法和端到端的方法.以大气散射模型为基础的图像去雾方法15,16,18,28用深度神经网络估计出透射图和大气光,然后利用大气散射模型求出清晰图像.Cai等人15设计了特征提取、多尺度映射与局部极值结合的网络来估计透射图.Ren 等人16提出用粗尺度网络和细尺度网络共同来估计透射图.Li等人18提出一种用于单幅图像去雾的层次感
16、知渐进网络(Level-aware progressive Network,Lap-Net),Lap-Net由离散大气光估计子网络、传输图估计子网络和自适应一体化子网络三部分构成,通过三部分相互作用实现图像去雾.肖等人28提出一种基于霾层学习的卷积神经网络单幅图像去雾方法,该方法能够直接从有雾图像中去除霾层以实现图像去雾.以上方法常常因为缺乏准确的透射率和大气光的标签,导致网络估计结果不准确,使最终的图像去雾效果欠佳.端到端的图像去雾方法20,22,23,29直接以有雾图像作为深度神经网络的输入,通过学习有雾图像到清晰161电子学报2023 年图像之间的映射,实现图像去雾.如Liu等人20提出
17、一种端到端的可训练的卷积神经网络GridDehazeNet,该网络中的预处理、主干和后处理三个模块利用各自的优势并相互作用实现图像去雾.Qin等人22提出一种特征融合注意力图像去雾网络,该网络利用通道注意力和像素注意力提取特征,并为不同层的特征赋予不同的权重以实现图像去雾.Dong等人23提出一种密集特征融合的多尺度增强去雾网络,该网络以U-Net为基础,设计了可移植性较好的密集特征融合模块和深度增强去雾网络实现图像去雾.Shao等人29提出一种域自适应图像去雾方法,该方法通过图像翻译网络减小域差异.这些方法主要通过学习有雾图像到清晰图像之间的映射来实现图像去雾,忽略了在雾图像形成过程中图像边
18、缘细节的退化问题.本文考虑雾图像边缘细节信息的丢失问题,构建了细节和结构信息融合的双注意力特征提取网络,通过恢复边缘细节和结构信息来实现图像去雾.3方法3.1方法概述本文提出方法的总框架如图 1所示,主要包括空间-通道双注意力联合模块(Spatial-Channel Dual Attention Joint Module,S-CDAJM)、细节和结构信息融合模块(Detail and Structure Information Fusion Module,DSIFM)和多尺度特征重建模块(Multi-scale Feature Reconstruction Module,MFRM).雾图特征提
19、取分支和边缘图特征提取分支中分别包含9个结构相同的S-CDAJM模块,两个分支通过9个结构相同的DSIFM模块进行信息传递,每个模块不共享参数.空间-通道双注意力联合模块负责对图像结构信息和边缘细节信息进行特征提取和初步增强.细节和结构信息融合模块负责将图像的结构信息和边缘细节信息融合为注意力权重和逆向注意力权重,进一步增强这两种信息.多尺度特征重建模块利用不同感受野的卷积核实现图像细节和结构特征的重建.通过三个模块共同作用,本文所构建的模型能够有效地增强图像的结构信息和边缘细节信息.具体地,给定一张有雾图像I,利用Sobel边缘检测算子计算出I的边缘图ISobel.将I和ISobel分别输入
20、网络,经过空间-通道双注意力联合模块、细节和结构信息融合模块和多尺度特征重建模块三个模块的处理,最终恢复出清晰图像J.此外,为了保证网络能提取到较完整的边缘信息,本文也恢复出边缘图Js,同时将清晰标签图像J?的边缘图J?s作为Js的标签,对网络进行约束.3.2空间-通道双注意力联合模块雾弱化了图像中的结构和边缘细节信息.雾图像中的结构信息虽被弱化,但由于其尺度大则较容易增强,而雾图像中的边缘细节信息特征表现较弱,很难对其进行直接增强.Sobel边缘检测算子是高斯平滑与微分操作的结合体,它的抗噪能力强且边缘定位准确,因此,本文使用Sobel边缘检测算子检测出雾图像的边缘图,并将雾图对应清晰图像的
21、边缘图作为标签,对边缘图特征提取进行约束.增强或补充被弱化的信息常用方法是使用注意力机制.在基于注意力的图像去雾方法中,Yu等人30仅使用了通道注意力,Qin等人22将通道注意力和空间注意力串联.然而,这些方法因没有充分利用通道注意力和空间注意力提取的特征,影响了其去雾性能.不同于这些方法,本文将通道注意力和空间注意力联合起来,不仅能同时关注到通道维度上的信息和空间维度上的信息,而且将通道和空间注意力联合得到联合注意力权重.使用联合注意力权重增强的特征能有效地补充单独使用通道注意力、空间注意力或者两者串联时遗漏的信息.具体地,空间-通道双注意力联 合 模 块 的 结 构 如 图 2 所 示.设
22、FlRHW64(l=1,2,9)为第l个 S-CDAJM 的输入.首先引入一个残差结构对Fl进行处理.该结构由2个33卷积层和一个ReLU激活函数组成,经过残差结构处理后的特征Frl可表示为Frl=conv(relu(conv(Fl,k=3),k=3)(2)其中,conv表示卷积操作,relu表示ReLU激活函数,k表示卷积层的卷积核大小.然后将Frl通过通道注意力得到Fcal,再将Fcal通过空间注意力得到Fpal.Fcal和Fpal可用式(3)表示:|Fcal=CA()FrlFpal=PA()Fcal(3)图1本文提出方法的总体框架图162第 1 期高继蕊:双注意力引导的细节和结构信息融合
23、图像去雾网络其中,CA()和PA()分别表示通道注意力和空间注意力.在图 2 的 CA 模块中,AGAP(Adaptive Global Average Pooling)表示自适应全局平均池化.为了补充在空间注意力和通道注意力特征提取过程中丢失的信息,本文对通道和空间维度的注意力进行联合处理,得到空间-通道双注意力联合模块的输出F?l:F?l=(conv(cat(Fcal,Fpal),k=1)Fpal+Fpal(4)其中,()表示Sigmoid激活函数,cat表示拼接操作,表示对应元素相乘.3.3细节和结构信息融合模块在3.2节中,通过空间-通道双注意力联合模块分别对图像结构信息和边缘细节信息
24、进行了初步增强.为了将雾图特征提取分支和边缘图特征提取分支提取的特征融合起来,本文设计了细节和结构信息融合模块.在该模块中,本文设计了注意力机制(包括正向注意力和逆向注意力),引导网络进一步增强图像的结构和边缘细节信息.具体地,细节和结构信息融合模块的结构如图3所示.本文将雾图特征提取分支中第l个S-CDAJM模块提取的特征F?hl和边缘图特征提取分支中第l个 S-CDAJM模块提取的特征F?sl,通过图3所示的方式生成正向注意力p(在生成正向注意力p的过程中,本文使用全局最大池化和全局平均池化以注意到图像的细节信息),生成p的过程如式(5)所示:|Fpool=cat()GAP()cat()F
25、?hl,F?sl,GMP()cat()F?hl,F?slp=()FC()relu()FC()Fpool(5)其中,Fpool表示经过全局平均池化和最大池化后的特征,GMP()和GAP()分别表示全局平均池化和最大池化,()表示Softmax激活函数,FC()表示全连接层.然而,传统的注意力31通常只突出注意力关注到的地方,而注意力未关注的部分往往被忽略.虽然,在注意力结构中增加残差结构32可以在一定程度上缓解上述问题,然而还不能满足要求.受逆向注意力33的启发,本文在注意力的基础上引入逆向注意力p?.逆向注意力p?即为正向注意力未关注到的区域权重,可表示为p?=e-p(6)其中,e是与p具有相
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 注意力 引导 细节 结构 信息 融合 图像 网络 高继蕊
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。