![点击分享此内容可以赚币 分享](/master/images/share_but.png)
动态感受野特征选择去雾网络_查俊伟.pdf
《动态感受野特征选择去雾网络_查俊伟.pdf》由会员分享,可在线阅读,更多相关《动态感受野特征选择去雾网络_查俊伟.pdf(8页珍藏版)》请在咨信网上搜索。
1、2023 年第 36 卷第 7 期Electronic Sci.Tech./Jul.15,2023https:/收稿日期:2022-03-15基金项目:国家自然科学基金(61871298)National Natural Science Foundation of China(61871298)作者简介:查俊伟(1997 ),男,硕士研究生。研究方向:图像去雾。张洪艳(1983 ),男,博士,教授、博士生导师。研究方向:遥感信息处理与应用。动态感受野特征选择去雾网络查俊伟,张洪艳(武汉大学 测绘遥感信息工程国家重点实验室,湖北 武汉 430079)摘要基于深度学习的去雾模型大多在网络参数固定后
2、,感受野也就随之固定。这导致去雾网络无法针对每个具体的场景采用最优的模式进行去雾,从而造成结果中存在模糊和失真。针对这些问题,文中提出动态感受野特征选择去雾网络。该网络以带有空洞卷积的特征注意力空洞模块为基础组件,并行使用多个空洞率不同的特征注意力空洞模块来提取多尺度特征,并进行动态特征融合,构成动态感受野模块。文中将多个动态感受野模块搭配残差连接组成深度网络,对不同层次的特征进行动态混合,最终解码得到去雾图像。实验结果表明,文中所提算法对室内和室外的合成雾图以及真实含雾图像均具有良好的去雾效果,可以生成清晰、自然的去雾图像。关键词图像去雾;动态感受野;多尺度特征;动态特征融合;空洞卷积;自注
3、意力机制;动态神经网络;动态参数中图分类号TP391 41文献标识码A文章编号1007 7820(2023)07 056 08doi:10.16180/ki.issn1007 7820.2023.07.008Dynamic eceptive Field Feature Selection Dehazing NetworkZHA Junwei,ZHANG Hongyan(State Key Laboratory of Information Engineering in Surveying,Mapping and emote Sensing,Wuhan University,Wuhan 4300
4、79,China)AbstractMost of the deep learning based dehazing models have fixed receptive filed after the parameter arefixed As a result,the dehazing network cannot adopt the optimal mode for dehazing each specific scene,resulting inambiguity and distortion in the results In view of these problems,this
5、study proposes a dynamic receptive field fea-ture selection dehazing network A feature attention atrous block with atrous convolution is designed as the basicmodule of the network Multiple feature attention atrous blocks with different atrous rates are used in parallel to ex-tract multi scale featur
6、es Dynamic feature fusion is performed on these features to form a dynamic receptive fieldblock Multiple dynamic receptive field blocks are combined with residual connections to form a deep network Thefeatures from different levels are dynamically mixed and decoded to obtain a haze free image The ex
7、perimental re-sults show that the proposed algorithm has a good dehazing performance on indoor,outdoor,and real hazy images,and can generate clear and natural dehazing imagesKeywordsimage dehazing;dynamic receptive field;multi scale features;dynamic feature fusion;atrous con-volution;self attention
8、mechanism;dynamic neural network;dynamic parameters雾是一种常见的自然现象。在雾天环境下,空气中的灰尘和气溶胶等会吸收物体发出的辐射,并对环境光进行散射。在雾天场景中获取的图像具有低对比度和低可见度的特点,这严重限制了目标检测1、分类和识别2 等技术在雾天环境下的应用。为了生成高质量的图像和部署稳定的户外计算机视觉系统,图像去雾是一个必不可少的预处理步骤。根据大气散射模型3,雾场景中获得的图像可以被看作是场景辐射(未退化图像)和被成雾因子散射的环境光在像素层面的凸组合。由于场景辐射、被散射的环境光及其凸组合系数这 3 者均未知,所以图像去雾是一
9、个病态问题。为了复原高质量的无雾图像,早期研究主要是通过手工设计先验为大气散射模型引入额外的约束条件,进而求解出大气散射模型4 6。然而,这些手工设计先验大多基于对干净图像的观察和统计,并不是在所有场景下都成立。当把这些方法应用于先验不成立的场景时,去雾结果往往会出现严重失真。文献 4 提出的暗通道先验就假设在一幅图像的非天空区域的局部块中至少有一个通道的像素值接近于零,利用该先验能够求解出清晰的去雾图像。然而,当该方法被用于处理含有天空区域的图像时,去雾结果中会出现严重的色彩失真。为了克服手工设计先验的缺点,基于数据驱动的卷65查俊伟,等:动态感受野特征选择去雾网络Electronic Sc
10、ience and Technologyhttps:/积神经网络(Convolutional Neural Network,CNN)方法被广泛应用到去雾领域 7 13。不同于基于先验的去雾方法,基于 CNN 的方法可以自动地从训练数据中学习到高效而泛化的特征,并参数化地构建从含雾图像到无雾图像的映射。文献 9 首次提出了用于单幅图像去雾的端到端网络,名为 AOD Net。该研究结合了大气散射模型对学习到的特征进行正则化。虽然该网络的结构仅有5 层,但是依然取得了良好的去雾性能。文献 10提出了融合多尺度特征的去雾网络 GDN(Grid DehazeNet)。该网络充分利用视觉注意力机制(Vis
11、ual Atten-tion Mechanism,VAM)的优势,在去雾评价指标上取得了进步。然而,GDN 中的注意力权重系数固定在网络参数中,在训练完成后不会再变化。这导致该网络的感受野固定不变,限制了网络的灵活性。CNN 中的感受野是指能够影响网络中间层或最终输出特定单元的输入空间区域,它描述了网络对于输入的可视范围。由于只有感受野内的输入像素参与计算,感受野的大小可以作为衡量模型开发和利用空间信息能力的指标。感受野尺寸并非越大越好。对于大目标,较大的感受野可以更好地综合图像中关于目标的上下文信息,复原出清晰自然的边界;而对于小目标而言,较大的感受野容易引入过多的噪声,从而干扰去雾过程。因
12、此,网络的最佳感受野依赖于输入数据的具体内容。然而常规的去雾网络利用经验风险最小化策略调整参数,当模型训练完毕后,其对于输入数据的行为就不再改变。这导致去雾网络针对不同输入数据均具有相同的感受野大小,从而难以在各种场景下均取得最佳性能。另一方面,基于 CNN 的常规去雾网络或仅提取单一尺度的特征,或将提取的多尺度特征用固定权重进行融合,这同样导致训练结束后网络仅有固定的感受野大小。然而,不同场景中的目标尺寸是多变的,真实世界中的雾在同一场景的不同区域内也是非均匀分布的。对于小范围分布的雾应当采用较小的感受野,而对于大尺度分布的雾应当采用较大的感受野。显然,具有固定感受野设计的常规去雾网络无法应
13、对不同场景和不同区域对不同大小感受野的需求。为解决上述问题,本文提出一种根据输入数据动态调整感受野大小的去雾模型,称为动态感受野特征选择去雾网络(Dynamic eceptive Field Feature Selec-tion Dehazing Network,DFNet)。该网络采用特征注意力空洞模块(Feature Attention Atrous Block,FAAB)提取尺度多样的空间特征,并以其作为网络的基础组件。通过显式调节 FAAB 中空洞卷积的空洞率,可以在不损失空间信息的情况下改变模块的感受野大小。本文利用自注意力机制设计了自适应特征选择模块(Adap-tive Featu
14、re Selection module,AFS)。AFS 可以根据输入数据自适应地改变特征融合策略,从而使得网络在不更新权重参数的情况下动态地处理不同尺度和场景下的目标。不同空洞率的 FAAB 以并行的方式被组装在了一起,用以提取多尺度特征。将 FAAB 提取的多尺度特征送入 AFS 进行动态特征融合,构建可以动态调节感受野尺寸的动态感受野模块(Dynamic ecep-tive field Block,DB)。为了进一步增强网络的灵活性和特征的表达能力,不同层次的特征被输入到 AFS 中进行 动 态 特 征 混 合 操 作(Dynamic Feature Mixup,DFM)。通过设计动态可
15、变的感受野和特征混合策略,DFNet 可以灵活地根据输入场景更改自身的行为,从而获得出色的去雾性能和稳定性。1动态感受野模型图 1 展示了本文所提动态感受野特征选择去雾网络(DFNet)的结构,其包含特征上下采样、动态感受野特征提取和动态特征混合 3 个阶段。DFNet 采用两个级联的 2 倍下采样模块将输入图像 I 下采样到较低分辨率的特征空间 Fin,即图 1 动态感受野特征选择去雾网络的结构Figure 1 Structure of dynamic receptive field feature selection dehazing network75Electronic Science
16、 and Technology查俊伟,等:动态感受野特征选择去雾网络https:/Fin=f2(f2(I)(1)式中,f2为 2 倍下采样操作,包含两个卷积核大小为3 3 的卷积层,其中一个步长为 2,一个步长为 1。这样可以使得网络在较低分辨率的特征空间上进行复杂的特征提取操作,从而有效节省内存开销。将 Fin输入到 3 个级联的动态感受野模块组(Dynamic eceptivefield Group,DG)中提取与输入内容相关的多尺度上下文特征。每个DG 由4 个DB 加上一个残差连接构成。为了兼顾浅层特征的丰富细节和深层特征的抽象语义,不同层次的特征被输入自适应特征选择模块进行特征聚合得
17、到增强后的特征 Fd,该操作被称为动态特征混合操作。这些特征被上采样到与输入图像相同的分辨率,即Fout=f2(f2(Fd)(2)式中,f2为2 倍上采样操作,包含一个上采样倍数为2的双线性插值层与一个步长为 1、卷积核大小为 3 3的卷积层。经过一个简单的 3 3 卷积层 Conv,Fout被映射回像素空间,得到预测的去雾图像 J,如式(3)所示。J=Conv(Fout)(3)1 1特征注意力空洞模块(FAAB)图 2 特征注意力空洞模块Figure 2 Feature attention atrous block图 2 展示了 FAAB 的结构,其输入的特征尺寸和输出的特征尺寸均为 w h
18、 c。FAAB 共使用 3 个3 3卷积层,其中包含一个空洞卷积(Atrous Convolu-tion)层和两个通常卷积层。空洞卷积可以在不增加内存和计算开销以及不改变空间分辨率的情况下为卷积操作增大感受野14。FAAB 的感受野大小可以通过空洞卷积的空洞率来调节,越大的空洞率对应越大的感受野。受到 FFA Net 的启发15,考虑到输入图像中的雾分布往往是非均匀的,并且各个通道的特征各有所侧重,所以 FAAB 在每个分支内都加入了空间注意力(Spatial Attention)16 和通道注意力(Channel At-tention)17 用来调整特征在不同通道以及空间位置上的重要性,从而
19、增强特征的表达能力。为了使得网络易于训练、缓解可能存在的梯度消失问题,FAAB 还引入了残差结构。从物理含义上来说,残差结构允许一些不重要的信息,例如浅雾区域的信息,直接从网络的输入层传送到网络的输出层,使网络能够专心处理更加复杂的信息,从而进一步增强网络处理不同特征的灵活性。作为可以显式调节感受野大小的基础模块,FAAB 被用来组成其他更复杂的网络组件。1 2动态感受野模块为了更好地捕捉空间上下文信息、得到依赖于空间位置的去雾线索,网络需要具有合适大小的感受野。对于小范围的雾,较小的感受野有利于网络恢复出清晰的细节。然而,对于较大范围的含雾区域或者浓雾区域,过小的感受野会限制网络对空间上下文
20、信息的充分提取,从而导致网络难以恢复出清晰的目标边界。对于小目标而言,过大的感受野会在去雾过程中引入较多的无关噪声,从而在去雾结果中产生伪影。因此,合适大小的感受野对于网络恢复出清晰自然的去雾图像至关重要。虽然 FAAB 允许显式设定其空洞卷积的空洞率来调节感受野大小,但是单一的感受野往往不能应对输入场景中复杂的尺度结构。为此,有研究人员提出提取多尺度特征的解决方案8,10。简单的多尺度堆叠虽然可以让网络在感受野上具有更大的表达空间,但是在模型参数不再更新的推理阶段,网络的感受野是固定的。这一固定的感受野是网络依据训练集的数据分布所产生的统计意义上的最优感受野,尽管该感受野在统计意义上是最优的
21、,但是对于每一个具体的场景而言,可能并不是最优的。受到动态神经网络18 的启发,本文提出动态感受野模块来解决上述问题。图 3 动态感受野模块Figure 3 Dynamic receptive field block图3 展示了 DB 的结构,其输入和输出的特征尺寸均为 w h c。为了实现感受野大小的动态调整,本文提出对多尺度特征进行动态融合。具体而言,使用 3个具有不同空洞率的 FFAB 并行提取具有 3 种不同尺度的特征 Fs1、Fs2、Fs3。接着,汇总 3 个特征提取分支,并由自适应特征选择模块AFS来评价每个分支的重要性,对多尺度特征进行融合。该过程计算式表述如下。F=AFS(Fs
22、1,Fs2,Fs3)(4)AFS 采用凸组合策略进行特征融合,因此,输出特征 F所对应的感受野大小可以是 3 个 FAAB 分支感受野大小组成的凸集之中的任意值。这一做法将显著增大 DB 可以表达的感受野大小范围。不同于 GDN10 85查俊伟,等:动态感受野特征选择去雾网络Electronic Science and Technologyhttps:/等方法,AFS 并不将融合权重固定在网络参数中,而是根据自注意力模块的输出动态生成权重,从而实现建立网络感受野与输入数据之间的依赖关系。为了使得网络易于训练,在每 4 个级联的 DB 之间加入残差连接。该结构被称为 DG,可用于缓解模型训练过程
23、中的梯度消失问题。1 3自适应特征选择模块图 4 自适应特征选择模块(以 3 输入为例)Figure 4 Adaptive feature selection module(Take three inputs as example)图 4 展示了 AFS 的结构。对于输入的多个待融合特征Fk RHWC,k=1,2,3,n,利用全局平均池化(Global Average Pool,GAP)对其空间维度进行信息降维,得到其每个通道上的统计信息表征gk RC,其中 C 为输入特征的通道数gk=GAP(Fk)=1H WHi=1Wj=1Fk(i,j)(5)式中,H和W为输入特征Fk在空间尺寸上的高和宽。
24、将所有输入特征在通道维度拼接,得到 s=g1,g2,gn RnC。使用共享权重的全连接层(Shared FullyConnected layer,SFC)处理 s,进行全局信息的交互,得到跨通道的特征重要性分数 z RnCz=FSFC(s)=Ws(6)式中,W Rncnc为全连接层的参数。使用 SoftMax 函数对跨通道的特征重要性分数进行归一化处理,得到每个输入特征各自的重要性权重wk 0,1wk=ezknk=1ezk(7)式中,e 为欧拉数;zk表示 z 中对应各个输入特征原位置的跨通道特征重要性分数组成的向量。由式(7)得到的权重与输入特征加权求和即可得到AFS最终输出的融合特征 V
25、RCHWV(i,j)=nk=1Fk(i,j)wk(8)式中,V(i,j)和Fk(i,j)分别是输出特征 V 和输入特征Fk在(i,j)处的值。由于式(8)中的权重依赖于输入特征,在模型的推理阶段,AFS 依然能够根据输入数据的变化动态调整网络的感受野。1 4自适应特征混合网络的浅层卷积所捕获的往往是轮廓和边缘等底层特征19。然而,随着网络深度的增加,卷积输出特征中的纹理细节会逐渐减少,而语义信息将更加丰富。受文献 20 的启发,本文利用 AFS 将网络各个层次的特征进行了动态组合,从而聚合不同层特征的优势。本文将此操作称为动态特征混合操作。网络中共执行两次 DFM。如图1 所示,首先将来自不同
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 动态 感受 特征 选择 网络 俊伟
![提示](https://www.zixin.com.cn/images/bang_tan.gif)
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。