多分辨率融合密集网络的图像去雨方法_刘忠洋.pdf
《多分辨率融合密集网络的图像去雨方法_刘忠洋.pdf》由会员分享,可在线阅读,更多相关《多分辨率融合密集网络的图像去雨方法_刘忠洋.pdf(6页珍藏版)》请在咨信网上搜索。
1、引用格式:刘忠洋,周杰,陆加新,等 多分辨率融合密集网络的图像去雨方法 J 电光与控制,2023,30(7):57-62 LIU Z Y,ZHOU J,LU J X,etal Multi-resolution fusion dense network for image rain removal J Electronics Optics Control,2023,30(7):57-62多分辨率融合密集网络的图像去雨方法刘忠洋a,周杰a,陆加新b,缪则林a,江凯强a,高伟a(南京信息工程大学,a 人工智能学院(未来技术学院);b 电子与信息工程学院,南京210000)摘要:针对现有的去雨方法无法
2、彻底去除雨纹并且去雨后图像存在细节丢失问题,提出一种多分辨率融合密集网络的图像去雨方法。网络主体由多个多分辨并行融合模块构成,始终保持空间精确的高分辨率并从低分辨率中接收大量的上下文信息。使用一种基于选择性卷积核机制 SKNet 的多尺度特征融合模块,通过非线性的方法有效聚合来自不同分辨率流的特征。在不同的分辨率流中使用一种改进的残差模块,采用相邻层次的多种尺度的卷积来获取丰富的雨纹信息。模块间使用密集连接,加强不同模块之间的特征传播。实验表明,所提方法在合成及真实雨像数据集上的评价指标与其他去雨方法相比有所提高,去除雨纹的同时能够保留更多的细节信息。关键词:图像去雨;多分辨率;密集网络;SK
3、Net;特征融合中图分类号:TP391 41文献标志码:Adoi:10 3969/j issn 1671 637X 2023 07 010Multi-resolution Fusion Dense Networkfor Image ain emovalLIU Zhongyanga,ZHOU Jiea,LU Jiaxinb,MIAO Zelina,JIANG Kaiqianga,GAO Weia(Nanjing University of Information Science and Technology,a School of Artificial Intelligence(School o
4、f Future Technology);b School of Electronic and Information Engineering,Nanjing 210000,China)Abstract:The existing rain removal methods cannot completely remove rain streak,and the image detailsare lost after rain removal Therefore,an image rain removal method based on multi-resolution fusion densen
5、etwork is proposed The main body of the network is composed of multiple multi-resolution parallel fusionmodules,which always keeps the spatial accurate high-resolution representation and receives a lot of contextinformation from the low resolution A multi-scale feature fusion module based on the sel
6、ective convolutionkernel mechanism SKNet is used to effectively aggregate features from streams with different resolutions bynonlinear method An improved residual module is used in different resolution streams,and the convolutionof multiple scales of adjacent layers is used to obtain rich rain rippl
7、e information Dense connections areused between modules to enhance feature propagation between different modules Experiments show that theevaluation index of the proposed method on synthetic and real rain image datasets is improved compared withother rain removal methods,and more detailed informatio
8、n can be retained while removing rain patternsKey words:image rain removal;multi-resolution;dense networks;SKNet;feature fusion0引言在雨雪等恶劣天气条件下拍摄的图像和视频通常会导致场景能见度明显下降,使得许多实际视觉系统受到严重影响。图像去雨的目的是从雨水图像中恢复出干净的背景图像,这是一项重要的图像恢复任务,在过去的几年里引发极大关注。收稿日期:2022-06-15修回日期:2022-07-26基金项目:国家自然科学基金面上项目(62101274,61971167,
9、62101275)作者简介:刘忠洋(1997),男,江苏南京人,硕士生。近年来,由于卷积神经网络具有强大的特征表示能力,基于卷积神经网络的方法取得了更好的去雨效果。FU 等1 设计出一种深度细节网络 DDN 来去除雨纹,利用滤波器从图像中分离出高频细节层并将其送入网络进行训练,该方法能够去除部分雨纹,但是部分背景区域仍存在雨纹未被处理。研究人员发现单阶段的方法无法有效去除图像中的雨纹,于是提出多阶段的去雨方法,去雨效果得到显著提高。EN 等2 提出一种简单且高效的渐近式去雨网络 PeNet,每阶段重复展开一个浅层残差网络且输出为残差图像的预测时第 30 卷第 7 期2023 年 7 月电光与控
10、制Electronics Optics ControlVol 30No 7July 2023可以提高去雨的效果;CAI 等 3 提出双重递归网络 DN,与 PeNet 结构相似,但其每阶段使用 2 个残差块进行递归计算。这些多阶段方法并没有充分利用多尺度特征,在雨纹复杂且密集的情况下处理结果较差并存在纹理信息丢失问题。FU 等4 提出轻量化的去雨网络LPNet,引入拉普拉斯图像金字塔以及递归的残差网络来提取不同尺度地特征,此方法尽管去雨速度较快,但是去雨后图像仍可见雨纹残留,去雨效果并不理想;CHEN 等5 构建出用于去雨的多尺度沙漏层次融合网络,利用沙漏结构获得多尺度雨纹特征;张学锋等6 构
11、建出多尺度编码 解码结构的去雨网络,通过 UNet 结构提取不同尺度获得的特征并跨尺度地聚合雨纹信息。虽然这些编码 解码结构的方法去雨后的图像视觉效果更好,但是图像局部区域内仍有部分纹理和色彩信息无法有效恢复。针对上述问题,提出一种多分辨率融合密集网络的图像去雨(Multi-esolution Fusion Dense Network,MFDN)方法。通过多分辨率并行融合模块(Multi-esolutionParallel Fusion,MPF),始终保持高分辨率以维持精确的空间细节,将低分辨率上的上下文信息多次逐级融合到高分辨率中以指导网络提取雨纹特征。在模块内使用改进残差模块(Improv
12、ed esidual Module,IM)增强多尺度特征提取同时构建选择性卷积核特征融合模块(Selective Kernel Feature Fusion,SKFF),通过 SKNET7 的动态选择机制融合来自并行分支的多尺度特征,增强网络的表示能力。引入密集连接加强了各模块间的信息流动与特征复用,减少信息传输的丢失。1相关工作1 1多尺度学习策略图像中的雨纹表现出明显的自相似性,不同尺度的相关信息可以有效地改善特征表示。JIANG 等8 构建了一个多尺度的金字塔结构,并引入注意力机制来引导不同尺度间相关信息的融合;WANG 等9 提出了一个具有密集特征金字塔网格块的密集连接网络,通过密集特
13、征金字塔网格用以融合不同尺度的特征,提高网络的去雨能力;JIANG 等10 利用非局部融合模块、注意力融合模块以及构建多级金字塔结构来探索雨水图像金字塔的局部和全局相关信息。1 2注意力机制注意力机制被认为是基于输入图像特征的动态权重调整过程,近年来,研究人员将注意力机制引入计算机视觉任务,并在目标检测11、图像超分 12、图像去雾13/去雨14、图像增强 15 等领域中有效提升了网络的性能。ZHANG 等12 提出一种 CAN 用于解决图像超分辨率问题,利用 SENet 动态调整通道的权重使得网络关注于重要的通道信息;QIN 等 13 设计出一种 FFA-Net,利用通道注意力根据不同通道的
14、重要程度调整权重,像素注意力根据不同像素位置的关键程度调整权重使网络重点关注于有雾区域;CHEN 等14 利用混合域注意力模块(空间、通道),增强了网络提取雨纹特征的能力,优化了整体网络的性能并提高准确率。2本文方法MFDN 作为端到端的卷积神经网络,由一系列多分辨率并行融合模块组成,学习从雨水图像到去雨图像的像素级映射。本章将详细介绍整体网络以及重要模块。2 1网络结构从数学上讲,雨水图像 O 可以表示为无雨图像 B和雨纹 的线性组合,即O=B+。(1)MFDN 直接从雨水图像 O 中学习雨纹层并通过减法操作获取去雨后的图像。所提方法的网络结构见图1。图 1网络结构图Fig 1Framewo
15、rk of overall network网络首先对输入图像 x 进行3 3 的卷积运算,将其从 GB 通道的图像空间编码到维度为 C 的特征空间,即F0=f3 3(x)。(2)然后,引入密集连接和多分辨率并行融合模块,在特征空间中学习复杂的雨纹特征,即Fl=f1 1(F0,F1,F2,Fl 1,MPF(Fl 1)(3)式中,Fl 1是第 l 个多分辨率并行融合模块的输入。密集连接网络的各层间都有相互连接,前面所有层的特征85第 30 卷电光与控制刘忠洋等:多分辨率融合密集网络的图像去雨方法都在通道维度进行级联以作为该层的输入。这种结构有效融合各层次的特征信息,帮助网络获得包含更多细节信息的图
16、像特征,使得雨纹特征得到充分复用,确保最大的信息流动,有利于整体网络的梯度传递,使网络易于训练。1 1 卷积压缩了模块的输入通道,减少网络参数。在密集连接之后,再使用一个 3 3 大小的卷积将维度为 C 的特征图解码为 GB 三通道雨纹图像,即=f3 3(Fl)。(4)最后,通过从雨水图像 O 中去除雨纹获得最终的输出去雨图像B,即B=O 。(5)2 2多分辨率并行融合模块WANG 等16 提出一种高分辨率网络,并将其应用于人体姿态估计、语义分割等领域。受此启发,使用一种多分辨率并行融合模块用于图像去雨任务。如图 1所示,对比编码 解码结构,3 层分辨率流结构增加网络的参数量,同时维持高分辨图
17、像增加网络的训练难度,延长了训练时间,提升运算成本。但是高分辨率中具有精确的空间信息,这对去雨图像恢复质量十分重要。精确的空间信息有助于网络准确提取雨纹特征,同时保留图像的纹理细节。模块由 3 层并行的卷积流构成,通过多次并行卷积流交换信息进行多尺度特征融合,在模输块入与输出之间建立残差连接以防止浅层信息的丢失。2 3选择性卷积核特征融合模块最常用的特征融合方法包括简单的求和或级联操作,但这些操作并不能很好地融合不同尺度的特征。本文使用一种高效的基于 SKNet 的多分辨率融合模块。SKNet 具有多分支输入结构可用于融合不同分辨率流的特征,利用 SKNet 中的 Fuse 和 Select
18、操作根据输入的不同尺度的特征来动态调整感受野大小,其结构如图 2(a)所示。首先,融合操作通过元素求和融合高低两个不同分辨率流的特征,即L=L1+L2。(6)然后,在空间维度上应用全局平均池化(GlobalAverage Pooling,GAP)得到 S1 1 C,即Sc=Fgp(Lc)=1H WHi=1WJ=1Lc(i,j)(7)式中:Sc表示 S 的第 c 个通道;Fgp表示全局平均池化;Lc表示 L 的第 c 个通道。接下来对 S 使用大小为1 1的卷积进行通道降维,生成特征表示为 Z1 1 r,r 表示中间通道数。最后,特征 Z 通过 2 个并行的 1 1 卷积层用于通道升维,并生成
19、2 个特征描述 V1,V2,维度为 1 1 c。Select 对 V1,V2在通道维度进行 Softmax得到不同尺度的通道权重特征 S1,S2(L1,L2的注意力机制),最后对 L1和 L2进行加权操作并经过求和得到最终的特征图 U,即U=S1L1+S2L2。(8)图 2网络各模块结构图Fig 2Network module structure diagram95第 7 期2 4改进的残差模块现实生活中雨纹的形状、大小和延伸方向都是随机变化的,这使得单幅图像的去雨变得具有挑战性。如图 2(b)所示,使用原始的残差块会导致网络的去雨性能受到限制。为了更有效地提取雨纹特征,本文提出一种改进的残差
20、模块,通过利用相邻卷积层之间的多尺度特征来提高模型提取足够信息的能力。更具体地说,如图 2(c)所示,改进的残差块包含具有不同尺度的多个前向路径。对于不同分辨率流中的特征,改进的残差块首先采用不同大小的卷积,分别为 1 1,1 3,3 1 和 3 3。再使用级联聚合以及 1 1 卷积进行通道降维,降低参数量,最后使用扩张卷积,在不增加额外参数量的情况下,增加感受野。经过实验,改进的残差模块可有效地提取复杂场景中的雨纹特征。2 5损失函数尽管 MSE 是计算机视觉方面普遍使用的损失函数,但是它并没有考虑图像的局部特征,例如局部对比度及亮度,导致重建后的图像过于平滑。为了更好地训练网络,使用了负
21、SSIM 作为损失函数,负 SSIM 损失常用于去雨任务2 3,6,9,14,并且重建后的图像已经可以获得较高的 PSN/SSIM 值。损失函数定义为Lloss=SSIM(B,B)(9)式中:B为网络输出图像;B 为相对应的无雨清晰图像。3实验与结果3 1数据集与训练配置本文使用合成数据集 ain100L,ain100H,ain12来对 MFDN 进行训练和测试。ain100L 是小雨数据集,包含200 对训练图像和 100 对测试图像。ain100H是大雨数据集,包括1800 对训练图像以及100 对测试图像。ain12 数据集由 12 对图像组成并将其作为测试集。真实雨图可以有效评估方法的
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 分辨率 融合 密集 网络 图像 方法 刘忠洋
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。