基于深度学习的图像去雾算法研究进展.pdf
《基于深度学习的图像去雾算法研究进展.pdf》由会员分享,可在线阅读,更多相关《基于深度学习的图像去雾算法研究进展.pdf(11页珍藏版)》请在咨信网上搜索。
1、DOI:10.20079/j.issn.1001-893x.220402002引用格式:李雅,王烈,滕思航,等.基于深度学习的图像去雾算法研究进展J.电讯技术,2023,63(7):1098-1108.LI Y,WANG L,TENG S H,et al.Research progress of image dehazing algorithms based on deep learningJ.Telecommunication Engineering,2023,63(7):1098-1108.基于深度学习的图像去雾算法研究进展李李 雅雅,王王 烈烈,滕滕思思航航,崔崔利利娟娟,蓝蓝峥峥杰杰(
2、广西大学 计算机与电子信息学院,南宁 530004)摘 要:图像是信息的重要承载形式。雾霾的出现降低了图像采集设备采集到的图像质量,容易出现色彩暗淡、对比度和饱和度降低、细节信息丢失等问题,直接影响了有用信息的表达和利用。目前对图像去雾的研究多采用深度学习的方法,卷积神经网络代替了人工特征提取方式,取得了优于传统算法的去雾效果,但普遍存在着对真实世界雾霾图像和清晰图像对的依赖。无监督学习的方法带来了新的解决思路。从监督学习和无监督学习的角度对有代表性的深度学习图像去雾算法进行分类,归纳了常用的数据集、评价指标,概括分析了有影响力的去雾模型的核心思想,总结了各算法的优缺点和适用场景。针对目前工作
3、存在的不足,探索了下一步研究的方向。关键词:深度学习;图像去雾;监督学习;无监督学习开放科学(资源服务)标识码(OSID):微信扫描二维码听独家语音释文与作者在线交流享本刊专属服务中图分类号:TP391 文献标志码:A 文章编号:1001-893X(2023)07-1098-11Research Progress of Image Dehazing Algorithms Based on Deep LearningLI Ya,WANG Lie,TENG Sihang,CUI Lijuan,LAN Zhengjie(School of Computer and Electronic Inform
4、ation,Guangxi University,Nanning 530004,China)Abstract:Image is an important form of information.The appearance of haze reduces the quality of images collected by image acquisition equipments.Problems such as dull color,reduced contrast and saturation,and loss of detail information are prone to occu
5、r,which directly affect the expression and utilization of useful information.At present,the researches on image dehazing mostly use deep learning methods.The convolutional neural networks replace artificial feature extraction methods and have achieved better dehazing effects than traditional algorit
6、hms.But there is widespread reliance on real-world haze image and clear image pairs.The methods of unsupervised learning bring new solutions.The representative deep learning image dehazing algorithms are classified from the perspective of supervised learning and unsupervised learning,and the commonl
7、y used datasets and evaluation indicators is summarized.The core idea of the influential dehazing models is summarized and analyzed.The advantages,disadvantages and applicable scenarios of each algorithms are summarized.In view of the shortcomings of the current work,the direction of further researc
8、h is explored.Key words:image dehazing;deep learning;supervised learning;unsupervised learning8901第 63 卷 第 7 期2023 年 7 月电讯技术Telecommunication EngineeringVol.63,No.7July,2023收稿日期:2022-04-02;修回日期:2022-05-05基金项目:广西科技重大专项(桂科 AA21077007-1)通信作者:王烈0 引 言 图像去雾是近十年来计算机视觉领域的一个研究热点。雾或霾的形成取决于空气中悬浮粒子的类型、大小和浓度1。雾霾
9、经常发生在相对干燥的空气中,当灰尘、烟雾颗粒被吸收和散射时,当大气条件阻挡了烟雾和其他污染物的悬浮时,它们就会聚集并形成一层低悬的覆盖物,损害能见度2-4。雾霾的存在会降低依赖于清晰图像的应用系统的可靠性,如交通监控系统、自动驾驶系统、目标检测、遥感成像、水下成像、卫星云图等5。颜色或对比度的变化对物体识别或监控系统有很大影响。在雾、霾等恶劣环境下拍摄的图像,受到大气散射的作用,导致对比度下降,给机场跑道异物检测等工作造成不利影响6。据不完全统计,在恶劣天气条件下,由于能见度差导致的交通事故时有发生,警示了我们进行图像去雾处理的必要性7。退化的图像需要去雾,图像去雾就是从被恶劣天气条件造成的自
10、然模糊景观中恢复出清晰场景的过程8。传统的图像去雾算法一般依赖于手工先验,当场景条件不满足这些先验时,此类算法往往会输出不真实的结果,导致最终恢复图像质量不理想。为了解决这个问题,随着深度学习在计算机视觉领域取得的巨大成功,研究者们提出了大量基于卷积神经网络的图像去雾方法。卷积神经网络被用来估计传输映射或直接预测清晰的图像,已被证明是有效的,并优于基于先验的方法,具有显著的性能提升。然而,基于深度学习的方法需要依赖大量真实的有雾图像和无雾图像进行训练。一般来说,在现实世界中获取大量的地面真实图像是不切实际的。因此,大多数去雾模型都依靠合成的雾霾图像数据集进行训练,往往仅在合成数据集上取得良好的
11、性能,在真实有雾图像上的去雾效果并不理想。本文的目的在于探讨基于深度学习的图像去雾领域的发展现状,针对有代表性的去雾算法,深入挖掘这一领域存在的问题与挑战。1 基础知识 基于深度学习的图像去雾算法大多涉及一个基础物理模型 大气散射模型。该模型解释了雾霾的生成过程。大多方法通过大气散射模型反演计算,实现图像去雾。1.1 大气散射模型 McCartney 等人9最早提出基于 Mie 散射的大气散射模型,Nayar 等人10据此推导得出雾天大气散射模型,如图 1 所示。大气散射模型由两部分组成:一是大气悬浮颗粒物对入射光的直接衰减;另一个是环境光和悬浮颗粒之间的相互作用,经过多次反射和散射后,悬浮颗
12、粒最终到达成像设备的环境光部分。两者共同描述大气散射模型,深层次解释了图像的雾化过程11。图 1 大气散射模型 该模型有效的前提是场景中的雾是均匀分布的。公式表述如下:I(x)=J(x)t(x)+A(1-t(x)。(1)式中:I(x)表示观测到的有雾图像;J(x)表示待恢复的无雾图像;A 表示全局大气光;t(x)表示传输矩阵,且 t(x)有如下定义:t(x)=e-d(x)。(2)式中:表示大气散射系数;d(x)表示相机到物体的距离。在晴朗无雾天气下,接近于 0;在有雾天气下,0,此时该系数成为雾图生成的影响因子。图像去雾的求解过程就是利用已知的 I(x)求解未知的 J(x)的过程,对两个未知参
13、数 A 和 t(x)的测量是图像去雾的关键所在。1.2 常用数据集 在现实生活中,由于场景的变化和其他因素(如光照等大气条件)影响,通常无法真正捕获具有理想基本事实的大规模数据集。目前能搜集到的真实雾霾图像存在数据量少、场景单一等缺陷。因此,大多数方法都是先收集一些清晰的图像,然后利用带有手工参数的大气散射模型在含有标注的深度信息的清晰图像上渲染雾度,合成相应的雾霾图像。如基于 NYU2-Depth12和 Middlebury Stereo13合成的 D-Hazy14,是目前使用广泛的去雾数据集。类似 的 数 据 集 还 包 括 HazeRD15、RESIDE16。RESIDE 是一个新的大规
14、模雾霾图像数据集,其中9901第 63 卷李雅,王烈,滕思航,等:基于深度学习的图像去雾算法研究进展第 7 期训练集包括室内合成雾霾图像集 ITS、室外合成图像集 OTS,测试子集包括合成目标测试集(Synthetic Objective Testing Set,SOTS)和 混 合 主 观 测 试 集(HTTP Strict Transport Security,HSTS)。另一种方法是由人工雾霾机器创建真实雾霾,生成雾霾图像,如I-HAZE17、O-HAZE18、N-HAZE7、NH-HAZE19、Dense-HAZE20等。I-HAZE、O-HAZE 都是日间图像去雾的基准数据集,而 N
15、-HAZE 适用于夜间图像去雾方法的基准测试。NH-HAZE 数据集是由 NTIRE 2020 非均匀图像去雾挑战赛提供的,该数据集包含 55 对高分辨率的雾霾-清晰图像对。Dense-HAZE 数据集的雾霾场景密集且均匀,是针对当下去雾算法缺乏真实雾霾图像和清晰图像对作为参考而提出的。各数据集简介如表 1 所示。表 1 用于图像去雾的数据集数据集来源数量类别发表年份/年NYU2-Depth12合成1 449 以上室内场景2012D-Haze14合成1 400 以上室内场景2016HazeRD15合成15室外场景2017RESIDE15合成、真实13 990以上室内、室外 2019I-HAZE
16、17人工雾霾机器合成35室内场景2018O-HAZE18人工雾霾机器合成45室外场景2018N-HAZE7人工雾霾机器合成室内、室外 2020NH-HAZE19人工雾霾机器合成55室外场景2020Dense-HAZE20人工雾霾机器合成33室外场景20191.3 评价指标 为了衡量一幅图片的复原质量以及评价算法的处理效果,通常需要一定的标准来确保公平性。图像的复原质量最直观的感受就是人眼的视觉效果。很长一段时间里,人眼的主观感受仍然是去雾质量评判的标准21。主观评价只涉及人的定性评价,它使用人作为观察者来判断图像的优缺点。这样的方法虽然简单直观,但不足以全面衡量图像去雾算法的性能,因此,更具科
17、学性和数据分析性的客观评价指标应运而生。去雾研究中最常用的客观评价指标是结构相似性(Structural Similarity,SSIM)和峰值信噪比(Peak Signal-to-Noise Ratio,PSNR),且这两种指标都采取了全参考评估方法。也就是说,复原后的图像以原始清晰图像作为依据,逐项对比分析,从而得出评分结果。PSNR 得分越大,表示图像失真程度越小。SSIM 分别从亮度、对比度、结构三方面度量图像相似性,得分越大,表明图像的结构一致性能力越强,保留的图像原始信息越多。2 深度学习图像去雾算法 由于海量有标记的训练数据集的出现、GPU 的支持,卷积神经网络应运而生,人们看到
18、了它巨大的算力。许多研究者将卷积神经网络应用于图像去雾领域,取得了丰硕的成果。近年来,基于深度学习的图像去雾方法占据了主导地位。在这类方法中,神经网络自动从训练数据集中学习图像的先验,并保存在网络权值中。其与传统的基于先验的方法主要区别通常在于学习目标和具体的网络结构。按照网络受训练的方式不同,本文将深度学习图像去雾算法从监督学习和无监督学习的角度进行综述。两种训练方式的不同之处在于是否需要提供成对的雾霾-清晰图像对。2.1 有监督学习 2.1.1 基于大气散射模型 基于大气散射模型的图像去雾算法,利用神经网络对模型参数进行估计,最后将其代入模型求解得出去雾后的图像。早期的方法大多采用两步式分
19、别估算传输图和大气光,且神经网络只对传输图进行学习。Cai 等人22提出了称为 DehazeNet 的可训练端到端网络,用于估计媒介传输图,随后将输出的媒介传输图通过大气散射模型恢复出无雾图像。DehazeNet 整体上由特征提取、多尺度映射、局部极值和非线性回归这 4 部分组成。实验结果表明 DehazeNet 实现了高效和显著的去雾效果。但该网络仍有待改进的空间,大气光不应被视为一个全局常量,应该和传输矩阵一起在网络中学习。Ren 等人23通过学习雾霾图像与其对应的传输图之间的映射关系,提出了一种用于单幅图像去雾的多尺度卷积神经网络(Mutil-scale Convolutional Ne
20、ural Network,MSCNN)。该网络结合了粗尺度和细尺度网络来估计传输图。粗尺度网络首先估计场景传输的整体结构,将输出作为附加信息传递给细尺度网络,由细尺度网络对局部结果进行细化。多尺度 CNN 从雾霾图像中学习到的有效特征用于对传输图进行估计,该算法处电讯技术 2023 年理速度有了明显提升。然而,由于没有采用学习的方法联合估计大气光和传输图,大气光的估算存在较大偏差,图像去雾质量下降。已有研究表明,两步式估计方法存在很大的误差和局限性,因此联合学习传输图和大气光是更为可行的方法。基于此,王高峰等人24提出了一种基于 DehazeNet 的改进算法,在估计传输图的基础上,同时准确输
21、出大气光值。通过在传输图估计部分引入深度可分离卷积,大幅减少计算量和模型参数,进而提升运算效率。考虑到大气光值是全局相关的,因此为增大视觉感受,在大气光值估计部分采用扩张卷积。该网络能够保留较多的图像原始信息,相较于 DehazeNet 去雾效果更彻底。但是在雾浓度较大时,去雾效果仍旧不理想。Zhu 等人25受可微编程的启发,将大气散射模型转化为一种新的生成对抗网络(DehazeGAN),该网络可以同时自动地从数据中学习 A 和 t(x)这两个参数以及学习雾霾图像和清晰图像之间的映射,从而生成具有地面真实色彩和结构的清晰图像。他们提出的是一种整体的方法,通过优化最终去雾质量和保留感知细节,可以
22、同时学习包括恢复图像在内的这些参数。该方法还是第一个将对抗学习引入单幅图像去雾的工作。此后,Zhang 等人26提出了一种不同的端到端联合优化图像去雾体系结构,称为密集连接的金字塔去雾网络(Densely Connected Pyramid Dehazing Network,DCPDN)。该网络结构具有多层金字塔池化模块,用于精准估计传输映射,同时通过一个 U-Net27架构来估计大气光。在此基础上,提出了一种新的边缘保持损失函数,用于优化 GAN 网络,通过联合鉴别器来优化和鉴别整个学习过程,以更好地利用传输映射和去雾图像之间的结构相关性。该网络将大气散射模型完全嵌入到整个优化框架中,联合学
23、习传输映射、大气光和去雾图像。上述以大气散射模型为基准的监督学习去雾算法的准确性过度依赖于大气散射模型参数的估计,存在不稳定性。此类算法的分析对比如表 2 所示。表 2 基于 ASM 的有监督学习去雾算法对比分析算法优点缺点适用场景数据集客观评价指标发表年份/年DehazeNet22以更高的精度计算传输图,雾浓度升高时,性能没有明显下降大气光的估计存在较大偏差,很难去除天空区域的雾霾有相 似 深 度信息 的 薄 雾场景爬取网络图片基于雾霾 形 成 模 型28合成训练集MSE、PSNR、SSIM、WPSNR2016MSCNN23多尺度网络精准估计传输图,模型更好泛化到真实场景没有采用学习的方法估
24、计大气光;不适用于去除夜间雾霾图像适用 于 日 间雾天图像,不受 场 景 的约束训练集:NYU Depth验证集:Middlebury stereoPSNR、SSIM、运行时间2016改进DehazeNet24能够保留更多的图像原始信息,去雾较干净处理浓雾效果不理想薄雾场景RESIDE-ITS 以及搜集来的雾天图像PSNR、SSIM2021DehazeGAN25可以同时学习包括恢复图像在内的这些参数,恢复的天空区 域 图 像 不 含雾霾复原图像的色彩可能会过度增强,亮度过高天空 区 域 雾霾残留图像HazeCOCO:由 SUN-RGBD+NYU-Depth+COCO 合成PSNR、SSIM、运
25、行时间2018DCPDN26整体优化大气散射模型,网络从图像中学习结构关系透射图和大气光的估计不准确时,可能会引入伪影和颜色失真;时间一致性能力较差浓雾 和 团 雾图像 NYU-depth2数据集;基 于 Middlebury stereo 和 Sun3D 合成数据集SSIM20182.1.2 不基于大气散射模型 研究发现,基于大气散射模型的图像去雾算法有效的前提是大气条件是均匀的,这有一定的局限性。现实生活中,很多因素都会导致不均匀的大气条件,如强光源的影响、自然条件下产生的不均匀雾霾等等。因此,大气散射模型在图像去雾算法设计中的作用有望进一步考量。Ren 等人29提出了一种由编解码器组成的
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 深度 学习 图像 算法 研究进展
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。