基于YUV颜色空间GAN网络的图像去雾算法研究.pdf
《基于YUV颜色空间GAN网络的图像去雾算法研究.pdf》由会员分享,可在线阅读,更多相关《基于YUV颜色空间GAN网络的图像去雾算法研究.pdf(9页珍藏版)》请在咨信网上搜索。
1、2023 年 10 月 图 学 学 报 October2023第 44 卷 第5期 JOURNAL OF GRAPHICS Vol.44No.5 收稿日期:2023-04-23;定稿日期:2023-06-18 Received:23 April,2023;Finalized:18 June,2023 基金项目:国家自然科学基金项目(61502297)Foundation items:National Natural Science Foundation of China(61502297)第一作者:徐祯东(1999),男,硕士研究生。主要研究方向为数字图像处理和图像三维重建。E-mail: F
2、irst author:XU Zhen-dong(1999),master student.His main research interests coverdigital image processing and image reconstruction in 3D.E-mail: 通信作者:王道累(1981),男,教授,博士。主要研究方向为机器学习、机器视觉和图像处理等。E-mail: Corresponding author:WANG Dao-lei(1981),professor,Ph.D.His main research interests cover machine learni
3、ng,machine vision and image processing,etc.E-mail: 基于 YUV 颜色空间 GAN 网络的 图像去雾算法研究 徐祯东,张天宇,张世恒,姚从荣,王道累(上海电力大学能源与机械工程学院,上海 201306)摘要:针对目前单幅图像去雾算法存在有色差,去雾效果不理想等问题,提出了一种基于 YUV 颜色空间的单幅图像去雾算法。该方法应用了 GAN 图像着色任务的思想,从正向的角度对雾霾图像实现重新上色。将雾霾图像转换至 YUV 颜色空间,在 Y 通道采用密集残差模块采集图片的亮度特征,根据特征对雾霾图像的亮度信息进行调整,降低雾霾对图像的影响。在 UV
4、通道上采用 4 个残差模块对图像颜色信息进行多次提取,根据提取的颜色信息通过模型预测对图像进行重上色。采用包含跳跃连接结构的特征融合网络将底层特征与高层特征进行融合,在融合过程中加入注意力模块以实现更加精细的去雾。实验结果表明,该算法在合成雾霾图像数据集上,RMSE,SSIM 和 PSNR 3 种指标均达到了较高的水平,在真实雾霾图像上,对浓雾和薄雾图像均表现出了优异的去雾效果,具有良好的稳定性。关键词:生成对抗网络;图像去雾;重上色;YUV 颜色空间;跳跃连接 中 图 分 类 号:TP 391 DOI:10.11996/JG.j.2095-302X.2023050928 文 献 标 识 码:
5、A 文 章 编 号:2095-302X(2023)05-0928-09 Image defogging algorithm based on YUV color space GAN network XU Zhen-dong,ZHANG Tian-yu,ZHANG Shi-heng,YAO Cong-rong,WANG Dao-lei(College of Energy and Mechanical Engineering,Shanghai University of Electric Power,Shanghai 201306,China)Abstract:To address the cur
6、rent problems of chromatic aberration and unsatisfactory defogging effects in the single-image defogging algorithm,we proposed a single-image defogging algorithm based on YUV color space.This method applied the idea of GAN image coloring task to recolor haze images from a positive perspective.The ha
7、ze image was converted to the YUV color space,and the dense residual module was employed to collect the brightness features of the image from the Y channel.Additionally,the brightness information of the haze image was adjusted according to the characteristics,mitigating the impact of haze on the ima
8、ge.Four residual modules were used on the UV channel to extract image color information multiple times,and recolored the image through model prediction based on the extracted color information.A feature fusion network,including a skip connection structure,was utilized to fuse low-level features with
9、 high-level ones.Furthermore,the addition of an attention module during the fusion process led to more refined dehazing.The experimental results demonstrated the algorithms efficacy,showcasing remarkable performance in terms of RMSE,SSIM,and PSNR on the synthetic haze image datasets.On the real haze
10、 第 5 期 徐祯东,等:基于 YUV 颜色空间 GAN 网络的图像去雾算法研究 929 1 image,the algorithm displayed excellent performance on dense fog and thin fog images,ultimately leading to an outstanding defogging effect and ensuring a high level of stability.Keywords:GAN;image dehazing;recolor;YUV color space;jump connection 雾霾作为当前自
11、然环境中一种常见的极端天气,给人们的生活带来极大的影响1-2。在雾霾环境下,空气中存在大量的悬浮颗粒物会使光线发生散射,导致物体反射的光线发生衰减,进而造成相机等成像设备获取的图像出现模糊,致使对比度和清晰度受到影响,难以获取到有效信息。因此图像去雾问题具有重要的研究价值3。随着近年来计算机视觉技术的发展,图像去雾研究取得了极大地进步,出现了众多优秀的去雾算法,如:颜色衰减先验算法4、优化对比度增强算法5、暗通道先验去雾算法6、AOD-Net 去雾算法7和 DehazeNet8去雾算法等。除此之外,备受 关 注 的 生 成 对 抗 网 络(generative adversarial netw
12、orks,GAN)也被广泛应用在图像去雾领域。其中ZHU等9提出的DehazeGAN算法创新性地探究了图像去雾、GAN 和可微设计的联系,为图像去雾领域的研究提供了另一种思路。YANG 等10提出了一种端到端的去雾网络,其使用非配对监督生成真实感的无雾图像,同时使用多尺度对抗性训练生成感知无雾图像,从而克服了实验中训练数据不足的约束。ENGIN 等11提出了 Cycle Dehaze 去雾网络,将循环一致性损失和感知损失同循环生成对抗网络(cycle GAN,CycleGAN)的相结合,从而生成视觉上更好的无雾图像。在图像通道去雾方面,赵建堂12通过卷积神经网络(convolutional n
13、eural networks,CNN)来学习雾天图像与清晰图像 YUV 各个通道之间的映射关系,从而实现去雾的效果。上述算法大多基于大气散射模型,通过研究雾霾图像的形成过程,用先验或深度学习的方式得出模型中的某些参数,通过逆向运算还原出原始的清晰图像。经实验验证13,上述方法在雾霾较薄时有一定的去雾效果,针对浓雾图像,由于雾霾遮挡图像严重,难以通过上述的逆向方法进行还原。综上所述,本文提出了一种基于 YUV 颜色空间(其中,Y 代表亮度,U 和 V 代表色差)的单幅图像去雾算法,本文算法抛弃按照大气散射模型进行逆向去雾的理论思路,将雾霾对图像的影响视作色彩的丢失,通过正向重上色的方法实现雾霾图
14、像的修复。在常见GAN图像重上色任务中,RGB颜色空间中色彩均匀分布在 3 个通道上,因此模型在训练时需要同时生成 3 个通道的数据,为了能够更加高效地生成彩色图像,通常会将图像转换至 YUV 颜色空间进行降维操作。在 YUV 颜色空间14中,只需要针对 UV 通道进行学习和预测,再将预测出的 UV 通道与原始的 Y 通道进行合并即可得到新生成的彩色图像。本文借鉴图像着色任务的研究思路,提出了一种新型的 GAN 网络模型,在 Y 通道上对图像亮度进行调整,在 UV 通道上对图像进行重上色,同时针对网络层数加深导致的图像细节丢失问题,提出了跳跃连接的方法将图像底层特征与高层特征进行融合。经实验验
15、证,该算法在真实雾霾图像数据集上实现了优秀的去雾效果,为图像去雾任务提供了一种新的解决思路。1 YUV 通道去雾效果分析 YUV 颜色空间是被电视系统所采用的一种颜色编码方法,其重要性在于其亮度信号 Y 和色度信号 U 和 V 是分离的,如果只有亮度信号 Y 而没有色度信号 UV,那么得到的将是黑白灰度图像。电视系统采用YUV颜色空间进行传输以解决彩色电视机与黑白电视机相融的问题,使黑白电视机也能接收到彩色电视信号。在 GAN 图像重上色任务中,采用 YUV 颜色空间能够降低预测难度,仅需要根据 Y 通道的黑白图像预测出 UV 通道即可。为了验证在 YUV 颜色空间下 GAN 网络对雾霾图像的
16、去雾效果,本文搭建了基于 Pix2Pix 模型的GAN 网络进行消融试验,采用 U-Net15模型作为生成器(generator,G),PatchGAN 作为判别器(discriminator,D),将输入图像 x 与经过生成器去雾后的图像(Gr(x)为去雾明显,Gf(x)为去雾不明显)共同输出判别器 D,当去雾效果明显时,则判别为真,否则判别为假。试验模型如图 1 所示。本文进行了以下 3 组对照试验:采用 YUV 3 个通道进行学习和预测;采用 Y 单通道进行学习和预测,再将预测出的 Y 通道与原始的 UV 通道合并;采用 UV 双通道进行学习和预测,再将预测出的 UV通道与原始的 Y通道
17、进行合并。YUV 930 图像处理与计算机视觉 2023 年 颜色空间与 RGB 颜色空间的互相转换式16为 0.2980.6120.1170.1680.3300.4981280.4490.)4350.0831281.40751280.34551280.71(691281.()()(779128YRGBURGBVRGBRYVGYUVBYU (1)使用 RESIDE 数据集17中的 OTS 数据集作为训练集,SOTS 数据集作为测试集,实验结果如图 2 所示。根据实验可以看出,单独对 Y 通道进行处理时,能够在一定程度上减少雾霾对图像的影响。处理后的图像整体色彩相对原始清晰图像偏暗,说明雾霾对图
18、像的影响虽然主要集中在 Y通道上,但是 UV 通道上的色度也受到了一定的影响,单独处理 Y 通道无法完全还原。而单独对 UV通道进行处理后,图像的色彩得到了较大地提升,但是仍然有雾霾的存在。将 YUV 3 个通道同时进行处理虽然能够实现一定的去雾效果,但存在细节丢失的情况,效果无法达到预期。同时,由于U-Net 的解码器部分采用了反卷积层,易导致模型中出现不均匀重叠的现象,因此恢复后的图像出现了方块状的棋盘格效应。图 1 消融试验模型 Fig.1 Ablation test model (a)(b)(c)(d)(e)图 2 消融试验结果(a)清晰图;(b)雾霾图;(c)Y 通道;(d)UV 通
19、道;(e)YUV 通道)Fig.2 Ablation test results(a)Clear diagram;(b)Foggy diagram;(c)Brightness channel;(d)Colour difference channel;(e)Full channel)2 本文算法 2.1 基于 YUV 颜色空间的 GAN 网络模型 综合上述消融实验的结果,本文提出了一种将 Y 通道和 UV 通道分开处理的 GAN 模型。首先将图像由 RGB 颜色空间转换成 YUV 颜色空间,并将 Y 通道和 UV 通道分离,采用 2 个特征提取模块分别对 Y 和 UV 通道进行特征的提取,由于在
20、Y 通道上只对图像的亮度进行调整,从而削弱雾霾对图像的影响,因此可以大大提升模型训练的速度,在 UV 通道上通过模型预测对图像色彩进行重上色,突出颜色信息,提升去雾效果。为了能够得到雾霾图像中更加底层的信息以区分其中不同的特征,对图像进行了多次下采样。而在特征融合时通过跳跃连接将底层特征与高层特征融合,可以得到更加精细的图像恢复效果。同时为了避免图像出现棋盘效应,在模型的特征融合模块使用了上采样加卷积的结构,GAN 模型结构如图 3 所示,其中每个模块后的数字代表特征图的通道数、宽和高。第 5 期 徐祯东,等:基于 YUV 颜色空间 GAN 网络的图像去雾算法研究 931 图 3 GAN 模型
21、结构 Fig.3 GAN model structure 2.2 特征提取网络 由消融试验的结果可知,在YUV颜色空间中,雾霾对于图像的影响主要集中在 Y 通道上,UV 通道上受到的影响相对较小,因此本文在特征提取部分将 Y 通道和 UV 通道分开进行处理。为了有效提取出 UV 通道中的颜色信息,采用了 4 个残差模块18(ResBlock)对 UV 特征进行多次特征提取。残差模块主要由 2 个 33 的卷积和 ReLu 激活函数构成,如图 4 所示。残差连接将模块的输入和输出线性叠加,能够最大程度上保留 UV 通道上的颜色和纹理信息。图 4 ResBlock 结构图 Fig.4 ResBlo
22、ck structure diagram 模块中 33 的卷积核能够在减小计算量的同时保留图像上的细节特征,避免图像出现细节模糊。2 个卷积层后均加入了归一化层(instance normalization,IN),IN 层不同于 BN 层(batch normalization,BN),IN 层对每个 feature map 的每个通道进行归一化,能够保持每个实例之间的独立性,提高 GAN 网络的鲁棒性能。由于 Y 通道上同时存在雾霾特征和图像的亮度特征,而深层网络的感受野相对于浅层网络更大,为了能有效保留全局亮度特征,采用集合了密集连接和残差连接的密集残差模块19(residual den
23、se block,RDB)。在 RDN(residual dense network)网络中,RDB 模块被用于解决图像超分辨的问题,由于网络的深度增加,每层的特征会被分开,部分特征可能存在丢失的情况,而 RDB 模块通过密集连接和残差连接,能够更好地实现对不同层次特征的有效提取和保留,对于 Y 通道上的雾霾和亮度特征而言,这是十分重要的。密集残差模块由4个卷积层和4个ReLu激活函数构成,如图 5 所示,前 3 个卷积层的卷积核大小为 33,通过密集连接的方式将各层的特征进行拼接,在减轻梯度消散的同时使用少量卷积核以生成大量特征。此外,在每个密集残差模块的初始位置加入了一个卷积核大小为 33
24、,步长为 2 的卷积层,实现对特征图的降维和压缩,也便于与特征融合网络的跳跃连接。最后用一个卷积核大小为 11 的卷积层对之前的特征进行融合。经多次试验可得,采用 3 个密集残差模块时,该网络的去雾能力最佳。图 5 加入了卷积层的 Residual dense block 结构图 Fig.5 Residual dense block structure diagram with convolutional layers 2.3 特征融合网络 本节将对 Y 通道和 UV 通道的特征融合进行 932 图像处理与计算机视觉 2023 年 介绍。特征融合网络的主要结构包含了多个卷积层的 ConvBlo
25、ck 和跳跃连接结构。在基于 GAN 的图像去雾任务中,通常情况下不会将特征图压缩的太小,因为这样会导致高层特征的丢失,生成的图像将会出现细节模糊,难以实现去雾的效果,但是经实验发现,多次压缩有利于底层特征的提取以及融合。为此,本文设计了跳跃连接的方式将特征提取网络与特征融合网络进行连接,相较于单一的通过上采样加卷积结构从底层特征中进行反传,跳跃连接的方式能够使恢复出来的特征图融合更多的高层特征,也使得不同尺寸的特征得到了融合,从而使预测出的图像的轮廓边缘等细节信息更加精细。在特征融合网络中,通过Concat 方法将上一层的特征图进行拼接,拼接后的特征图传给下一层的 ConvBlock。Con
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 YUV 颜色 空间 GAN 网络 图像 算法 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。