轨道交通低能见度场景图像增强系统研究.pdf
《轨道交通低能见度场景图像增强系统研究.pdf》由会员分享,可在线阅读,更多相关《轨道交通低能见度场景图像增强系统研究.pdf(15页珍藏版)》请在咨信网上搜索。
1、Journal of Image and Signal Processing 图像与信号处理图像与信号处理,2023,12(3),302-316 Published Online July 2023 in Hans.https:/www.hanspub.org/journal/jisp https:/doi.org/10.12677/jisp.2023.123030 文章引用文章引用:袁小军,李晨,刘昕武,田野,姚巍巍.轨道交通低能见度场景图像增强系统研究J.图像与信号处理,2023,12(3):302-316.DOI:10.12677/jisp.2023.123030 轨道交通低能见度场景图
2、像增强系统研究轨道交通低能见度场景图像增强系统研究 袁小军袁小军,李李 晨晨,刘昕武刘昕武,田田 野野,姚巍巍姚巍巍 株洲中车时代电气股份有限公司数据与智能技术中心,湖南 株洲 收稿日期:2023年6月19日;录用日期:2023年7月10日;发布日期:2023年7月21日 摘摘 要要 目标检测、语义分割等视觉任务应用于轨道交通的众多场景,大多数视觉系统被设计为在清晰的环境中目标检测、语义分割等视觉任务应用于轨道交通的众多场景,大多数视觉系统被设计为在清晰的环境中执行,然而真实的轨道交通场景必然会包含退化的图像场景,列车一年四季在外遇到的恶劣的天气,以执行,然而真实的轨道交通场景必然会包含退化的
3、图像场景,列车一年四季在外遇到的恶劣的天气,以及面对隧道、夜间等环境中较差的照明,这些退化的图像会降低高级视觉任务的性能。本文关注于在恶及面对隧道、夜间等环境中较差的照明,这些退化的图像会降低高级视觉任务的性能。本文关注于在恶劣天气劣天气(雾天,降雨雾天,降雨)和弱光条件导致的能见度低的场景下进行图像增强,改善退化图像质量,为此,本和弱光条件导致的能见度低的场景下进行图像增强,改善退化图像质量,为此,本文提出了一种轨道交通低能见度场景图像增强系统,可以自适应地对天气和照度进行分类并对分类后得文提出了一种轨道交通低能见度场景图像增强系统,可以自适应地对天气和照度进行分类并对分类后得到的低照度、雾
4、天和雨天这三种场景图像进行增强。将该系统运用于轨道交通场景下的多目标检测以及到的低照度、雾天和雨天这三种场景图像进行增强。将该系统运用于轨道交通场景下的多目标检测以及语义分割应用中,实验结果表明,对于低照度图像以及雾天图像,本文系统可以提升多目标检测及语义语义分割应用中,实验结果表明,对于低照度图像以及雾天图像,本文系统可以提升多目标检测及语义分割约分割约1%的准确率,对于雨天图像,本文系统可以提升多目标检测及语义分割的准确率,对于雨天图像,本文系统可以提升多目标检测及语义分割4%以上的准确率以上的准确率。关键词关键词 低能见度低能见度,图像增强图像增强,图像去雨图像去雨,图像去雾图像去雾,低
5、照度低照度图像增图像增强强 Research on Image Enhancement System of Low Visibility Scene in Rail Transit Xiaojun Yuan,Chen Li,Xinwu Liu,Ye Tian,Weiwei Yao Data and Intelligence R&D Center,Zhuzhou CRRC Times Electric Co.,Ltd.,Zhuzhou Hunan Received:Jun.19th,2023;accepted:Jul.10th,2023;published:Jul.21st,2023 Abstr
6、act Visual tasks such as object detection and semantic segmentation are applied to many scenes in rail transit.Most visual systems are designed to execute in clear environments.However,real rail transit scenes inevitably contain degraded image scenes,such as the harsh weather encountered by trains o
7、utside all year round,as well as poor lighting in environments such as tunnels and nighttime.These degraded images can reduce the performance of advanced visual tasks.This ar-袁小军 等 DOI:10.12677/jisp.2023.123030 303 图像与信号处理 ticle focuses on image enhancement in scenes with low visibility caused by se
8、vere weather(foggy,rainy)and weak light conditions to improve degraded image quality.For this reason,this paper proposes a low visibility scene image enhancement system for rail transit,which can adaptively classify weather and illumination and enhance the classified images of low illumination,foggy
9、,and rainy scenes.Applying this system to multi-object detection and semantic segmentation applica-tions in rail transit scenarios,experimental results show that the system can improve the accuracy of multi-object detection and semantic segmentation by about 1%for low illumination images and foggy i
10、mages.For rainy images,the system can improve the accuracy of multi-object detection and semantic segmentation by more than 4%.Keywords Poor Visibility,Image Enhancement,Image Deraining,Image Defogging,Low Illumination Image Enhancement Copyright 2023 by author(s)and Hans Publishers Inc.This work is
11、 licensed under the Creative Commons Attribution International License(CC BY 4.0).http:/creativecommons.org/licenses/by/4.0/1.引言引言 随着我国铁路总里程的不断增长以及智能运维智能列检需求的不断提升,对图像数据质量的要求也越来越高1。然而,轨道交通领域的数据采集不可避免地会遇到恶劣照度或者恶劣天气场景,在这些场景下采集的图像数据质量难以满足后续图像处理算法的性能要求2。比如夜间采集的图像或在列车底部等光照不强的区域采集的图像,因为照度低或者照度不均匀,存在纹理模糊、对比
12、度低的现象;再比如在雾天或者在雨天天气采集的图像,存在雨雾遮挡的问题,导致图像清晰度低,目标物体难以辨别。这些恶劣场景下的图像在被后续图像处理算法应用时,如在目标检测、语义分割等算法应用中,算法性能被数据质量限制而难以达到令人满意的结果。因此,提升恶劣照度与恶劣天气场景下的图像数据质量,将有利于改善后续图像处理流程的性能。在进行图像增强提升数据质量,一方面是人类视觉体验的提升,另一方面对于机器视觉的感知与理解也会有帮助,探索同时使两者受益的总体框架是一个关键问题。现有的研究大多仍以各自解决路线上的问题为目标,他们的模型不足以超越自己的目的(仅用于人类视觉或机器视觉之一)3。针对恶劣天气和恶劣照
13、度场景下的图像增强算法层出不穷4-9,既有传统方法也有基于深度学习的方法,涵盖学科理论多种多样。其中涌现了一些经典算法性能令人印象深刻。比如,对于低照度图像,Tao Li 等人提出了一种自适应非线性彩色增强方法10,可以在基本保持图像亮区不变的情况下对图像暗区进行亮度与对比度增强;Rahman 等人提出了多尺度 Retinex 增强方法11,基于 Retinex 理论实现了低照度增强功能。对于带雾图像,何凯明等人发现了清晰图像存在暗通道的统计规律,并基于此提出了暗通道去雾算法12,开创了基于暗通道进行去雾的先河;Xu Qin 等人提出了一种特征融合图像去雾算法13,通过引入通道注意与像素注意并
14、将其融合构建了去雾网络,取得了较好的去雾效果;对于带雨图像,Wei 等人提出了提出了一种简洁的视频去雨模型14,利用基于块的高斯混合模型对雨层进行编码实现去雨功能;Dongwei Ren 等人提出了一种渐进递归去雨网络算法15,通过重复展开浅 ResNet 并引入递归层,提供了一个有效、简单的基线去雨网络。然而,当前这些算法大部分仅针对一种场景,没有形成一个整体的框架,也不考虑增强算法与其它Open AccessOpen Access袁小军 等 DOI:10.12677/jisp.2023.123030 304 图像与信号处理 高级视觉任务级联的效果,无法自适应地同时应对多种恶劣场景。在轨道交
15、通中的高级视觉任务如障碍物目标叫测与轨道语义分割,训练数据大多设计在清晰的环境中执行,图像增强对于这些任务的提升效果不在单一场景增强算法的考虑范畴。本文提出了一种轨道交通低能见度场景图像增强系统,可以自动识别图像是否是低照度这样的恶劣照度场景或者识别是否是雨天雾天这样的恶劣天气场景,识别后可以有针对性地对图像进行低照度增强或者去雨去雾处理,从而提升图像质量。将该系统运用于轨交场景下的目标检测与语义分割应用中,实验表明,该系统可以有效提高目标检测和语义分割的准确率。2.系统框架设计系统框架设计 本文所提出的轨道交通低能见度场景图像增强系统方案如图 1 所示,主要包括 5 个模块,即照度分类模块、
16、低照度图像增强模块、天气分类模块、图像去雨模块和图像去雾模块。当系统接收到一张待处理图像时,首先通过照度分类模块判断该图像是否是恶劣照度图像,若为低照度图像则接入低照度图像增强模块进行增强,增强后的图像能够在较好地保留图像亮区特征的情况下对图像暗区进行亮度和对比度增强,恶劣照度条件下的图像质量主要受低照度影响较大,天气情况在低照度下不易观察,因此对恶劣照度图像不做进一步的天气划分;若照度分类模块判断输入图像不是低照度图像,则接入天气分类模块以判断图像是否是在恶劣天气情况下拍摄;若判定图像为雨天天气,则接入图像去雨算法对雨痕进行去除,以消除雨痕遮挡对后续图像处理应用的影响;若天气分类模块判定图像
17、为雾天天气,则接入图像去雾算法对图像进行去雾,以削弱雾天不清晰图像对后续流程的影响;而对于其它的照度与天气均正常的清晰图像,系统则不需要对其进行增强,直接输送到后续的图像应用中。Figure 1.Image enhancement system of low visibility scene in rail transit 图图 1.轨道交通低能见度场景图像增强系统 3.恶劣照度下的图像质量提升恶劣照度下的图像质量提升 3.1.基于主聚类推定的照度分类算法基于主聚类推定的照度分类算法 为了让系统可以自适应地处理不同照度图像,需要对输入的图像进行照度分类以便区分处理。本文采用了一种基于主聚类推定
18、的照度分类算法。照度分类算法主要分为 6 个步骤:S1 获取 RGB 格式图像并将其转换到 HSV 空间,提取照度分量(),V x y。S2 对图像(),V x y进行多尺度高斯滤波:对照度分量(),V x y进行多尺度高斯滤波,公式如下:()()(),1,2,kkx yx yxTVGkny=(1)()22221,exp22kkkxyx yG+=(2)袁小军 等 DOI:10.12677/jisp.2023.123030 305 图像与信号处理 ()()()()1 122,nnY x ywTx yw Tx yw Tx y=+(3)上述公式中,(),V x y为采集的RGB 图像转换到HSV空间
19、获取的照度V分量,是待预处理照度分量,(),kGx y为第k个高斯模板函数,表示卷积运算,(),nTx y为抽取的第n个高斯尺度下的照度图像数据,k为第 k 个高斯模板函数的标准差,n 表示总共有 n 个高斯滤波模板,w 为尺度配比,且 121nwww+=,(),Y x y为对照度分量(),V x y进行多尺度高斯滤波后的输出值。S3 设置迭代的初始值:()111,NMxymnY x yMN=(4)()()2111,1NMxysnY x ymnMN=(5)0.9swsn=(6)其中,M 和 N 分别表示矩阵(),Y x y的行数与列数。S4 定义迭代次数100k=,按照主聚类推定算法16公式更
20、新 mn 和 sn 值。S5 满足迭代停止条件或者达到迭代次数上限 k 时,停止迭代,至此得到了照度分量(),V x y的主要像素照度估计值 mn。S6 设置经验阈值60T=,若mnT则认为是低照度图像,否则认为是正常照度图像。3.2.全局局部信息相结合的图像增强算法全局局部信息相结合的图像增强算法 若照度分类模块判定输入图像为低照度图像,则需要对输入图像进行增强,本文在自适应非线性彩色增强方法10的基础上,提出了一种全局局部信息相结合的图像增强算法对图像进行增强,算法主要分为 4 个步骤:步骤 S1:从获取的 RGB 图像中提取图像照度分量并进行多尺度高斯滤波预处理;设(),R x y,()
21、,G x y,(),B x y为输入 RGB 图像三通道值,x、y 分别表示图像像素横轴和纵轴坐标,则照度分量(),V x y可由如下公式计算得到:()()()()(),max,OVRGx yx yyyBxx=(7)()(),255OVxVyx y=(8)其中(),OVx y是未归一化的照度分量,max 表示求最大值。对照度分量(),V x y进行多尺度高斯滤波,公式如下:()()(),1,2,kkx yx yxTVGkny=(9)()22221,exp22kkkxyx yG+=(10)()()()()1 122,nnY x ywTx yw Tx yw Tx y=+(11)上述公式中,(),V
22、 x y为采集的RGB 图像转换到HSV空间获取的照度V分量,是待预处理照度分量,(),kGx y为第k个高斯模板函数,表示卷积运算,(),nTx y为抽取的第n个高斯尺度下的照度图像数据,k为第 k 个高斯模板函数的标准差,n 表示总共有 n 个高斯滤波模板,w 为尺度配比,是根据图像场景袁小军 等 DOI:10.12677/jisp.2023.123030 306 图像与信号处理 设置的经验值且121nwww+=,该多尺度滤波的配比可以进行调节以便获得最佳的增强效果,(),Y x y为对照度分量(),V x y进行多尺度高斯滤波后的输出值,是预处理后获取的照度图像数据。步骤 S2:图像照度
23、自适应增强,采用一种非线性的函数对所述预处理后的照度图像(),Y x y进行自适应变换,公式如下:()()0.750.25210.4 12zzYYzYY+=(12)0 for 5050 for 501501001 for 150LLzLL=(13)上述公式中,Y为增强后的照度图像数据,参数 z 与照度图像(),Y x y的直方图相关。L 为()255,Y x y的累积分布函数等于 0.1 时对应的照度值。步骤 S3:图像局部对比度增强。对预处理后照度图像(),Y x y使用多尺度侧窗保边滤波,通过下式进行:()()(),1,2,ppx yx yxFYHpny=(14)()()()()1122,
24、nnI x yw Fx yw Fx yw Fx y=+(15)上述公式中,121nwww+=,该多尺度滤波的配比可以进行调节以便获得最佳的增强效果,(),pHx y表示第 p 个基于均值滤波的侧窗保边滤波函数,(),pFx y为对应的滤波输出,(),I x y为多个尺度侧窗保边滤波的加权输出值,表示卷积运算。对侧窗保边滤波输出进行对比度增强,通过下式进行:()()(),E x yS x yYx y=(16)()()()(),qqI x yE x yr x yY x yeps=+(17)3 for 3272 for 31071 for 10q=+(19)袁小军 等 DOI:10.12677/ji
25、sp.2023.123030 307 图像与信号处理 上述公式中,eps为一极小值防止除数为 0,可取0.00000001eps=,(),S x y为对比度增强后的照度图像,(),Y x y为对照度分量(),V x y进行多次高斯滤波预处理后获取的照度图像数据,a 为增益因子上限,可以根据不同场景设置不同的上限值,场景一般可分为夜晚场景,白天场景,或者按照照度大小分为多个等级的场景。使用上述增益因子,由增强后的照度图像转化为三通道彩色图像,公式如下:()()()(),for,255,255 for,255OtR x ytR x yRx ytR x y=(20)()()()(),for,255,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 轨道交通 能见度 场景 图像 增强 系统 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。