海面复杂背景下图像增强算法研究.pdf

2023 年 31 期众创空间科技创新与应用Technology Innovation and Application海面复杂背景下图像增强算法研究庞明，鞠金宝*（哈尔滨工程大学，哈尔滨 150001）与室内或野外陆地不同，海上光照十分复杂，实际拍摄的图像，往往因为天气、光照因素等各种环境因素使得整体图像对比度较低，难以直接获取所需要的特征。例如，阴天雾霾海况会导致光线极暗，会出现图像欠曝光现象，海面图像整体偏暗；逆光条件下拍摄的海面可见光图像会出现过曝光现象，海面图像整体偏亮。图像的质量直接影响最后的检测和计算精度，所以对图像进行预处理是十分重要的一步。本文重点研究欠曝光或低照明环境中海面图像的增强算法。1低照度直方图分析1.1正常光照时图像特点由于拍摄条件限制，本节选取 12 幅陆地天空曝光适中的可见光图像数据说明此类图像在直方图方面的特点，选取的图像数据如图 1 所示，其直方图曲线与峰值点的集合分别如图 2 和图 3 所示。通过表 1 可以看出，曝光适中海面可见光图像在不同标准差下的累加频率与正态分布的累加频率非常接近，因此在客观数据方面曝光适中海面可见光图像的直方图分布接近于正态分布。在直方图拟合方面，Celik 等1提出了混合正态分布拟合图像直方图分布的方法，若图像出现一个背景和一个面积较大的目标，那么可以用混合二阶正态分布拟合图像的直方图分布。对于海面可见光图像，海面背景面积很大，而目标面积很小，图像整体可近似为一个海面背景，图像的直方图接近于某一个正态分布，海面可见光图像直方图的峰值点也接近于某一个正态分布的峰值点，根据统计学中的参数最大似然估计2，海面可见光图像直方图分布的标准差接近于某一个正态分布的标准差。1.2夜间低照度图像和有雾图像的关联启发自 He 的暗通道去雾算法3，在 2011 年，Xuan等4提出了一种基于暗通道去雾的低照度视频增强算法，通过对大量低照度图像反转图的图像表征及直方图表征进行观察，发现其与雾天图像存在高度相似性，摘要：该文提出一种改进的基于去雾理论的夜间低照度图像增强算法。通过对暗通道先验去雾算法在处理夜间复杂灯光图像中存在的伪光晕、亮度不准等问题进行分析，采用一种可以边缘保持的滤波方法进行暗通道求取，并针对图像特点对大气光值进行精确估计，结合采样方法提升处理效率，实现对低照度图像的有效增强。经过实验分析，该算法能有效地防止光晕现象，改善图像的亮度和噪声。关键词：海面复杂背景；图像增强；低照度；图像去噪；暗通道先验中图分类号院TP751文献标志码院A文章编号院2095-2945渊2023冤31-0036-06Abstract:In this paper,an improved night low illuminance image enhancement algorithm based on defog theory is proposed.Based on the analysis of the problems of false halo and inaccuracy of brightness in the dark channel prior defogging algorithm indealing with the complex light image at night,a filtering method which can preserve the edge is used to calculate the dark channel.According to the characteristics of the image,the atmospheric light value is accurately estimated,combined with the samplingmethod to improve the processing efficiency,and realize the effective enhancement of the low illumination image.Throughexperimental analysis,the algorithm can effectively prevent the halo phenomenon and improve the brightness and noise of the image.Keywords:sea surface complex background;image enhancement;low illuminance;image denoising;dark channel priori第一作者简介院庞明（1977-），男，博士，副教授。研究方向为机器人智能控制与人工智能。*通信作者院鞠金宝（1996-），男，硕士研究生。研究方向为机器人与图像处理。DOI：10.19981/j.CN23-1581/G3.2023.31.00936-众创空间科技创新与应用Technology Innovation and Application2023 年 31 期低照度图像，一般指的是光照不足或夜间拍摄得到的光线较暗的图像，如图 4 所示。观察其直方图分布可以发现，其灰度值范围一般都在靠近直方图的左侧分布。将图像进行反转后，发现图像的直方图也随之向较高一侧分布，通过图 5 可以观察到低照度反转图像的视觉效果及直方图分布和雾天图像有着很高的相似性。图 112 幅天空曝光照明适中可见光图像并利用两者的关联提出了一种用于低照度图像增强的算法。表 1图像灰度的累计频率统计图 2正常光照时图像灰度分布0.070.060.050.040.030.020.010050100150200250300图像灰度值图 3直方图曲线峰值点的集合图像灰度值0.070.060.050.040.030.020.01507090110130150170190210灰度范围天空图像累计频率高斯分布累计频率0.659 30.6830.941 70.9540.982 90.997自-滓，自+滓自-2滓，自+2滓自-3滓，自+3滓37-2023 年 31 期众创空间科技创新与应用Technology Innovation and Application图4低照度图像图 5雾天图像与低照度图像反转直方图分布通过对大量图像的对比分析，Xuan 等将去雾算法在低照度图像的增强中进行了验证并取得了较好的效果，同时该算法也为低照度图像的增强提供了一定的理论和现实依据。2暗通道去雾原理暗原色先验理论是 He 等3提出，并应用到图像去雾中。该理论提出在户外无雾的图像中，除去天空元素之外的任何一个像素点的邻域 赘 中，存在一个最暗的点，该点在一张 RGB 图像的 3 个通道数据中，最小值趋近于 0。因此，对于任意的图像定义其暗通道为 Jdark式中：赘 表示像素点的邻域，一般选择为 7伊7 或者 15伊15 的正方形区域；y 为邻域中的一个像素点；Jc（y）是无雾图像的 3 个通道的值，Jdark（x）为无雾时的图像暗通道，其中每个像素值趋近于 0。由式（1）可知，如果希望求得去雾后的图像，则需要求解大气光常数 A，以及透射率分布 t（x），将式（1）改写为等式两端同时进行最小化运算有式中：c 表示图像 3 个通道的值，结合式（1）可以推导出最终可以得到透射率 t（x）为实际中常常会引入一个常数 棕沂（0，员）来保留一部分的雾气，通常 棕 越大去雾效果越明显，通常设置为w=0.955。最终可以得到图像的恢复公式为实际中为了避免除数是 0 的情况，对参数 t0的取值进行了限制，一般情况下 t=0.1。3改进的基于暗通道去雾的夜间图像增强算法经过上述滤波算法进行图像降噪后，图像中的噪声水平明显降低，但由于光照不足，图像中的目标仍然识别度较低，故本设计基于有雾图像和低照度反转图像存在的高度相似性4，通过对当前基于模型的暗通道先验图像去雾算法进行研究改进，实现了一种对于夜间低照度图像增强的方法，并验证了算法的有效性。3.1图像重采样利用暗通道先验进行去雾的过程中，会发现有大量的时间消耗在图像滤波及透射率细化上。为了满足实时的要求，在保证精确率的同时可以尽可能减少时间的消耗，加入了采样的手段，利用采样后小图的透射率对大图透射率进行估计，然后进行去雾处理，所以选取较为合适的采样倍数也是需要解决分析的问题。如果采取采样倍数过大时，可能影响最终去雾的效果，造成透射率信息严重丢失6，无法较好地对图像进行复原增强；如果采样倍数过低，反而在升降采样时造成了大量的时间消耗，达不到省时的效果。除此之外，也需要选择合适的采样手段来实现更好的效果。3.1.1最大值降采样在采用较大倍数的采样时，会造成在图像的边缘明暗过度的位置出现纹理丢失的现象，这是由于采取渊b冤夜晚低照度天空图像渊a冤夜晚低照度道路图像dark()(,)()minmin()0cyxcR G BJxJyW，（1）1I xJ xt xt x AA。（2）,minminminmin1yxcR G ByxcR G BI xJ xt xt xWW AA，（3）,minmin0yxc RG BJ xt xWA。（4）dark,1minmin1yxcR G BI xIt xW AA。（5）dark1,0,1It xww A。（6）0max,I xJ xt x tAA。（7）渊a冤雾天图像直方图渊b冤低照图图像反转直方图伊104伊1045432100501001502002500501001502002502.521.510.50图像灰度值出现次数图像灰度值出现次数38-众创空间科技创新与应用Technology Innovation and Application2023 年 31 期的抽样方式的特点所致。采用临近值采样的方法是指在图像的行列 2 个方向按照指定的缩略倍数 N伊M，行列上分别每隔 N 和 M个点取值，将其作为最终的结果。采用这种方法在大部分情况下会存在很明显的影响。所以，最终采用最大值降采样的方式，其有效避免了上述问题。最大值降采样和临近降采样的区别在于，其将图像行列上每 M伊N 取块，计算该范围内的最大值作为采样后该点的像素值大小。采用这样的方式后，降采样的结果在亮暗边界处不会造成边缘过度模糊，避免大量过渡区域的边缘信息不被采样处理造成信息丢失。3.1.2双三次样条插值升采样经过上述的图像降采样处理之后，处理得到的图像会出现明显的块效应，这是由于在对图像复原时，在小块中透射率的取值一样，缺少平滑过渡。尤其对于高倍降采样之后，如果对复原图像每个临近小块内都采用相同数值的透射率，会最终出现图像分布不均的问题。针对这个问题，考虑对图像升采样时加入插值的方式去还原图像。考虑到插值效果和时间计算复杂度，最终选择了处理效果和效率较高的双三次样条插值。双三次样条插值考虑到相邻的灰度像素值变化的影响，其根据附近 16 点的灰度整像素值及对应的导数进行运算，所以其插值效果在一阶及二阶导数上都是连续的。沿 x 方向的 4 个像素点 Z0、Z员、Z圆、Z猿，每 2 个像素点之间使用一个三次多项式进行拟合，像素点处的函数一阶及二阶导数必须连续。对于亚像素位置（x，y）的灰度值，采用双三次插值算法，可设其表达式为这种算法需要选择一种插值基函数来进行数据拟合，否则计算量会过大，常用的最佳基函数sin 仔棕仔棕，在社会生产过程中得到广泛应用，为了逼近最佳基函数，利用三次多项式进行插值，其数学表达式如下则双三次插值如下所示，其中 u、v 表示离亚像素位置最近的一个整数点位置坐标，驻x、驻y 分别表示亚像素位置离整像素位置在 x、y 轴的亚像素位移。f（u+驻x，v+驻y）=ABC，（10）式中：A、B 及 C 都是矩阵，其具体的形式如下A=S（1+驻x）S（驻x）S（1-驻x）S（2-驻x），（11），（12）C=S（1+驻y）S（驻y）S（1-驻y）S（2-驻y）T。（13）图 6 是对图像进行五倍双三次样条插值后的结果。图 6三次样条插值升采样效果图3.2保边引导图像透射率估计假设大气光亮度 A 已知，有雾图像模型放在每一个通道，即Ic（x）=Jc（x）粤c（1-t（x），（14）式子两边除以 粤c得到Ic（x）Ac=Jc（x）t（x）Ac+（1-t（x）。（15）由前面公式可知，对于无雾图像除去天空外，Jdark寅0，即有依此得到即透射率 ,minmin1ccyxcR G BIyt xWA。（17）,minmin0ccyxcR G BIyWA。（16）1,11,1,11,2,1,1,21,11,1,11,22,12,2,12,2f uvf uvf uvf uvf u vf u vf u vf u vf uvf uvf uvf uvf uvf uvf uvf uvB 222312,1485,120,2Swwwwwwwww。（9）3300,ijijijf x ya x y。（8）39-2023 年 31 期众创空间科技创新与应用Technology Innovation and Application式中：设置常数 棕（0棕员），目的是使估计值接近于自然，这是因为即使在大气非常纯净的情况下，大气中也必然包含着水气。如果直接利用这里估计的透射率图像，那么在恢复图像中会产生“光晕”，为此需对透射率进行优化以消除恢复图像中的光晕。针对图像边缘明显的块状光晕效应，He 论文中求取暗通道时采取局部最小滤波方式，但是在夜间图像中，会发现如果存在局部光照过量或过暗（如路灯、车灯等），其实可以认为其边缘处透射率不再满足该条件，如果此时采取最小值滤波，可能将局部的噪声引入或采集到景深之外的点作为最终的透射率大小。考虑到上述不足，本文在求取暗通道时采用引导滤波算法进行优化改进，避免在像素点值变化较大的边缘区域，由于较大估计误差而导致的边缘块状现象。同时引导滤波能够保持图像梯度的相对性，从而对图像暗通道的边缘有良好的保持性。引导滤波是一种局部线性模型，该模型认为，某函数上一点与其邻近部分的点成线性关系，一个复杂的函数就可以用很多局部的线性函数来表示，当需要求该函数上某一点的值时，只需计算所有包含该点的线性函数的值并做平均即可。故滤波前后的图像满足如下关系qi=akIi+bk，坌i沂棕k，（20）式中：I 是引导图像，qi是输出，棕 是以 k 为中心像素的窗口，ak和 bk都为该窗口对应的线性系数。上面的线性关系自然保证了图像梯度的相对性不变，对图像两边求导可以得到荦q=a荦I。（21）但是，如果图像中任何一个地方的系数 a 和 b 都相同，那么无异于对整个图像进行了一个线性变换，并没有起到保边滤波的功效。要达到保边滤波的效果，期望 a 和 b 是随着图像内容变化的，在边缘区域 a 尽量大，保持梯度，在平滑区域 a 尽量小，以尽量平滑。输出q 应该尽量和原始图像一致，并以此为约束条件来求解 a 和 b，也就是最小化如下目标函数这里，沂是对较大 ak进行惩罚的正则系数。用于防止求得的 a 过大，也是调节滤波器滤波效果的重要参数。通过最小二乘法可以得到参数 ak和 bk的表达式如下式中：棕 为窗口 棕 中像素数目，pk、滋k分别表示输入图像和引导图像在窗口 棕 中的均值，滓2k是图像在窗口 棕 中的方差。在计算每个窗口的线性系数时，可以发现一个像素会被多个窗口包含，即每个像素都由多个线性函数所描述。因此，如之前所说，要具体求某一点的输出值时，只需将所有包含该点的线性函数值平均即可，即引导滤波最大的优势在于，可以写出时间复杂度与窗口大小无关的算法，因此，在使用大窗口处理图片时，其效率更高。如图 7 所示，分别是通过 He 论文中的最小滤波和本文使用的保边引导滤波方式求取暗通道之后获得的透射率分布结果。可以发现，采用传统的暗通道中的最小滤波方式，在光照高低过渡的部分会出现很多的块状分布，而经过本文的方法改进之后，既可以达到求取图像暗通道的效果，又可以尽可能地对景深过渡处的透射率进行有效估计。渊a冤最小滤波渊b冤保边引导图 7透射率分布结果对比3.3大气光照模型估计研究发现 Xuan 等通过去雾的思想对低照度图像进行了增强，并取得了不错的效果。但是同时发现，最终的图像会存在整体颜色由于大气光值估计不准带来的图像整体颜色过暗过亮，接下来将进一步精确求解 1min minccyxcIyt xWw A，（18）,1minminccyxcR G BIyt xWw A，（19）22,kkkkikikiE a ba Ibpaw。（22）21kiiikkkkI ppawmwskkkkbpa m，（23），（24）:1kikikk iqa Ibww。（25）40-众创空间科技创新与应用Technology Innovation and Application2023 年 31 期配置的权限策略，水电企业用户注册后能够自动匹配到各自关注的流域，对于水电企业用户随时随地及时、准确地掌握了解流域内的气象信息，尤其是在防洪度汛期间，为电站的生产运行提供重要的保障。参考文献院1 陈丽娜，徐艺红.对地市级水电专项气象服务的探讨J.气象研究与应用，2018，39（z2）：121-122.2 中国互联网络信息中心.CNNIC 发布第 51 次 中国互联网络发展状况统计报告 J.互联网天地，2023（3）：3.3 王彬.微信公众平台开发研究J.科技展望，2016（5）：2-3.4 艾媒报告中心.2022 年中国通讯社交类 APP 月活 TOP10EB/OL.https：/ 程春蕊，刘万军.高内聚低耦合软件架构的构建J.计算机系统应用，2009，18（7）：19-22.6 任旭阳.SINS/GPS/OD 容错组合导航系统研究D.武汉：华中科技大学，2019.7 冉杰.安全生产标准化综合信息管理平台 架构设计J.中国建材科技，2021，30（4）：27-29.8 平金珍，王茜.计算机软件开发中数据库安全设计的应用实践分析J.电子元器件与信息技术，2020，4（5）：34-35，42.9 王晶晶.地理信息系统技术的应用研究J.中国石油和化工标准与质量，2019，39（16）：202，204.10 陈刚剑.ShapeFile 文件结构浅析J.数字化用户，2017，23（34）：285-287.11 贾耀华.XML 格式数据文档合成J.科技信息，2009（32）：221-223.12 单双利.POI 中文地址模糊匹配技术研究与实现D.苏州：苏州大学，2020.13 韩玉，郑永果，孙建康.一种 Restful 数据接口的可视化定制生成方法J.新型工业化，2020，10（9）：55-57，62.dreremaxIindexIA，（26）大气光值。夜晚图像内总是存在若干极暗的图像区域，而对应到反转图像时，这些图像区域的亮度值就会很高，而在计算大气光的值时，所取的像素点也总是在这些区域当中。本文采用最简单的方式计算大气光值，即取图像亮度最高的像素点的值作为这张反转夜晚图像的大气光值。式中：Index（）代表取对应像素值在图像中的位置，Ired表示反转夜晚图像 Ire的暗通道图。这样计算得到的大气光 A 是个包含 3 个值的向量，分别对应图像 RGB 3个色彩通道。引导大气光值估计如图 8 所示。图 8引导滤波大气光值估计4结论本文提出了一种基于暗通道去雾优化后的低照度图像增强方法。根据雾天图像和低照度图像反转的相似特征，介绍了暗通道去雾的理论基础并进行应用，分析了该算法直接应用于夜间道路图像的问题和不足，并针对这些问题进行改进分析，解决了景深突变处的黑边效应及块状效应，有效估计了大气光值改善图像亮度，并结合采样的手段提升了算法效率。最后，对多种算法进行实验仿真对比，验证了改进后算法对于图像效果和质量的有效改善与提升。参考文献院1 CELIKT，TJAHJADIT.Automaticimageequalizationandcontrast enhancement using Gaussian mixture modeling J.IEEE Transactions on Image Processing，2012.2 茆诗松，程依明，濮晓龙.概率论与数理统计教程（第二版）M.北京：高等教育出版社，2011.3 HeK，JIANS，FELLOW，etal.SingleImageHazeRemoval Using Dark Channel PriorJ.IEEE Transactions onPattern Analysis&Machine Intelligence，2011，33（12）：2341-2353.4 XUAN D，PANG Y A，WEN J G.Fast efficient algorithmfor enhancement of low lighting videoC.IEEE InternationalConference on Multimedia&Expo，2011.5 金观昌.计算机辅助光学测量M.北京：清华大学出版社，1997.6 XU H，GUO J，LIU Q，et al.Fast image dehazing usingimproved dark channel priorJ.IEEE，2012：663-667.渊上接 35 页冤41-