多聚焦图像焦深扩展分解融合算法仿真_刘丽丽.pdf

收稿日期:2022-04-02 第 40 卷 第 4 期计 算 机 仿 真2023 年 4 月 文章编号:1006-9348(2023)04-0195-04多聚焦图像焦深扩展分解融合算法仿真刘丽丽1,赵 玉2(1.长治学院计算机系,山西 长治 046011;2.石家庄铁道大学土木工程学院,河北 石家庄 050043)摘要:多聚焦图像在融合过程中,若源图像分辨率过低会直接影响图像的融合效果。为提升图像融合效果,提出基于焦深扩展的多聚焦图像融合算法。采用焦深扩展方法对光学系统实施优化,通过优化后的光学系统生成聚焦图像,并对获取的聚焦图像中的退化图像实施修复处理,提升源聚焦图像质量;使用双三次插值的单帧超分辨率法对图像实施分解处理,获取源聚焦图像的高分辨率图像,结合滤波处理算法,获取聚焦图像的细节系数;利用逆小波变换方法对图像细节系数,依据计算结果实现多聚焦图像融合。实验结果表明,使用上述方法开展图像融合时,融合效果较好,图像融合质量较高。关键词:焦深扩展;多聚焦图像;光学系统优化;图像分解;图像融合算法中图分类号:TP183 文献标识码:BSimulation of Multi Focus Image Focal Depth ExpansionDecomposition Fusion AlgorithmLIU Li-li1,ZHAO Yu2(1.Computer Department,Changzhi University,Changzhi Shanxi 046011,China;2.School of Civil Engineering Shijiazhuang Tiedao University,Shijiazhuang Hebei 050043,China)ABSTRACT:In order to improve the fusion effect of images,a multi-focus image fusion algorithm based on focaldepth extension was proposed.At first,the focal depth expansion method was adopted to optimize the optical system,and then the focused image was generated by the system.Meanwhile,the degraded image in the focused image wasrepaired to improve the quality of the source image.Moreover,the single-frame super-resolution method based onbicubic interpolation was adopted to decompose the image and thus obtain the high-resolution image of the source im-age.Combined with the filtering algorithm,the detail coefficient of the focused image could be obtained.Finally,theinverse wavelet transform method was used to calculate the detail coefficients of the image.Thus,multi-focus imagefusion was achieved.Experimental results show that the proposed method has better fusion effect and fusion quality.KEYWORDS:Focal depth extension;Multi-focus image;Optimization of optical system;Image decomposition;Image fusion algorithm1 引言随着科学技术的不断发展,图像信息获取手段已经从单一的可见光传感器1转换成高光谱甚至超光谱传感器。图像融合就是将不同传感器获取的图像实施空间配准,通过一定融合算法将各个图像有机结合,产生新图像的技术。近年来图像融合技术被广泛应用于遥感监测、医疗诊断等高端领域2。但是传统的图像融合技术无法满足当前人们对图像融合效果的需求,因此,提出更加高效的图像融合技术,成为目前亟待解决的问题。文献3提出了一种基于非下采样 Shearlet 变换耦合导向法则的多聚焦图像融合算法。该方法首先利用变换算法获取多焦距图像的不同图像系数;再提取图像标准差以及空间频率特征,测量图像关联性,制定融合规则;最后结合建立的融合法则实现多焦距图像的融合。文献4提出了一种基于超像素级卷积神经网络的多聚焦图像融合算法。该方法首先对焦距图像实施多尺度分割,并将分割出的超像素输入卷积神经网络中分类,依据分类结果建立初始决策图像;再通过获取的决策图确定不确定区域,结合空间频率对聚焦图像实施再次分类,获取阶段决策图;最后利用形态学方法对591决策图进行处理,完成图像的融合。文献5提出了一种无监督深度学习模型的多聚焦图像融合算法。该方法首先依据提取的无标记数据集结合注意力机制建立网络模型,获取图像的深层特征;再依据聚焦检测方法对图像深层特征展开测量,依据测量结果决策图;最后依据决策图实现聚焦图像的融合。上述方法由于未能在聚焦图像融合前,对源聚焦图像中的退化图像实施修复处理,导致上述图像融合方法在融合图像时,融合性能低、融合效果差。为解决上述多聚焦图像融合过程中存在的问题,提出基于焦深扩展的多聚焦图像融合算法。2 聚焦图像获取及预处理方法2.1 聚焦图像获取依据波前编码技术6,在光学系统的光瞳位置加入相位板,设定光学系统的相位因子为,计算相位板的当前位置,过程如下式所示(p,q)=(pi,qi)(1)式中,p、q 表示相位变量,二者之间互相独立,(p,q)表示相位板位置,i 表示相位板数量。基于上述计算结果,建立光学系统的焦深扩展函数,对光学系统7实施优化处理,过程如下式所示k(p)=12exp(pi),1|p|0,1|p|(2)式中,k(p)表示焦深扩展函数,exp(pi)表示指数函数,j 为常数。基于光学系统优化结果建立光学传递函数,建立过程如下式所示G(l,)=112|l|exp jli4()exp-j2l3(),l 01,l=0|(3)式中,G(l,)表示光学传递函数,表示焦深扩展系数,l 表示系统空间频率。依据上述获取的传递函数,获取聚焦图像,过程如下式所示Ta=k(p)G(l,)(p,q)(4)式中,Ta表示聚焦图像,a 表示图像数量。由于图像获取时,对光学系统焦深实施了扩展,由此避免了图像分辨率降低的概率,但是焦深扩展会降低图像成像质量,因此,在多聚焦图像融合前,需要对聚焦图像中退化图像实施图像复原处理8。2.2 图像复原由于光学系统中,成像机制相同,因此,设定图像的卷积计算符号为,以此获取聚焦图像的退化图像,过程如下式所示h(m,n)=S(m,n)f(m,n)+(m,n)(5)式中,h(m,n)表示退化图像,(m,n)表示噪声分布系数,f(m,n)表示目标聚焦图像,S(m,n)表示光学系统点扩散函数,(m,n)表示图像像素。基于上述滤波流程可知,精确的点扩散函数以及噪声分布系数是影响图像复原的关键。因此,对光学系统的焦深扩展函数实施傅立叶变换9,获取点扩散函数解析表达形式,过程如下式所示S(x)=23(-)13x(-)13Dk13,293x(-)13|32(6)式中,S(x)表示点扩散函数,Dk表示变换系数,表示相位因子。获取退化图像后,依据点扩散函数以及 Wiener 滤波对退化图像实施复原。滤波过程的具体表述形式如下式所示A(x,y)=1Z(x,y)1|Z(x,y)|22|Z(x,y)|2+L1L1+BnG(x,y)(7)式中,表示聚焦图像的对比度调节系数,表示正则化系数,为常数,Bn表示图像矩阵,L 表示拉格朗日算子,表示迭代次数,Z(x,y)表示图像退化函数,A(x,y)表示图像在频域中的最小均方误差,G(x,y)表示退化图像的傅立叶变换。最后通过聚焦图像的复原结果,获取完整的聚焦图像。3 一种多聚焦图像融合算法设计3.1 图像超分辨率增强双三次插值是典型的超分辨率方法10,由于该方法能够有效平滑图像边缘,获取高清晰度像素,多被用于多聚焦图像融合中。利用双三次插值的超分辨率方法可以在重建图像像素点关系后,获取像素密集点,从而得到聚焦图像的高分辨率图像。设定聚焦图像的行像素位置为 e,列像素位置为,图像像素值为 Pij,以此建立图像的邻域矩阵,过程如下式所示J=Pij=h(e-1,-1)h(e-1,)h(e-1,+1)h(e-1,+2)h(e,-1)h(e,)h(e,+1)h(e,+2)h(e+1,-1)h(e+1,)h(e+1,+1)h(e+1,+2)h(e+2,-1)h(e+2,)h(e+2,+1)h(e+2,+2)|(8)式中,J 表示建立的图像邻域矩阵,he,表示像素点位置。设定聚焦图像的超分辨因子为i,j,结合邻域矩阵建立超分辨率矩阵,获取图像高分辨率块,过程如下式所示691i=k=1,k ix-z(u(+k)z(u(+i)-z(u(-k)i=k=1,k jy-z(u(+k)z(u(+i)-z(u(-k)(x,y)=ni=1nj=1iPijj|(9)式中,u 表示超分辨率系数,(x,y)表示图像的高分辨率块,z(u()表示最小整数,k 表示平移位置,x、y 表示像素的行、列位置信息。3.2 图像融合流程的实现获取超分辨率块图像后,设定图像的任意信号为 R(t),以此获取图像分解11时的小波函数,过程如下式所示Q(a,b)=-R(t)a,b(t)dta,b(t)=1at-ab()|(10)式中,Q(a,b)表示小波函数,a 表示伸缩因子,b 表示平移因子,a,b(t)表示平移伸缩结果,t 表示信号当前状态。基于上述分解结果,对聚焦源图像实施低通、高通滤波处理12,获取图像各个方向的细节系数,结果如下式所示:CCj+1(a,b)=xycxjcyjCCj(a+x,b+y)CGj+1(a,b)=xycxjgyjCCj(a+x,b+y)GCj+1(a,b)=xygxjcyjCCj(a+x,b+y)GGj+1(a,b)=xygxjgyjCCj(a+x,b+y)|(11)式中,c 表示低通滤波,g 表示高通滤波,C、Cj+1分别表示图像分解后第 j 级以及 j+1 级的低频系数,CGj+1表示图像分解的水平细节系数,GCj+1表示垂直细节系数,GGj+1表示信号的对角系数。图像各项滤波系数提取完成后,将滤波系数直接在变换域实施融合处理,获取图像的变换系数,并开展小波逆变换13获取聚焦图像的融合图像,过程如下式所示L(j)(p,q)=14jc(x)c(y)L(j-1)+jg(x)c(y)G(j-1)+jc(x)g(y)V(j-1)+jg(x)g(y)D(j-1)(12)式中,c(x)、c(y)表示低通滤波器,g(x)、g(y)表示高通滤波器,q 表示融合图像的垂直位置,p 表示水平位置,L(j)表示聚焦图像融合后的细节信息,L(j-1)表示低频细小分量,G(j-1)表示图像的高频水平向量,V(j-1)表示高频垂直向量,D(j-1)表示对角向量。根据上述处理结果,给出多聚焦图像的融合流程如下:1)基于焦深扩展优化光学系统,获取聚焦图像,并使用滤波算法对退化聚焦图像展开计算,复原聚焦图像,获取完整的聚焦源图像。2)对多聚焦源实施分解处理,建立邻域矩阵确定图像块具体行、列位置。3)通过式(9)对图像块计算,通过计算结果获取源聚焦图像的高分辨率图像。4)对高分辨率图像实施滤波处理,获取图像各个方向的细节系数。5)对系数展开 PCA 分析,针对分析结果建立 m 维的独立向量,对数据实施降维处理,结果如下式所示wi=T(i-)(13)式中,表示数据样本平均数,T表示交换矩阵,i表示系数独立向量,wi表示降维结果。6)基于系数降维结果,构建协方差矩阵 Xjz,获取图像的特征向量值 Txl=|i-Xjz|,其中,特征系数为 i,特征向量为 Txl。7)对特征值展开升序排列,并根据排列结果对图像细节系数更新处理。8)最后将图像细节系数更新结果代入式(12)中,完成多聚焦图像的最终融合14-16。4 实验为了验证上述聚焦图像融合方法的整体有效性,需要对此方法测试。4.1 实验数据与对比方法设置实验所用图像均来自 The MNIST Database 数据库(http: MATLAB 软件对实验结果进行处理。实验中,分别采用基于焦深扩展的多聚焦图像融合算法研究(所提方法)、基于非下采样 Shearlet 变换耦合导向法则的多聚焦图像融合算法(文献3方法)、基于超像素级卷积神经网络的多聚焦图像融合算法(文献4方法)测试。4.2 评价指标为了测试所提方法、文献3方法以及文献4方法的图像融合性能,选取图像质量指标以及平均梯度作为客观评价指标,测试上述三种方法的融合性能。图像质量指标指的是融合图像与源聚焦图像之间的偏差性。设定图像融合后的质量指标为,融合图像为(p,q),源图像为(p,q),指标计算流程如下式所示=22+2222(14)式中,表示融合图像均值,表示标准差,表示源图像均值,表示图像之间的协方差。图像的平均梯度指的是图像融合后的细节表达能力,获取过程如下式所示=1M Np(p,q)2+q(p,q)22(15)式中,p、q 表示图像的一阶差分,MN 表示融合图像尺寸,表示平均梯度值。791基于上述计算结果可知,聚焦图像完成融合后,图像质量指标值以及平均梯度测试结果越高,融合图像的融合质量就越高。4.3 实验结果及分析1)客观评价结果依据上述测试指标检测所提方法、文献3方法以及文献4方法的图像融合性能,测试结果如图 1、图 2 所示。图 1 不同融合方法的图像质量检测结果图 2 不同融合方法的图像平均梯度测试结果分析图 1 和图 2 可知,所提方法检测出的图像质量以及图像平均梯度均高于文献3方法和文献4方法的测试结果。这主要是因为所提方法在图像融合前对聚焦图像中的退化图像实施了修复,所以所提方法在聚焦图像融合时,融合性能更好。2)主观评价结果基于上述测试结果,继续测试所提方法、文献3方法以及文献4方法的聚焦图像融合效果,图 3 为源聚焦图像,三种方法的融合测试结果如图 4 所示。由图 4 可知,所提方法能够有效融合两张聚焦图像,融合后的图像边缘清晰,大量细节被保留,不存在模糊问题,而其它两种方法融合后,图像对比度、清晰度均受到了不同程图 3 源聚焦图像图 4 不同方法的聚焦图像融合效果测试结果度的影响,融合效果明显低于所提方法。综上所述,使用所提方法开展聚焦图像融合时,该方法的融合性能和融合效果更好。5 结束语随着图像信息技术的广泛应用,图像的融合方法就变得尤为重要。针对传统图像融合方法存在的问题,提出基于焦深扩展的多聚焦图像融合算法研究。该方法通过对退化聚焦图像的修复,获取完整聚焦图像;使用图像分解方法获取图像各个细节系数;最后结合小波逆变换方法,实现多聚焦图像的融合。该方法由于在图像分解时,还存在些许问题,今后会针对该项缺陷继续优化该图像融合方法。参考文献:1 陈辉,董晶,刘云龙.可见光传感器无人机目标查证动态航路规划研究J.中国电子科学研究院学报,2022,17(2):119-123,133.2 沈英,黄春红,黄峰,等.红外与可见光图像融合技术的研究进展J.红外与激光工程,2021,50(9):152-169.3 杨建翠,马庆功.基于非下采样 Shearlet 变换耦合导向法则的多聚焦图像融合算法J.电子测量与仪器学报,2020,34(3):36-42.4 聂茜茜,肖斌,毕秀丽,等.基于超像素级卷积神经网络的多聚焦图像融合算法J.电子与信息学报,2021,43(4):965-973.5 王长城,周冬明,刘琰煜,等.无监督深度学习模型的多聚焦图像融合算法J.计算机工程与应用,2021,57(21):209-215.6 韦晓孝,吕元,韩晶晶,等.点扩散函数选取对波前编码图像复原影响的实验研究J.光学技术,2020,46(4):448-452.7 杨福臻,陈新华,赵知诚,等.面向小行星探测的可见-红外光谱成像光学系统J.光学学报,2020,40(7):157-164.(下转第 218 页)891得良好的识别效果,且在复杂度、抗噪声干扰、识别准确率等方面的性能优于常见的目标识别算法。参考文献:1 李洋,李岳阳,罗海驰.基于形状特征的植物叶片在线识别方法J.计算机工程与应用,2017,53(2):162-165.2 卢勇强.面向二维形状识别的轮廓和骨架序列编码方法研究D.大连海事大学信息科学技术学院,2020.3Gao F,Wang M Q,Cai Y C,et al.Extracting closed objectcontour in the image:remove,connect and fit J.PatternAnalysis&Applications,2019,22(3):1123-1136.4 Belongie S,Malik J,Puzicha J.Shape matching and object recog-nition using shape contextsJ.IEEE Transactions on Pattern A-nalysis and Machine Intelligence,2002,24(4):509-522.5 吴晓雨,何彦,杨磊,等.基于改进形状上下文特征的二值图像检索J.光学精密工程,2015,23(1):302-309.6 张桂梅,蔡报丰.基于内距离形状上下文特征的形状匹配研究J.南昌航空大学学报(自然科学版),2016,30(2):1-7.7 Mokhtarian F,Abbasi S,Kittler J.Efficient and robust retrieval byshape content through curvature scale spaceC.In:Proceedingsof the 1996 International Workshop on Image Databases and Multi-Media Search.Amsterdam,the Netherlands:IAPR,1996:35-42.8 Alajlan N,Eirubeb E,Kamelb M S,et al.Shape retrieval usingtriangle-area representation and dynamic space warping J.Pattern Recognition,2007,40(7):1911-1920.9 Wang J W,Bai X,You X G,et al.Shape matching and classifica-tion using height functionsJ.Pattern Recognition Letters,2012,33(2):134-143.10 Xie J,Heng P A,Shan M.Shape matching and modeling usingskeletal context J.Pattern Recognition,2008,41(5):1756-1767.11 韩敏,郑丹晨.基于模糊形状上下文特征的形状识别算法J.自动化学报,2012,38(1):68-75.12 Bai X,Wang B,Wang X G,et al.Co-transduction for shape re-trieval C.In:ECCV:European Conference on ComputerVision,Crete,Greece,September 2010:328-343.13 胡大盟,黄伟国,杨剑宇,等.改进离散曲线演化的形状匹配算法J.计算机辅助设计与图形学学报,2015,27(10):1865-1873.14 王军伟.融合全局与局部信息的形状轮廓特征分析与匹配D.武汉:华中科技大学电子与信息工程系,2012.15 向敏,王军伟.一种基于顺序形状上下文的轮廓匹配方法J.舰船电子工程,2019,39(7):128-132.16 束鑫,吴小俊,潘磊.利用 CPDH 和动态规划算法的形状检索J.中国图像图形学报,2011,16(5):844-849.作者简介于 洋(1963-),男(汉族),吉林白山人,教授,硕士,主要研究领域为智能仪器仪表、故障检测与过程监控技术等。郑 伟(1996-),男(汉族),山东德州人,硕士研究生,主要研究领域为计算机视觉、图像识别等。宋建辉(1981-),女(汉族),山东诸城人,教授,博士研究生。主要研究领域为信息融合、智能传感器、光电检测技术等(通讯作者)。刘砚菊(1965-),女(汉族),湖南桂阳县人,教授,博士研究生,主要研究领域为智能仪器仪表,网络化测控技术等。(上接第 198 页)8 徐斌,葛宝臻,吕且妮,等.基于二次二维经验模态分解去噪的湍流退化图像复原算法J.计算机应用研究,2020,37(5):1582-1586.9 郭建平,曹杰,仲坤,等.基于傅立叶变换的统计数据外推问题研究J.统计与决策,2020,36(13):30-33.10 杨文彬,李旦,张建秋.分量载频差极小时频信号的超分辨率分析方法J.系统工程与电子技术,2020,42(9):1881-1889.11 石雪,徐海平,李纯明.本征图像分解的可变尺度局部分析与集成方法J.模式识别与人工智能,2021,34(4):322-332.12 喻思,米阳,马宇辰,等.自适应高通滤波下垂控制的孤岛直流微电网功率分配控制J.电力系统保护与控制,2020,48(18):19-26.13 何笑,王刚,吐尔洪江阿布都克力木,等.基于小波变换的水下图像增强算法J.数学的实践与认识,2020,50(21):164-170.14 罗晓清,熊梦渔,张战成.基于联合卷积自编码网络的多聚焦图像融合方法J.控制与决策,2020,35(7):1651-1658.15 陈清江,汪泽百,柴昱洲.改进 VGG 网络的多聚焦图像的融合方法J.应用光学,2020,41(3):500-507.16 任全会,孙逸洁,黄灿胜.基于区域间相似度的红外与可见光图像融合算法研究J.红外技术,2022,44(5):492-496.作者简介刘丽丽(1978-),女(汉族),山西长治人,硕士,讲师,主要研究方向:图像处理、嵌入式系统。赵 玉(1979-),男(汉族),河北石家庄人,硕士,副教授,主要研究方向:土木工程。812