基于多维自适应滤波与泊松融合的多聚焦图像融合算法.pdf
《基于多维自适应滤波与泊松融合的多聚焦图像融合算法.pdf》由会员分享,可在线阅读,更多相关《基于多维自适应滤波与泊松融合的多聚焦图像融合算法.pdf(10页珍藏版)》请在咨信网上搜索。
1、投稿网址:2023 年 第23 卷 第24 期2023,23(24):10427-10科 学 技 术 与 工 程Science Technology and EngineeringISSN 16711815CN 114688/T收稿日期:2022-11-04修订日期:2023-05-26基金项目:新疆自治区创新人才建设专项自然科学计划(自然科学基金)(2020D01A132);湖北省科技示范项目(2019ZYYD016);长江大学(教育部、湖北省)非常规油气合作创新中心(UOG2020-10)第一作者:熊智飞(1994),男,汉族,湖北荆州人,硕士研究生。研究方向:图形图像处理、模式识别、多聚
2、焦融合。E-mail:。通信作者:沈疆海(1969),男,汉族,湖北荆州人,硕士,副教授。研究方向:计算机绘图、数字图像处理、计算机控制。E-mail:shenjh yan-。引用格式:熊智飞,沈疆海.基于多维自适应滤波与泊松融合的多聚焦图像融合算法J.科学技术与工程,2023,23(24):10427-10436.Xiong Zhifei,Shen Jianghai.A multi-focus image fusion algorithm based on multidimensional adaptive filtering and poisson fusionJ.Sci-ence Tec
3、hnology and Engineering,2023,23(24):10427-10436.基于多维自适应滤波与泊松融合的多聚焦图像融合算法熊智飞,沈疆海(长江大学计算机科学学院,荆州 434000)摘 要 针对现有的多聚焦图像融合算法,在抗噪性能、图像连续性以及时间复杂度上的不足,提出了一种基于多维自适应滤波与泊松融合的多聚焦图像融合算法。首先,对统一尺度的源图像构建梯度矩阵,并设计尺度分段的多维自适应核函数对矩阵进行分割;然后,引入判定条件,对泊松重建中的图像边界进行伪边缘抑制,得到纯化后的全聚焦图像;最后,将抗噪算法与融合算法分别对比其他算法模型,进行综合比较,通过6 种图像质量评价
4、指标来评估融合性能与效果。结果表明:本文算法不仅有良好的运行效率,清晰的视觉观感,而且在评价因子上有更理想的数据结果。可见,不论主观还是客观上来看,该算法都具备明显优势。关键词 图像融合;Sobel 算子;自适应滤波;泊松融合;伪边缘抑制中图法分类号 TP391;文献标志码 AA Multi-focus Image Fusion Algorithm Based on MultidimensionalAdaptive Filtering and Poisson FusionXIONG Zhi-fei,SHEN Jiang-hai(1.Computer Science College,Yangtz
5、e University,Jingzhou 434000,China)Abstract In order to solve the problem of the existing multi-focus image fusion algorithms in terms of anti-noise performance,im-age continuity and time complexity,a multi-focus image fusion algorithm based on multi-dimensional adaptive filtering and Poisson fu-sio
6、n was proposed.First,a gradient matrix was constructed for the source image of uniform scale,and a multi-dimensional adaptivekernel function of scale segment was designed to segment the matrix.Then,a judgment condition was introduced to suppress theboundary of the reconstructed image in Poisson fusi
7、on.The purified global focus image was obtained.Finally,the anti-noise algorithmand the fusion algorithm were compared with other algorithm models,and the horizontal comparison was carried out,and the fusion per-formance and effect were evaluated through 6 image quality evaluation indicators.The res
8、ults show that the proposed algorithm not onlyhas good operating efficiency and clear visual perception,but also has more ideal data results in evaluation factors.It can be seen thatthe algorithm has obvious advantages both subjectively and objectively.Keywords image fusion;Sobel operator;adaptive f
9、iltering;Poisson fusion;false edge suppression 伴随计算机技术和工业相机的发展,岩芯图像扫描技术已逐步成为岩芯图像观测和分析的重要手段。它体现了从实体岩芯到永久性高保真的岩芯数字图像的转换,对于石油勘探以及地质研究等领域的发展均有重要意义。由于岩体在扫描过程中,光学成像系统受到焦距限制,其散焦区域所捕捉到的图像往往存在不同程度的模糊,即无法获得完整全清晰的岩芯图像。岩体的纹理和裂缝包含重要的地质信息,而细节的模糊又给科研观察带来了极大不便,因此需要一种多聚焦 融 合 算 法(multi-focus image fusion,MFIF),让多个景深互
10、补的岩芯图像融合成一张全投稿网址:清晰的图片1,消除信息冗余,提高局部清晰度和对比度。MFIF 算法发展至今,得到了广泛的研究与应用。在众学者提出的相关算法中,主要可分为空间域与变换域两种类型2。其中基于变换域的融合方法主要包含 3 个步骤:首先将源图像转换到变换域并分解得到频域系统,然后将不同的频域系数根据算法进行计算得到融合后的系数,最后通过逆变换将融合子带转换为图像。韩阳等3提出了一种基于非下采样剪切波变换(non-subsam-pled shear transform,NSST)与显著信息加权的图像融合算法,优化了传统 NSST 机制对细节处理的弊端。冯福存等4利用引导滤波对红外图像进
11、行内容增 强,并 在 非 下 采 样 轮 廓 波(non-subsampledcontourlet transform,NSCT)中引入能量保护的融合规则,克服了图像对比度下降问题。此类算法在学术研究上有较大的拓展空间,但在实际应用中存在着计算复杂,系数分解方向有限,对噪声容差性较低等问题。基于空间域的算法原理是根据梯度算子,对二维图像进行焦点测度,并选择局部清晰度大的像素点或者块进行图像重建。该方法由于保留了大量的空间信息,以及更简单的数学模型,受到广大学者的青睐。田帅等5在减影图像中引入改进拉普拉斯算子(new sum of modifiedLaplacian,NSML)进行双尺度分解,并
12、根据线性混合规则重构融合图像,对噪声具有较好的鲁棒性。也有学者将两者结合,Samet 等6提出了一种基于平稳小波变换(stationary wavelet transform,SWT)对图像进行分解,并在低频域的采用 Sobel 高通融合,高频子带采用局部能量的加权平均等方法,将所有分量融合成新的图像。该算法在一定程度上对融合效果进行优化,但根本上来说,分解后的均值容易造成间断效应,图像复原的逆变换过程中依然包含了伪吉布斯现象,本质和小波融合差别不大,其改善视觉效果的同时,未能区分图像的显著信息。近年来随着深度学习技术的发展,针对特征级图像融合,中外学者提出了新的方法。Xu 等7改进了一种端到
13、端的统一无监督学习(U2Fusion)图像融合方法,可以解决多模态、多聚焦和多曝光图像融合问题。Zhang 等8提出了一种具有自适应和梯度联合约束的新型生成对抗网络(generative adversari-al network,GAN),可以有效地以像素为单位进行焦点测度。曲海成等9通过在生成器中输入自适应加权模块,将两种模态图像按贡献比重进行加权融合。总的来说,深度学习类融合方法在一定程度上填补了传统方法的缺陷,但其融合效果又过于依赖训练模型;且部分模型随着网络加深还会出现图像信息的丢失,普遍存在时间代价高,训练复杂,占用大量计算资源等问题。以上 3 类方法各有所优,但在岩芯图像采集的实际
14、工作场景中,都存在一定局限性。针对上述问题,现提出一种基于多维自适应滤波和泊松融合的多聚焦图像融合算法,旨在消除现有算法存在的伪影、块效应等问题,并设计出更能满足岩芯数字化工程精度要求的,高效、可靠的 MFIF 算法。1 本文算法算法框架如图 1 所示,具体步骤如下。步骤 1 首先在对源图像的预处理中,针对镜头的畸变进行棋盘格插值矫正,并通过 RANSAC-SIFT 特征提取完成仿射变换,统一尺度。图 1 算法流程图Fig.1 Algorithm flow chart82401科 学 技 术 与 工 程Science Technology and Engineering2023,23(24)投
15、稿网址: 步骤 2 使用改进的 Sobel 算子构建梯度矩阵,并设计 n n 的滑窗对矩阵归一化统计,计算 n 维均值矩阵,同时根据矩阵的判别函数对像素点进行自适应去噪,处理后的真值图作为掩膜,提取背景中清晰部分。步骤 3 最后引入伪边缘的判定条件,将分解后的所有分量进行泊松融合,得到全清晰的融合图像。1.1 图像预处理相机镜头的原理是小孔成像,由于受到屈光度以及焦距的影响,平扫图像往往会产生一定程度的畸变;此外不同物距的图像在尺度上并不统一。这些因素都会严重影响融合效果。传统的矫正方法会先对相机进行棋盘格标定,再对压缩区域进行多项式插值、双线性插值或最近邻插值等。本实验中,广角镜头仅在切向和
16、径向产生畸变,因此矫正方式可以采用中心点对邻域的泰勒多项式插值,其数学模型将看作实际成像到理想平面的映像(x0,y0)(x,y)。矫正后像素点坐标表达式为r2=(x0-xp)2+(y0-yp)2(1)x=x0+(x0-xp)(k1r2+k2r4)+p1r2+2p1(x0-xp)2+2p2(x0-xp)(y0-yp)y=y0+(y0-yp)(k1r2+k2r4)+p2r2+2p2(y0-yp)2+2p1(x0-xp)(y0-yp)(2)式中:(x0,y0)为平扫图像的原始像素点;(xp,yp)为中心点;k1、k2与 p1、p2分别为径向畸变系数和切向畸变系数;r 为畸变像素点到中心的欧式距离。为
17、进一步解决物距差带来的非线性形变,还需要通过一种空间变换,使源图像完成配准以达到尺度的统一,其算法流程如图 2 所示。Lowe10最早提出 SIFT 特征提取,能较好地用来计算单应性矩阵。在此基础上通过 RANSAC 算法图 2 图像预处理Fig.2 Image preprocessing多次迭代后,可以拟合出最佳变换模型。设本文实验中变换矩阵为 H,坐标齐次项为 1,则变换方程如式(3)所示。h11h12h13h21h22h23h31h32h33()x1y11()=x2y21()(3)将任一组点对坐标代入式(3)中,得到参数方程为-x1h11-y1h12-h13+x1x2h31+x2y1h3
18、2+x2h33=0-x1h21-y1h22-h23+x1y2h31+y1y2h32+x2h33=0(4)所有提纯后的点对代入式(4)中,即可求出完整的矩阵,此时变换模型为A0A1B0A2A3B1C0C11()x1y11()=x1y11()(5)式(5)中:A0、A1、A2、A3为 2 2 的矩阵,作为旋转以及缩放的参数;B0、B1为控制平移;C0、C1为透视变换矩阵;将 I1(物距 45.0 cm)的坐标(x1,y1)代入H 中,可以得到变换后的 I1坐标(x1,y1)。1.2 决策图生成及去噪1.2.1 构建梯度矩阵Sobel 算子主要应用于图像边缘特征信息的提取,对图像活跃性的测度有一定鲁
19、棒性,在融合算法中可以通过构建梯度矩阵,来分割聚焦区域。由于该算子对斜向边缘不敏感,沈德海等11提出了在Sobel 算子中引入 45和 135两个方向模板,并对所有梯度进行绝对值取大的方法。这一改进虽然能在一定程度上增强幅值,但对其他梯度的屏蔽,又会削弱边缘的连续性,增大了像素宽度。因此,在改进 Sobel 算子的基础上对 4 个方向梯度的平方和求根,以提高计算精度。S0=-101-202-101(),S90=121000-1-2-1(),S45=210101012(),S135=012-101-2-10()(6)拓展后的卷积核如式(6)所示;设 P(p,q)为决策图上任一点(i,j)的邻域像
20、素值,其中 i-1 p i+1;j-1 q j+1,s 为卷积核 S 中的元素,则图像上任一点(i,j),在 4 个方向上的梯度分量为 G0、G90、G45、G135,分别表示为924012023,23(24)熊智飞,等:基于多维自适应滤波与泊松融合的多聚焦图像融合算法投稿网址:G0(i,j)=i+1p=i-1j+1q=j-1P(p,q)3n=13m=1s0(n,m)G90(i,j)=i+1p=i-1j+1q=j-1P(p,q)3n=13m=1s90(n,m)G45(i,j)=i+1p=i-1j+1q=j-1P(p,q)3n=13m=1s45(n,m)G135(i,j)=i+1p=i-1j+1
21、q=j-1P(p,q)3n=13m=1s135(n,m)(7)由式(7)可求得图像上任一点梯度值 G 为G=G20+G290+G245+G2135(8)经梯度取大后,图像转换为真值图,此时梯度矩阵上任一点像素值 Pmask(i,j)取值如式(9)所示。Pmask(i,j)=0,G1(i,j)G2(i,j)255,G1(i,j)G2(i,j)(9)近物距岩芯图像与梯度矩阵分别如图 3、图 4所示。图 3 物距 42.5 cm 局部图像Fig.3 Local image with object distance of 42.5 cm黑色区域表示 I1(远物距图像)的前景清晰部分;白色区域表示I2(
22、近物距图像)的背景清晰部分图 4 梯度矩阵局部图像Fig.4 Gradient matrix local image经过初步计算后得到的梯度矩阵,存在各种离散噪点和“虚影”。这是由于两张图(图 3、图 4)在景深的中间深度上清晰度相近,从而产生的过渡区域。而离散型噪点是对梯度的计算过程中,差分代替微分产生的误差奇异点,需要通过去噪算法来进一步优化其分割质量。1.2.2 多维自适应滤波文献12提出通过滑窗统计局部拉普拉斯能量来生成决策图,对边缘信息有较好的判定效果;然而仅用一组滑窗或是通过卷积核的尺度分段,无法应对噪声的多态性,且易导致过度平滑。在没有关于待提取图像的先验信息情况下,为引入判别条
23、件对噪声分类统计,设步长值为 1、尺寸为n n的滑窗对图像进行遍历,将窗口内所有噪点均值进行归一化处理,并将结果映射到对应的像素点。这里设滑窗中心点 P(x,y)的权重为 XP,对点P 的邻域构建均值矩阵 A,可得A(x,y)=ni=1nj=1P(i,j)n2ni=1nj=1P(i,j+1)n2ni=1nj=1P(i,j+n-1)n2ni=1nj=1P(i+1,j)n2ni=1nj=1P(i+1,j+1)n2ni=1nj=1P(i+1,j+n-1)n2ni=1nj=1P(i+n-1,j)n2ni=1nj=1P(i+n-1,j+1)n2ni=1nj=1P(i+n-1,j+n-1)n2(10)滑窗
24、的遍历过程与多维均值矩阵的计算如图 5所示。矩阵 A 内部的元素,表示为该点的邻域决策值,取值范围是(0,255)。将矩阵 A 中的所有元素按照与中心点 P 的欧式距离进行归一化加权统计,并将得到的统计值XP作为判定分辨率的局部能量和。此时滑窗内共有n n个点,设每个点对应的统计权值为 Xi(1 i n2),X-为 Xi的算数平均值。此时可求得均值矩阵内部的容限误差,并以此来讨论该噪点的形态。Pa、Pb、Pc、Pd分别对应邻域矩阵的 4 个顶点图 5 构建多维均值矩阵Fig.5 Construct multi-dimensional mean matrix03401科 学 技 术 与 工 程S
25、cience Technology and Engineering2023,23(24)投稿网址: =n2i=1|Xi-X-|n2+n2i=1(Xi-X-)2n2(11)当 XP 0.5-时,极值点必为噪点。此时提取平面内所有非极值点,若该点靠近前景区域,则权值下降在任一夹角成立。这里设 n 为判定权值的邻域半径,若沿某个方向的权值变化的累计结果为:下降次数大于上升次数,说明该点为边界点,取值为 0;否则判定为离散型噪声,取值为 255。权值下降如图 6 所示。U(P,1)为点 P 的,半径为 1 的邻域点集,Xq为邻域内一点的统计权值,Xj为点 P 在某一方向上的权值。当该点不满足边界判定条
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 多维 自适应 滤波 融合 聚焦 图像 算法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。