红外与可见光图像融合研究.pdf
《红外与可见光图像融合研究.pdf》由会员分享,可在线阅读,更多相关《红外与可见光图像融合研究.pdf(7页珍藏版)》请在咨信网上搜索。
1、Computer Science and Application 计算机科学与应用计算机科学与应用,2023,13(8),1569-1575 Published Online August 2023 in Hans.https:/www.hanspub.org/journal/csa https:/doi.org/10.12677/csa.2023.138155 文章引用文章引用:毛义坪,马小艳.红外与可见光图像融合研究J.计算机科学与应用,2023,13(8):1569-1575.DOI:10.12677/csa.2023.138155 红外与可见光图像融合研究红外与可见光图像融合研究 毛义
2、毛义坪坪,马小艳马小艳 重庆对外经贸学院数学与计算机学院,重庆 收稿日期:2023年7月10日;录用日期:2023年8月10日;发布日期:2023年8月17日 摘摘 要要 红外与可见光图像融合是指将同一场景下的相机获取的图像与红外传感器获得的图像融合为一张图像。红外与可见光图像融合是指将同一场景下的相机获取的图像与红外传感器获得的图像融合为一张图像。融合图像具备源图像的重要信息,尽量无冗余信息。融合图像在广泛应用在计算机视觉、农业、遥感、融合图像具备源图像的重要信息,尽量无冗余信息。融合图像在广泛应用在计算机视觉、农业、遥感、医学等领域。本文主要对其研究进展做整理,使感兴趣学者快速掌握红外与可
3、见光图像融合研究脉络。医学等领域。本文主要对其研究进展做整理,使感兴趣学者快速掌握红外与可见光图像融合研究脉络。首先将研究算法主要分为:多尺度变换、稀疏表示、神经网络以及其他方法等几大类。接着对每类进行首先将研究算法主要分为:多尺度变换、稀疏表示、神经网络以及其他方法等几大类。接着对每类进行详细探讨,然后对目前主流算法做一些优劣评价与总结。最后对本研究领域未来值得突破点进行展望。详细探讨,然后对目前主流算法做一些优劣评价与总结。最后对本研究领域未来值得突破点进行展望。关键词关键词 图像融合,红外图像,可见光图像图像融合,红外图像,可见光图像 Research on Infrared and V
4、isible Image Fusion Yiping Mao,Xiaoyan Ma School of Mathematics and Computer Science,Chongqing College of International Business and Economics,Chongqing Received:Jul.10th,2023;accepted:Aug.10th,2023;published:Aug.17th,2023 Abstract Visible and infrared image fusion refers to the fusion of images obt
5、ained by cameras and infrared sensors in the same scene into one image.The fused image has important information from the source image,and there should be as little redundant information as possible.Fusion images are widely used in many fields such as medical,computer vision,agriculture,and remote s
6、ensing.This article mainly summarizes the research progress of visible and infrared image fusion,enabling interested scholars to quickly grasp the research context.Firstly,the algorithms are mainly di-vided into several categories:multi-scale transformation,sparse representation,neural networks,毛义坪,
7、马小艳 DOI:10.12677/csa.2023.138155 1570 计算机科学与应用 and other methods.Secondly,a detailed discussion will be conducted on each category,followed by some evaluation and summary of the current mainstream algorithms.Finally,prospects for fu-ture breakthroughs in this research field.Keywords Image Fusion,Inf
8、rared Images,Visible Image Copyright 2023 by author(s)and Hans Publishers Inc.This work is licensed under the Creative Commons Attribution International License(CC BY 4.0).http:/creativecommons.org/licenses/by/4.0/1.引言引言 随着科技不断发展,传感器技术不断进步。可获得大量不同种类的信息与数据。同一类型的传感器只能从一个方面获取信息,不能提供下游计算需要的所有信息。因此,在现代应用
9、技术中,将多传感器信息融合为一体发挥着越来越重要的作用。信息融合技术是将不同传感器获得的信息融合为一体的技术。融合后的信息具有多个源信息的互补特征。可见光图像一般由普通相机获取,和人类视觉几乎一致。获得的信息是具有高清细节、高分辨率的图像。但在下雨、夜晚、雾霾等情况下获得的图像几乎不能使用。红外图像是指红外传感器捕获信息源发出的热辐射能而形成的图像。其特点通常是分辨率低、细节纹理较模糊等。但不会受到来自恶劣天气、普通遮挡的影响。由于可见光和红外图像优缺点具有互补性,互相结合后具有更大的利用价值。于是可见光和红外图像融合技术顺应而生。可见光与红外图像融合是指将可见光图像与红外图像融合为一张图像,
10、融合后的图像具有两种类型图像互补信息,表达力更加丰富。融合后的信息广泛应用于计算机视觉领域1,如:目标监控、目标跟踪、目标识别。农业领域,如水果采摘、水果质量评估、农作物特征检测。医学领域、遥感领域等2。融合算法始于上个世纪,距今已有几十年的历史。根据研究者提出的融合算法架构,大致可分为多尺度分解法、稀疏表示法、神经网络法、其他混合法等。接下来章节分别对其种类进行概述,最后一小节对可见光与红外图像融合算法进行总结与展望。2.多尺度分解法多尺度分解法 本多尺度分解法是深度学习算法提出之前最火的方法之一。其主要思想是首先将源图像分解为若干层,然后利用相应的融合规则对每一层进行融合,最后对每层融合后
11、的图像进行逆变换,最终的得到融合图像。根据其融合框架可得知,分解算法与融合规则决定最终融合质量。2.1.金字塔分解金字塔分解 最早基于多尺度分解的可见光和红外图像融合算法是基于金字塔分解法。文献3产生拉普拉斯金字塔的多尺度变换包括四个步骤:低通滤波、子采样、插值和差分,所有这些都是在不同的尺度上完成的。图像的融合是通过组合源图像生成的两个拉普拉斯金字塔的差图像,然后应用逆变换得到最终融合图像。还有学者对传统金字塔进行改进,提出可操纵金字塔,具有多尺度、多方向和自反转的图像分解优点。Open AccessOpen Access毛义坪,马小艳 DOI:10.12677/csa.2023.13815
12、5 1571 计算机科学与应用 活动水平测量和权重分配是图像融合的两个关键部分。Li 4提出了一种新的基于主成分分析网络(PCANet)和图像金字塔的红外和可见光融合方法。首先,使用轻量级的学习网络 PCANet 来获得源图像的活动水平测量和权重分配。然后,通过图像金字塔将权重和源图像分解为多个尺度,并在每个尺度上应用加权平均融合规则。最后,通过重构得到融合后的图像。2.2.小波变换小波变换 第二种是基于离散小波变换法。文献5通过离散小波变换获得源图像的稀疏系数。然后通过改进的熵加权融合规则和基于绝对值最大的融合规则对红外和可见光图像的低系数和高系数进行融合。在使用随机高斯矩阵的局部线性投影之
13、后,通过压缩采样匹配追踪算法重建融合图像。取得了不错的融合效果。普通离散小波本身具有其局限性,如不具有平移不变性、提取多方向信息不丰富等缺点。为了克服这些缺点,学者们提出双树小波小波、四元数小波、提升平稳小波等,有效的克服普通小波的缺点。还有其小波算法的变种,如 Chen 提出了一种基于深度小波密集网络(WT DenseNet)6的红外和可见光图像融合方法。WT DenseNet 包括三个网络层,即混合特征提取层、融合层和图像重建层。最后,通过图像重建层输出融合图像。2.3.多尺度几何分析多尺度几何分析 第三种多尺度分解法是多尺度几何分析(MGA)法。其方法主要思想来源也是克服小波表示图像的缺
14、点。比如小波在二维空间中捕获方向信息的能力有限。大多数小波变换都无法从信号稀疏性的角度得到图像的最优表示等。多尺度几何分析法应用到可见光和红外图像融合中最初是轮廓波法。Shen 提出了一种基于非下采样轮廓波变换(NSCT)和改进的双边滤波器的红外和可见光图像融合算法7,该算法利用 NSCT 将图像分解为低频分量和高频分量。采用改进的双边滤波方法对两幅图像的高频分量进行处理,对图像的噪声进行滤波,计算红外图像高频分量的图像细节。对于低频系数的融合规则,采用了局部标准方差系数法。最后,根据 NSCT 的逆变换,得到融合图像。多尺度几何分析除了轮廓波还有曲波变换法、剪切波法等等。3.稀疏表示法稀疏表
15、示法 由于多尺度分解法的融合规则几乎都是高频系数取绝对值最大,低频系数取平均。在一定程度上会造成融合结果模糊。于是学者将稀疏表示理论引入图像融合领域中。稀疏表示的理论指任何一组信号都可以基于一个过完备字典去线性表示。即使用尽量少的字典中原子线性的去描述一组信号称为稀疏表示。基于稀疏表示8的可见光和红外图像融合算法基本步骤主要有四步。首先,使用滑动窗口策略将每个源图像分解为步长为 1 的重叠的小块。第二,学习过完备字典,过完备字典一般有离线学习和在线学习两种学习方式。并对每个块进行稀疏编码,利用学习到的过完备字典获取稀疏表示系数。第三,对稀疏表示系数进行融合。最后,利用过完备字典与融合后的系数重
16、构出最终图像。过完备字典、稀疏编码、融合规则是融合质量的关键。3.1.离线字典学习离线字典学习 过完备字典一般有离线学习和在线学习两种学习方式。离线学习字典主要是采用固定基构造或通过自然图像训练得到。文献9采用了三种离线字典方式进行可见光和红外图像融合。第一种对不同频率的余弦波进行采样,构造过完备离散余弦变换(DCT)字典。第二种是混合字典,它由 DCT 基、小波“db1”基、Gabor 基和脊波基组成。第三种是使用迭代 K-SVD 算法从自然样本中获得训练字典。训练数据从 50毛义坪,马小艳 DOI:10.12677/csa.2023.138155 1572 计算机科学与应用 幅自然图像的数
17、据库中随机挑选,然后分割成 50,000 个 8 8 个图像块进行训练。3.2.在线字典学习在线字典学习 过完备字典在线学习法是指采用融合前的源图像进行学习构造字典。文献10提出了一种基于联合块聚类的高效字典学习方法。根据结构相似性,聚集来自不同传感器模态源图像的所有块,并且只选择几个有效描述每个联合块的主要部分,以形成过完备的字典。构造信息丰富且紧凑字典是研究目标。为了在字典构建中获得足够的稀疏表示信息,文献11提出一种新的几何字典构建方法。首先基于形态学相似性将源图像中的图像块分类为不同的组。然后根据随机坐标编码提取相应的图像块信息,最后构建成字典。对于使用稀疏表示的图像融合方法,自适应字
18、典和融合规则对多模态图像融合有很大影响,最大 L1范数融合规则可能会造成融合结果的灰色不一致的现象。为了解决这个问题,Wang 根据联合补丁聚类的自适应字典与稀疏表示相关理论,提出了一种改进的图像融合方法12。首先,使用高斯滤波器来分离高频和低频信息。第二,采用局部能量加权策略来完成低频融合。第三,使用联合补丁聚类算法重建过完备自适应学习字典。根据设计混合融合规则,融合高频部分。最后,通过将频域转换为空间域获得融合结果。4.神经网络法神经网络法 近年来,深度学习算法受到学者们青睐。正是由于神经网络通常由许多神经元组成,可以模仿人脑的感知行为机制。神经网络还具备强大的特征提取和重构能力。深度学习
19、的发展也促进了图像融合的巨大进步,使得可见光和红外图像融合很有前景13。基于神经网络的可见光和红外图像融合算法一般分为基于预训练网络法、基于自编码法、基于端对端网络法 3 类。4.1.基于预训练网络法基于预训练网络法 基于预训练网络法主要思想是将提前训练好的神经网络引入到可见光和红外图像融合。算法框架是首先利用通过固定网络获取图像深度特征,然后采用合适策略进行特征融合。最后用恰当方法来重建融合图像。如文献 Xu 14提出将解耦表示应用于可见光和红外图像融合。首先根据不同源图像中的信息源进行分解表示。然后应用不同的策略来融合这些不同类型的表示。最后将融合的表示输入到预训练的生成器中,以生成融合结
20、果。4.2.基于自编码网络法基于自编码网络法 自编码网络可见光与红外图像融合算法一般由编码器、融合层和解码器三部分组成。其中编码器从源图像中提取充分的深度特征,融合层根据相应融合策略用来融合深层特征。解码器根据编码的特征自适应地重建原始数据。通过解码器网络对融合后的图像进行重构。文献15的编码器包含 C1 与密集块(DenseBlock)两个部分。第一部分 C1 包含 3 3 的滤波器来提取粗略特征,第二部分 DenseBlock 包含三个卷积层(每个层的输出为下一层的输入),其中滤波器大小也是 3 3。融合层选择了加法策略和 L1 范数策略两种融合策略来组合编码器获得的显著特征图。融合层的输
21、出将作为解码器的输入。解码器包含四个卷积层,每层也是 3 3 大小的滤波器。此方法取得了不错的融合效果。但此方法在深层特征方向上比较冗余。Ren 16提出了一种自编码网络法并命名为基于变分自动编码器法(VAE),该所提出的网络分为图像融合网络和红外特征补偿网络。首先,在图像融合网络中,创建图像融合网络的编码器,从源图像中生毛义坪,马小艳 DOI:10.12677/csa.2023.138155 1573 计算机科学与应用 成隐藏层中的潜在向量。然后根据高斯概率密度的乘积,把两个不同的潜在向量合并为一个。随着损失函数值的下降,解码器开始重建融合图像。为了提高了网络训练的效率,在网络中加入了残差块
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 红外 可见光 图像 融合 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。