引入特征交互的红外与可见光图像自适应融合.pdf
《引入特征交互的红外与可见光图像自适应融合.pdf》由会员分享,可在线阅读,更多相关《引入特征交互的红外与可见光图像自适应融合.pdf(8页珍藏版)》请在咨信网上搜索。
1、第 卷 第 期 激 光 与 红 外 ,年 月 ,文章编号:()红外技术及应用引入特征交互的红外与可见光图像自适应融合陈从平,闫焕章,郁春明,江高勇,凌阳,戴国洪(常州大学机械与轨道交通学院,江苏 常州 ;常州大学材料科学与工程学院,江苏 常州 )摘要:在图像融合领域,现有的基于卷积神经网络()或 架构的方法存在两个局限性:首先,浅层纹理特征与深层语义特征之间无法有效聚合;其次,红外与可见光特征的权重比例无法自适应变化。本文提出一种引入特征交互的红外与可见光图像自适应融合方法。首先,构建一种基于 的特征交互模块,聚合跨尺度特征信息,增强特征表达能力。其次,设计一种融合模块,自适应地调整特征权重比
2、例。所提出的融合方法通过两阶段训练策略完成。第一个阶段,应用创新的特征交互概念训练编码器,增强特征表达,重建特征图像。第二个阶段,基于设计的权重自适应调整模块训练红外与可见光特征融合任务。公开数据集的实验结果表明,与现有方法相比,本方法在主观和客观的评价方面均优于其他典型方法。关键词:图像融合;特征交互;自适应融合;跨尺度中图分类号:;文献标识码:,(,):,():,;,:;基金项目:江苏省产业前瞻与关键核心技术 碳达峰碳中和科技创新专项资金项目()资助。作者简介:陈从平(),男,博士,教授,博士生导师,主要研究领域为机器视觉与机器学习。:通讯作者:闫焕章(),男,硕士研究生,主要研究领域为深
3、度学习与图像融合。:收稿日期:;修订日期:引言红外成像传感器与可见光成像传感器在自动驾驶 、无人机 和视频监测 等领域得到了广泛的应用,其中,红外成像传感器所捕获的图像目标具有极高的像素亮度,不易受光照、天气等环境因素的影响,但其缺乏纹理细节信息;而可见光成像传感器捕获的图像具有丰富的纹理细节,但易受夜间、雨天、雾天等能见度低的环境影响,若能将红外图像与可见光图像融合,可对这两种图像的特征信息互补,显著提高目标识别的准确性。传统的图像融合方法如金字塔变换 、小波变换 、轮廓波变换 、稀疏编码 及显著性融合方法 等,虽然取得了良好的融合性能,但存在以下问题:()泛化能力差,融合任务变化后,会导致
4、模型迁移的效果大幅下降;()高度依赖人的主观经验,无法构建通用的特征提取方法和融合策略,完全基于设计良好的手工特征;()计算复杂度高,受人工定义特征的影响较大。相对于传统的图像融合方法,深度学习在大数据驱动下的优势尤为显著,等 在编码器中使用密集连接,加强中间层特征之间信息交流以提高表征能力,但忽略了图像的多尺度特征,致使特征提取过程中存在信息冗余。等 使用不同的融合策略实现图像融合,网络结构简单。等 对双通道特征进一步学习,提取各不相同的特征,有效地在融合图像中保留了源图像显著特征,但融合策略简单,无法根据特征进行自适应融合。等 首次使用生成对抗网络实现图像融合任务,但视觉效果较差,缺少纹理
5、效果。等 使用 结构提取图像特征,但没有进行浅层纹理特征与深层语义特征之间的信息交互,造成融合结果中丢失纹理细节。为了解决上述问题,本文提出了一种引入特征交互的红外与可见光自适应融合网络,旨在将编码器提取的多尺度特征通过特征交互模块,进行跨特征层的长距离信息交流,加强特征表达能力。这种跨空间、跨尺度的特征交互模块基于 ,文中的特征交互模块主要分为两个部分,第一个部分是 模块,用于捕获特征图内的远距离依赖,建立全局依赖关系。第二部分是 模块,用于当前特征图与其他尺度特征图之间的特征交互,实现浅层纹理特征与深层语义特征信息的关联。此外,本文基于 中动态重组特征方法,提出了动态融合模块,借助通道之间
6、的特征关系去平衡红外特征与可见光特征,实现了红外特征与可见光特征融合权重的自适应调整。融合方法 网络总体结构引入特征交互的红外与可见光图像自适应融合方法的原理框架如图 所示,该网络是一个端到端的融合网络,在特征提取、特征交互、特征融合及特征重建过程中,共包括四个部分:编码器 、特征交互模块 、融合模块 和解码器 。其中编码器 提取源图像 的多尺度特征,通过特征交互模块 学习浅层纹理特征与深层语义特征之间的关系,增强各尺度特征的表达能力,自适应融合红外与可见光特征,最后将融合特征重建,输出与输入相同大小的图像。给定输入图像 (,和 分别表示输入图像的高、宽和通道数,代表红外图像,代表可见光图像)
7、,在训练阶段图像被调整为固定大小。图 网络总体架构 网络细节 编码器()如图所示,多尺度特征 由两个卷积核均为 的卷积块取得,其中第一个卷积操作的步长为,用于增加网络通道数,第二个步长为 ,用于筛除图像冗余的特征信息,经 次循环后,可提取源图像多尺度特征 ,。特征交互模块()特征交互模块以编码器 输出的多尺度激 光 与 红 外 陈从平等引入特征交互的红外与可见光图像自适应融合特征 作为输入,分别经过 ()模块和 ()模块,前者学习特征图 自身的长距离依赖关系,捕获全局特征信息(如图 ()中 模块),后者进行特征图 与其他尺度特征图 之间的信息交互(如图中的 模块),建立多尺度特征之间的关系(如
8、图()中每个尺度与其他三个尺度交互得到与当前尺度相同大小的交互特征)。图 特征交互模块架构 ():使用深度可分离卷积 对特征图 进行位置编码,用于适应不同尺度的特征图作为输入,同时还能保证像素特征转换成序列后仍然保留空间位置信息,然后选用一层 网络提取位置编码后的特征图 的全局特征。模块的网络结构如图 (),其中虚线框中的结构为 结构,数据在输入 ()之前和经过 之后均进行层归一化 操作调整数据分布,然后通过多层感知机 进行通道之间的信息交互,同时使用残差结构防止信息丢失。结构 在一个滑窗中计算局部关注度,与原 结构中 的输入不同,本文输入序列向量来特征图自于下采样和未下采样的两个尺度的特征,
9、通过式()计算矩阵、和,其中序列向量 由特征图 ,转换而来,序列向量 (为下采样倍数)由特征图 ,下采样后转换而来,以此计算特征图的全局特征序列,减少计算复杂度。最后将全局特征序列转换成与特征图 相同尺度的特征图 。该计算过程可表示为:,()(,)(,)()():将特征图 与其他尺度特征图 之间的空间、通道特征信息进行交互,充分利用特征的多尺度结构。通道信息交互模块 的网络架构如图 ()所示,使用全局平均池化操作提取浅层特征图 的空间信息,并通过 卷积对通道进行升维得到浅层特征的空间特征信息,以该特征对深层特征 在通道上进行加权调整,完成浅层特征图与深层特征图之间信息交互,同时将未通过信息交互
10、的浅层特征进行下采样,作为分支直接与信息交互后的特征相加,用于减少信息交互过程中因使用全局平均池化噪声造成的信息丢失,得到最终的通道信息交互特征 。图 特征交互子模块网络结构 空间信息交互模块 的网络架构如图()所示,使用与 ()中完全相同的 结构,仅将输入从原来的同一特征图与其下采样特图更换成不同特征图。通过对深层特征图 与浅层特征图 在空间上进行信息交互,得到空间信息交互特征 。该结构中 以浅层特征 与深层特征 的序列化向量作为输入,计算局部区域内的关注度,以此调整依赖关系为:(,)(,;)()(,)(,;)()最后,将 模块、模块及 的输出特征图进行通道合并,再经过卷积核为 的卷积操作进
11、行通道特征信息交互:(,)(,)()融合模块()针对红外与可见光特征在最终融合图像的权重占比,本文基于 动态调整权重的思想,设计了激 光 与 红 外 第 卷一种自适应调整红外与可见光特征权重的融合结构(如图 所示)。由于简单的红外特征与可见光特征逐像素相加也能得到不错的融合质量,故使用红外特征与可见光特征之和作为融合的引导特征,提取其通道特征,通过归一化后更新红外特征与可见光特征权重比例。图 融合网络结构 以红外特征 与可见光特征 之和作为引导特征:(,)()提取 在空间上的全局平均特征 以及全局最大池化特征 ,其中第 层特征按下式计算:(,)()()()最后,将红外特征分别与可见光特征的最大
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 引入 特征 交互 红外 可见光 图像 自适应 融合
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。