基于多尺度残差融合网络的高光谱图像融合算法_刘娴雅.pdf
《基于多尺度残差融合网络的高光谱图像融合算法_刘娴雅.pdf》由会员分享,可在线阅读,更多相关《基于多尺度残差融合网络的高光谱图像融合算法_刘娴雅.pdf(6页珍藏版)》请在咨信网上搜索。
1、总第345期1引言高光谱图像拥有丰富的光谱信息,有效地提高了探测、识别等任务的能力1。近年来,高光谱图像已广泛应用于工业、农业、环境以及军事领域25。然而,由于高光谱图像成像设备有限,成像环境复杂,使得高光谱图像空间分辨率很低,这严重限制了高光谱图像的发展6。因此,为了得到高分辨率高光谱图像(HR-HSI),一般将同一目标的低分辨率高光谱图像(LR-HSI)和高分辨率多光谱图像(HR-MSI)进行融合。当前的高光谱融合方法通常分为三种:基于全锐化的方法、基于分解的方法以及基于深度学习的方法。基于全锐化的方法通常是将同一目标的多光谱图像和全色图像加以融合获得的高分辨率多光谱图像7。近年来,人们将
2、全锐化技术推广到高收稿日期:2022年9月3日,修回日期:2022年10月10日基金项目:国家自然科学基金青年基金项目(编号:62201520)资助。作者简介:刘娴雅,女,硕士研究生,研究方向:高光谱图像处理。刘宾,男,博士,教授,研究方向:光电检测及图像处理、光场成像、嵌入式及动态测试。基于多尺度残差融合网络的高光谱图像融合算法刘娴雅刘宾(中北大学信息与通信工程学院太原030051)摘要针对高光谱图像空间分辨率低的问题,提出了一种基于多尺度残差融合网络的高光谱图像融合算法。该算法采用多尺度特征提取机制和多级尺度融合机制,将同一目标的低分辨率高光谱图像(LR-HSI)与高分辨率多光谱图像(HR
3、-MSI)融合,得到高分辨率高光谱图像(HR-HSI)。实验证明,论文所提出的方法在CAVE和Harvard这两个数据集上峰值信噪比分别达到了39.8504和42.9646,光谱角映射分别达到了0.0685和0.1585,比其他几种方法均有一定的提升。该算法避免了传统融合方法人为制定融合规则的缺点,在极大程度上降低光谱失真的同时提升高光谱图像的空间分辨率,具有很好的应用前景。关键词高光谱图像;卷积神经网络;图像融合;多尺度残差中图分类号TP391.4DOI:10.3969/j.issn.1672-9730.2023.03.011Hyperspectral Image Fusion Algori
4、thm Based onMulti-scale Residual Fusion NetworkLIU XianyaLIU Bin(School of Information and Communication Engineering,North University of China,Taiyuan030051)AbstractAiming at the problem of low spatial resolution of hyperspectral images,a hyperspectral image fusion algorithmbased on multi-scale resi
5、dual fusion network is proposed.The algorithm uses multi-scale feature extraction mechanism andmulti-scale fusion mechanism to fuse the low resolution hyperspectral image(LR-HSI)and high resolution multispectral image(HR-MSI)of the same target to obtain high resolution hyperspectral image(HR-HSI).Ex
6、periments show that the peak signal-to-noise ratio of the proposed method in CAVE and Harvard data sets reaches 39.8504 and 43.9646 respectively,and the spectral angle mapping reaches 0.0685 and 0.1585 respectively,which is better than other methods.This algorithm avoids the shortcomings of traditio
7、nal fusion methods that artificially formulate fusion rules,and greatly reduces spectral distortion while improving thespatial resolution of hyperspectral images.It has a good application prospect.Key Wordshyperspectral images,convolutional neural network,image fusion,multi-scale residualClass Numbe
8、rTP391.4舰 船 电 子 工 程Ship Electronic Engineering总第 345 期2023 年第 3 期Vol.43 No.344舰 船 电 子 工 程2023 年第 3 期光谱多光谱融合领域,但是由于全锐化涉及的光谱分辨率较低,因此全锐化的方法获得的融合图像会产生一定的光谱失真。基于分解的方法,这一类方法将融合问题视为反问题,通过利用解混模型和设计适当的先验信息来获得所需的融合结果 8。Yokoya等9采用非负矩阵分解法以耦合的方式对LR-HSI和HR-MSI图像进行解混。Dong10等利用高光谱图像空间光谱稀疏性的先验知识,将高分辨率高光谱图像的估计表示为高光谱字
9、典和稀疏码的联合估计。Xu11等通过耦合张量正则多元分解探讨了HSI和MSI之间的关系,提出了一种用于HSI-MSI融合的分解模型。基于分解的方法通常效果较好,但是融合质量和所使用的特定融合模型有着很大的关联,并且计算成本较高,实现也比较复杂。近年来,基于深度学习的高光谱图像融合方法相比与前两种融合方法展现出一定的优势。Palsson12等提出了3D-CNN网络模型,虽然该模型可以有效减少图像的光谱失真,但是极大地增加了网络参数的数量。Dian等13将深度卷积网络与基于分解的方法相结合,利用深度卷积网络所学习的先验信息来正则化融合问题。但是这种方法只能在一些光谱波段进行训练,在其余部分进行测试
10、,破坏了光谱的完整性。Zhou14等提出了一种金字塔全卷积网络以全局到局部的方式逐步重建HR-HSI,该融合方法有效地挖掘了 HR-MSI 的空间信息。虽然深度学习在高光谱图像融合领域得到了快速的发展,但仍然面临着一些困难和挑战,例如:特征提取不完整;深层次特征难以提取利用,将会影响融合的性能;没有考虑不同层次的特征融合,可能会导致融合结果信息丢失等问题。综上,本文提出了一种基于多尺度残差融合网络(Multiscale Residual Fusion Network,MRFN)的高光谱图像融合算法,来获得HR-HSI。相比于现有的高光谱图像融合方法,该网络能够有效提取高光谱图像的光谱信息和多光
11、谱图像空间信息,可以显著降低光谱失真,提高高光谱图像的空间分辨率。因此,该方法在实际应用中对提高高光谱图像的性能具有重要意义。2网络结构本文提出了一种基于多尺度残差融合网络的高光谱图像融合算法。该算法网络框架由特征提取模块、融合模块以及特征重建模块三个核心计算模块组成,具体结构如图1所示。首先,采用特征提取模块分别提取LR-HSI的光谱信息和HR-MSI的空间信息;然后将特征提取模块中获取的特征信息,视为融合模块的输入,由模型自发地去学习融合规则,逐级获得融合图像的全部特征信息;最后通过特征重建模块重建高分辨率高光谱图像。图1总体网络结构2.1特征提取模块特征提取模块由多尺度特征提取模块(Mu
12、ltiscale feature extraction block,MFB)和级联残差模块构 成,用 于 分 别 提 取 LR-HSI 的 光 谱 信 息 和HR-MSI空间信息。首先使用一个多尺度特征提取模块对输入图像进行不同尺度的浅层特征提取,有效地保证了特征图信息的完整性。然后通过级联残差模块提取输入图像的深层语义特征,获取更45总第345期多图像细节特征。其实现过程如下:HSk=fk-1res()fMFB()LR-HSI(1)MSk=fk-1res()fMFB()HR-MSI(2)式中:fMFB表示多尺度特征提取模块;fres表示残差模块;HSk、MSk分别表示高光谱图像和多光谱图像第
13、k层特征,本文中k=1,2,3,4。1)多尺度特征提取模块本文设计了一种多尺度特征提取模块,结合特征融合操作,同时采用4个不同大小的卷积核对输入图像进行特征提取,其结构如图2所示。该模块选择的卷积核大小依次是11,33,55,77,其中小卷积核提取图像中比较平滑区域,大卷积核提取图像的边缘轮廓信息,使用不同大小的卷积核能够获得图像更多的特征信息,从而提高了网络模型的特征提取能力。上述过程可以表示为|f11=w1fi+b1f33=w3fi+b3f55=w5fi+b5f77=w7fi+b7(3)fMFB=Concat()f11,f33,f55,f77(4)式中:fi为输入特征图;w表示卷积层的权重
14、;b为偏置项;Concat 为特征图通道拼接;f11,f33,f55,f77分别对应的是11,33,55,77卷积操作。图2多尺度特征提取模块2)级联残差模块为了提取HR-MSI和LR-HSI空间维以及光谱维更多的细节特征,本文采用3个级联的残差模块提取图像深层特征,基本结构如图3所示。每个残差模块通过跳跃连接的形式将单元的输入信息绕道传至输出,这种形式极大地提高了输入信息的完整性同时提高模型的训练速度。当网络模型层数增加时,网络性能下降的问题也可以得到解决。图3残差模块2.2融合模块融合模块是将LR-HSI的光谱信息和HR-MSI的空间信息逐级融合。通过特征拼接方式将获得的特征信息堆叠成新的
15、图像,并进行11卷积计算的结果。为了提升模型的融合能力,使用ReLU函数增加网络的非线性,防止过拟合。每一级融合都考虑了上一级融合的结果,因此可以看作是一种特殊的多级尺度融合方法。其实现过程如下:I0=Concat(HS0,MS0)(5)HSMS1=ReLU(f11(I0)(6)Ik=Concat()HSk,MSk,HSMSk(7)HSMSk+1=ReLU(f11(Ik)(8)式中:HS0为输入的LR-HSI,MS0为输入的HR-MSI;I表示拼接后的图像;HSMS为融合后的特征图。2.3特征重建模块特征重建模块由若干个卷积层组成。从融合模块所得到的特征图的通道数为256,因此要获取融合图像F
16、,就需要对特征图进行降维重建。考虑到较大的核大小和网络深度会削弱融合性能,增加计算复杂度,因此本文采用4个11的卷积层,依次为11256、11128、1164、111。同时,为了增加模型中各层次间的非线性联系,可以通过ReLU 函数提高模型的非线性。具体实现过程如下:F=f11|ReLU().()f11()ReLU()HSMS5(9)式中:表示11的卷积操作;F表示融合后的图像。2.4损失函数为了更好地训练MRFN网络模型,使得融合结果接近真实的高分辨率图像,本文采用融合图像F与参考图像R之间的均方误差作为网络的损失函数,使网络神经元权值不断更新。MSE损失函数定义如下:刘娴雅等:基于多尺度残
17、差融合网络的高光谱图像融合算法46舰 船 电 子 工 程2023 年第 3 期L=1ni=1n()F-R2(10)式中n为训练样本数。3实验及结果分析3.1数据集与网络配置本文使用CAVE15和Harvard16数据集来验证所提出方法的有效性。其中CAVE数据集是室内场景下的高光谱数据集,该数据集由三十张大小为512 512的高光谱图像构成,波段范围为400nm700nm,共三十一个高光谱波段。Harvard数据集是真实场景下的高光谱数据集,该数据集由五十张大小为1392 1040的高光谱图像构成,波段范围为 420nm720nm,共三十一个高光谱波段。取CAVE数据集中的前二十幅图片作为训练
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 尺度 融合 网络 光谱 图像 算法 娴雅
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。