基于CBAM-Res-HybridSN的高光谱图像分类研究.pdf
《基于CBAM-Res-HybridSN的高光谱图像分类研究.pdf》由会员分享,可在线阅读,更多相关《基于CBAM-Res-HybridSN的高光谱图像分类研究.pdf(12页珍藏版)》请在咨信网上搜索。
1、第 44 卷 第 3 期航天返回与遥感 2023 年 6 月 SPACECRAFT RECOVERY&REMOTE SENSING 85 收稿日期:2022-08-09 基金项目:国家自然科学基金(U21A20108);河南省科技攻关项目(222102320306);河南理工大学基本科研业务费专项项目(自然科学类)(NSFRF220424);智慧中原地理信息技术河南省协同创新中心时空感知与智能处理自然资源部重点实验室联合基金(No.211102);智慧中原地理信息技术系统创新中心 PI 项目(2020C002)引用格式:杨志文,张合兵,都伟冰,等.基于 CBAM-Res-HybridSN 的高
2、光谱图像分类研究J.航天返回与遥感,2023,44(3):85-96.YANG Zhiwen,ZHANG Hebing,DU Weibing,et al.A Study of Small Sample Hyperspectral Image Classification Based on CBAM-Res-HybridSNJ.Spacecraft Recovery&Remote Sensing,2023,44(3):85-96.(in Chinese)基于 CBAM-Res-HybridSN 的高光谱图像 分类研究 杨志文 张合兵*都伟冰 潘怡莎(河南理工大学测绘与国土信息工程学院,焦作 45
3、4003)摘 要 为了充分利用高光谱图像的“空间-光谱”信息,提高小样本训练数据下的分类精度,文章提出了一种新型卷积注意力(Convolutional Block Attention Module,CBAM)残差单元的混合卷积神经网络(CBAM-Res-HybridSN),以解决高光谱图像小样本分类问题。该模型通过深度可分离卷积层和残差结构来构建深层混合卷积神经网络,在不增加计算机开销的同时,增强对“空间-光谱”鉴别性特征的提取能力;模型还引入了卷积注意力模块,既实现了突出重要特征,同时对冗余和噪声信息也进行了抑制,在小样本数据下提高了分类精度。为了验证方法的有效性,选择雄安新区(马蹄湾村)和
4、 DFC2018 Houston 两组公开高光谱数据集进行了对比试验,当选择标记样本的 5%作为训练样本时,分类总体精度分别为 99.34%和 96.14%。结果表明,所提方法在小样本数据下保证了更高的分类精度。关键词 高光谱图像 注意力机制 卷积神经网络 残差结构 小样本学习 遥感应用 中图分类号:TP79 文献标志码:A 文章编号:1009-8518(2023)03-0085-12 DOI:10.3969/j.issn.1009-8518.2023.03.010 A Study of Small Sample Hyperspectral Image Classification Based
5、 on CBAM-Res-HybridSN YANG Zhiwen ZHANG Hebing DU Weibing PAN Yisha(School of Survey and Mapping Land Information Engineering,Henan Polytechnic University,Jiaozuo 454003,China)Abstract In order to make full use of the spatial-spectral information of hyperspectral images and improve the classificatio
6、n accuracy under small-sample training data.In this paper,a new hybrid convolutional neural network(CBAM-Res-HybridSN)with residual units of Convolutional Block Attention Module(CBAM)is proposed to solve the problem of classifying small samples of hyperspectral images.The model constructs a deep hyb
7、rid convolutional neural network with deeply separable convolutional layers and residual structures to enhance the spatial-spectral discriminative feature extraction without increasing the computer overhead.The convolutional attention module is also introduced to highlight important features while s
8、uppressing redundant and noisy information,thus improving the classification accuracy under small sample data.To verify the 86 航 天 返 回 与 遥 感 2023 年第 44 卷 effectiveness of the method,two public hyperspectral datasets,Xiongan New Area(Matiwan Village)and DFC2018 Houston,were selected for comparison ex
9、periments,and the overall classification accuracy was 99.34%and 96.14%,respectively,when 5%of the labeled samples were selected as training samples.The results show that the proposed method ensures higher classification accuracy with small sample data.Keywords hyperspectral images;attention mechanis
10、m;convolutional neural network;residual structure;few-shot learning;application of remote sensing 0 引言 高光谱图像(即同时承载光谱特征和空间特征的连续遥感影像)蕴藏着地物大量的空间和光谱信息,被广泛的应用于农业遥感、环境监测、城市规划和军事探测等领域1。因高光谱图像拥有大量的光谱波段,可以利用其图像特点对空-谱特征2进行联合提取,实现此类图像的高精度分类。但是,高光谱图像具有丰富信息量的同时,也伴随着数据冗余和噪声干扰等问题3,甚至在训练样本数不足的情况下容易出现休斯(Hughes)现象4,导
11、致分类精度降低。因此,减少光谱数据间的冗余特征5和噪声干扰6-7,增强小样本情况下的特征提取能力,成为利用高光谱图像进行高精度遥感分类的首要任务。目前,基于机器学习的传统分类算法,如支持向量机(Support Vector Machine,SVM)8、随机森林(Random Forest,RF)9、K 最邻近算法(K-Nearest Neighbor,KNN)10等,在缺少深层特征信息提取的情况下,分类效果往往难以满足实际需求。近年来,以卷积神经网络为代表的深度学习算法的提出,为高光谱图像的分类工作提供了新的思路11-13,并取得了显著的研究成果,例如:文献14在深度神经网络(DNN)基础上,
12、利用不同尺寸的卷积核构成多尺度三维深度卷积神经网络(M3D-DCNN),通过端对端的方式联合学习空-谱特征,在大规模数据集上取得了较好的结果;文献15提出一种深度金字塔残差网络(pRes-Net),通过逐渐增加特征图维度的方式不断提取特征信息,验证了深层残差网络能够有效提升模型的泛化能力,但其大大的增加了计算机的开销;文献16提出端到端的光谱-空间残差网络(SSRN),从光谱和空间特征两种角度出发,设计了一种光谱和空间残差块对网络上下文学习区别特征,验证了从空间和光谱两个维度分别进行特征学习能够有效提高分类精度;文献17提出 2D-3D 混合卷积网络(HybridSN),首先通过三维卷积层融合
13、特征信息,之后再使用多层二维卷积层对获取的空-谱特征进行处理,验证了混合卷积网络在遥感影像上特征信息提取的潜力;文献18通过构建一种卷积注意力模块(CBAM),使网络可在两个独立维度上对有效特征信息进行处理,实现特征信息的自适应优化,同时验证了 CBAM 结构对神经网络分类精度提高的普适性;文献19通过构建 3D 卷积神经网络来提取高光谱图像特征信息,并在微调策略支持下融合特征信息完成分类任务。上述研究中的传统机器学习分类方法往往无法深度提取特征信息,导致分类精度不足,难以满足遥感分类任务的实际需求。同时卷积神经网络虽可以提高分类精度,但为了保证其高精度,需要大量的训练样本,忽略了小样本学习分
14、类问题的实际需求。因此,增强特征信息提取能力,提高小样本数据分类精度,成为深度学习网络亟待解决的问题20。针对小样本数据分类精度不高的问题,本文在混合卷积网络(HybridSN)模型启发下,提出了一种引入新型卷积注意力残差单元的混合卷积神经网络(CBAM-Res-HybridSN),在残差结构的思想上引入 CBAM 注意力模块,可增强地物鉴别性特征的提取能力;并使用深度可分离卷积层代替 2D 卷积层,减少网络参数量和计算量。该新型网络模型能够在小样本训练数据下,不增加计算机运算开销的同时,对上下文特征进行自适应连续学习,提高了对地物的区别能力,达到了更佳的分类效果。第 3 期 杨志文 等:基于
15、 CBAM-Res-HybridSN 的高光谱图像分类研究 87 1 研究方法与原理 1.1 深度可分离卷积 传统卷积神经网络由输入层、卷积层、池化层、激活函数和全连接层构成21,其卷积核尺寸过大和卷积层数加深都会导致模型参数量增多,增加计算量。Howard 等22在移动端设备上验证了深度可分离卷积神经网络的轻量化,深度可分离卷积23由深度卷积(Depthwise convolution)和 11 的逐点卷积(Pointwise convolution)两部分的组成(见图 1)。图 1 深度可分离卷积网络结构 Fig.1 Depthwise separable convolution netw
16、ork structure 由图 1 所示,当处理维度为 DfDfm 的特征图(其中 Df为输入特征图的高度和宽度,m 为数据输入通道数),数据的输出通道数为 n 时,设定卷积核尺寸为 DkDk(Dk为卷积核的宽度和高度),得到一个维度为 DfDfn 的特征图,若按照普通卷积模式进行运算,卷积网络的参数量 P1为 1ffkkPDDDDmn=(1)图 1 中,深度可分离卷积将普通卷积操作分解为m个卷积核尺寸为DkDk的深度卷积和n个 11 的逐点卷积。假设输入特征图的维度为DfDfm,经过深度卷积操作后得到DkDkm的特征图,再经过逐点卷积操作得到DfDfn的特征图,深度卷积的参数量P3和逐点卷
17、积参数量P4之和为深度可分离卷积的参数量P2,计算公式为 234ffkkkkPPPDDDDmDDmn=+=+(2)由式(1)(2),可以推出普通卷积操作和深度可分离卷积之间的参数量比值Q为 2ffkkkk1ffkkPDDDDmDDmnQPDDDDmn+=(3)可见,深度可分离卷积的计算量只有普通卷积的2f11()nD+,能够大大提升模型的计算效率,其分解过程极大减少了计算量和训练参数,实现了模型轻量化。1.2 CBAM 残差单元的混合卷积神经网络模型 本文提出的模型主要用于小样本数据下的高光谱图像分类,克服机器学习分类方法对特征信息挖掘深度不够和深层卷积神经网络在小样本数据下网络退化与过拟合等
18、问题。该模型首先通过三层不同尺寸卷积核的3D卷积层对影像特征信息进行多尺度融合提取,以不同尺寸感受野角度深层筛选特征信息,将获得的特征图进行尺寸变化,输入至CBAM注意力残差单元。残差结构以跳跃链接的形式将单元输入端与输出端进行叠加,然后进行激活,通过构造出特征信息之间恒等映射的方式来降低信息损失,解决网络退化问题,提高模型分类精度;CBAM注意力残差单元作用于每 88 航 天 返 回 与 遥 感 2023 年第 44 卷 个卷积层上,在卷积层进行特征提取时,注意力残差单元通过明确特征信息在通道和空间上的权重关系来自适应地校准各特征信息的重要性;最后,将得到的特征图输入至由深度可分离和平均池化
19、层构建的残差结构中进一步处理特征信息,再通过全连接层和激活函数处理,实现对高光谱图像的分类。其构成及工作流程如图2所示。图 2 本文卷积神经网络模型 Fig.2 Convolutional neural network model in this paper 1.2.1 CBAM注意力机制的残差单元 本文将CBAM注意力模块与深度可分离卷积在残差结构的思想上进行组合,构成基于CBAM注意力的新型残差单元,其主卷积网络由两层深度可分离卷积层和两个CBAM注意力模块构成,由一层深度可分离卷积和一个CBAM注意力模块构成支网络,通过一条残差链接与主网络首尾相连对特征进一步提取。具体结构如图3所示。图
20、 3 CBAM 注意力残差单元结构 Fig.3 CBAM attention residual unit structure diagram 1.2.2 残差结构 为解决深层网络中梯度消失、网络退化等问题,加入残差结构,实现跳跃连接,完成对特征信息的合并再处理,缓解网络的退化现象并加速网络收敛24。第 3 期 杨志文 等:基于 CBAM-Res-HybridSN 的高光谱图像分类研究 89 (a)普通卷积网络结构 (b)残差网络结构(a)The structure of ordinary convolutional networks (b)The stricture of residual n
21、etworks 图 4 普通卷积网络和残差网络结构示意 Fig.4 Schematic diagram of the structure of ordinary convolutional networks and residual networks 图4为普通卷积网络和残差网络的结构示意图,相较于普通卷积结构,残差结构加入残差函数F构成拟合函数H,即 (1)(1)(1)()()llllzH aaF a=+(4)式中 lz表示残差网络结构l层的单元输出,l=2,3,4,;(1)la为l1层的单元输入。对于深层卷积神经网络,通过训练得到(1)(1)()llH aa,等同于令残差函数(1)()0l
22、F a。当网络前向传播时,特征信息可以从任意底层直接传播至高层,由于其具有恒等映射关系,一定程度上可以解决网络退化;当网络反向传播时,错误信号可以不经过任何权重矩阵变换直接传播到低层,缓解梯度弥散问题。1.2.3 CBAM注意力机制 注意力机制被广泛应用于图像分类,以增强神经网络对输入特征某些局部信息的专注程度,运用机器学习的方式实现自适应校正特征信息权重值,以提取重要特征并抑制次要特征。为了充分利用空-谱特征,将空间和通道注意力相结合构成混合域注意力,其模块划分如图5所示。图 5 CBAM 注意力模块 Fig.5 CBAM attention module division 首先将特征图F输
23、入通道注意力模块,分别进入极大池化层和平均池化层得到每个通道的信息,将特征信息叠加处理得到通道注意力特征图Mc,计算公式为 cc,avgc,max(MLP()MLP()MFF=+(5)式中 为Sigmiod函数激活操作;MLP(Multilayer Perceptron)为共享神经网络层;Fc,avg和Fc,max表示通道注意力模块对特征图信息进行的平均池化和极大池化运算。将通道注意力模块输出的特征图Mc与最初特征图F拼接得到特定特征图FX,并输入到空间注意力模块,依次通过平均池化层和极大池化层,生成空间特征图Favg和Fmax,再通过11卷积层和激活函数,90 航 天 返 回 与 遥 感 2
24、023 年第 44 卷 得到空间注意力特征Ms;接着与特定特征图FX逐元素相乘,得到最终的特征图Fs,计算公式为 savgmaxX7 7s,avgs,max(Conv(Cat(,)(;)FFFFfFF=(6)式中 Cat表示连接处理函数;Conv表示卷积操作函数;表示逐元素乘运算;7 7f表示77卷积运算;Fs,avg和Fs,max分别表示空间注意力模块的平均池化和极大池化运算。2 试验结果与分析 2.1 试验数据 为了评估所提方法的有效性,截取雄安新区(马蹄湾村)航空高光谱遥感影像和DFC2018 Houston高光谱影像的部分区域进行试验。马蹄湾村数据集于2017年由张立福团队制作,使用高
25、分专项航空系统全谱段多模态成像光谱仪对雄安新区(马蹄湾村)进行拍摄成像;DFC2018 Houston数据集2018年由华盛顿Dr.Saurabh Prasad实验室制作公开,被用于IEEE GRSS数据融合竞赛。本文截取的数据集信息如表1所示,试验区位置如图6所示。表 1 截取数据集信息 Tab.1 Information table of intercepted dataset 项目 马蹄湾村数据集 DFC2018 Houston 数据集 影像大小/像元 610860 479582 光谱范围/m 0.401.00 0.401.00 波段数目 250 48 空间分辨率/m 0.5 1 地物类
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 CBAM Res HybridSN 光谱 图像 分类 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。