多元特征提取与表征优化的遥感多尺度目标检测.pdf
《多元特征提取与表征优化的遥感多尺度目标检测.pdf》由会员分享,可在线阅读,更多相关《多元特征提取与表征优化的遥感多尺度目标检测.pdf(18页珍藏版)》请在咨信网上搜索。
1、第 31 卷 第 16 期2023 年 8 月Vol.31 No.16Aug.2023光学 精密工程 Optics and Precision Engineering多元特征提取与表征优化的遥感多尺度目标检测孟月波,王菲,刘光辉*,徐胜军(西安建筑科技大学 信息与控制工程学院,陕西 西安 710055)摘要:遥感目标具有较大的尺度差异性,针对其在复杂背景干扰下易导致细粒度级别多尺度特征提取困难、预测部分有效表征较弱的问题,本文基于无锚框思想,提出一种多元特征提取与表征优化的遥感多尺度目标检测方法(Multivariate Feature extraction and Characterizat
2、ion optimization,MFC)。在特征提取部分,设计多元特征提取模块(Multivariate Feature Extraction,MFE)挖掘细粒度级别的多尺度特征,通过分组操作及跨组连接的方式扩大感受野、增强多个特征尺度的组合效应,并联合上下文信息进一步加强对小目标的关注;采用深层聚合结构对深浅层特征进行充分融合,以获得更全面的特征表达。在预测部分,提出一种表征优化策略(Characterization Optimization Strategy,COS),利用椭圆型映射进行标签优化以适应具有较大纵横比的遥感目标,设计坐标像素注意力组合关注多尺度目标通道、位置及像素信息,减少
3、复杂背景干扰,使有效信息得以突出表征。在 DIOR,HRRSD,RSOD 数据集上进行消融及对比实验,实验结果表明:MFC 模型的 mAP分别达到了 70.9%,90.2%和 96.9%,优于大多现有方法,有效改善了误检、漏检问题,适应性和鲁棒性较强。关键词:遥感多尺度目标;无锚框;多元特征;表征优化;注意力中图分类号:TP751 文献标识码:A doi:10.37188/OPE.20233116.2465Remote sensing multi-scale object detection based on multivariate feature extraction and charac
4、terization optimizationMENG Yuebo,WANG Fei,LIU Guanghui*,XU Shengjun(College of Information and Control Engineering,Xi an University of Architecture and Technology,Xian 710055,China)*Corresponding author,E-mail:Abstract:Remote sensing objects have large scale differences.In order to solve the proble
5、ms that they are prone to lead to difficulties in fine granularity multi-scale feature extraction and weak prediction part of effective representation under complex background interference,a multi-scale remote sensing object detection method(MFC)for multivariate feature extraction and characterizati
6、on optimization based on the idea of anchor-free is proposed.In the feature extraction part,a multivariate feature extraction module(MFE)is designed to mine multi-scale features at the fine granularity level,expand the receptive field through grouping operation and cross group connection,enhance the
7、 combination effect of multiple feature scales,and further strengthen the focus on small objects by combining context information;The deep and shallow features are fully integrated by the deep layer aggregation structure to obtain a more comprehensive feature 文章编号 1004-924X(2023)16-2465-18收稿日期:2022-
8、11-10;修订日期:2022-11-28.基金项目:陕西省重点研发计划资助项目(No.2021SF-429);国家自然科学基金面上项目资助(No.52278125)第 31 卷光学 精密工程expression.In the prediction part,a characterization optimization strategy(COS)is proposed,which uses elliptical mapping to optimize tags to adapt to remote sensing targets with large aspect ratio.And a C
9、oordinate-Pixel attention is designed to focus on multi-scale object channels,positions and pixel information,reduce complex background interference,and make effective information prominent.Ablation and contrast experiments were conducted on DIOR,HRRSD and RSOD datasets.The experimental results show
10、ed that the mAP of MFC model reached 70.9%,90.2%and 96.9%respectively,which was superior to most existing methods.It effectively improved the problems of false detection and missing detection,and had strong adaptability and robustness.Key words:remote sensing of multi-scale targets;anchor-free;multi
11、variate feature;characterization optimization;attention1 引 言随着卫星、遥感及传感器技术的日益发展,遥感图像数据不断增长,涵盖的信息愈加丰富、地域跨度极大,包含的地物目标也更加复杂多样,目标类内及类间的尺度差异性也愈加显著,遥感目标检测迎来新阶段蓬勃发展的同时也面临着更加艰巨的挑战。遥感目标检测技术广泛应用于发展国防军事侦查、环境监测及城市规划等领域中,在对地观测系统中有着至关重要的研究意义与应用价值。在遥感领域,基于传统目标检测的方法在提取目标特征时,往往过分依赖大量先验知识来设计手工特征,过程繁琐、精度不佳且易受外界环境干扰导致鲁棒
12、性较差,难以适应复杂多样的遥感任务场景。近年来,基于深度学习的目标检测算法在精度和速度上均远优于传统方法,逐渐占据了主流位置,根据预测框生成方式可分为基于锚框的目标检测方法(Anchor-based)和无锚框(Anchor-free)的目标检测方法。基于锚框的方法依据分类回归的方式通常包含以精度占优的两阶段检测方法,如 Faster R-CNN1系列,Mask R-CNN2等,以及以速度著称的 单 阶 段 检 测 方 法,如 YOLO3系 列,Retina-Net4等。而遥感图像不同于自然图像,基于其目标尺度变化剧烈、尤其小目标较难检测且背景复杂多样等难点,不少研究学者据此提出了针对性的改进算
13、法。两阶段网络中,文献 5 和文献 6分别通过引入并行设计和多级融合结构来对应不同尺度目标进行检测,可提高一定精度但鲁棒性不强。文献 7 针对遥感目标尺寸变化大及类间相似性高的特点,通过通道注意力模块和跨尺度特征融合模块,增加更具判别性的多尺度特征表达改善检测效果,但适应性不强。文献 8 提出多尺度密集特征融合模型,通过含有不同尺度卷积核的多尺度特征融合残差模块提取不同尺度图像特征并融合,以丰富多尺度特征。两阶段方法检测精度较高,但普遍设计繁杂且伴随计算量的显著增加,仍以牺牲效率为代价提高检测效果。一阶段网络中,FFC-SSD9,FE-YOLO10可保证一定的计算速度,分别利用目标框分组聚类、
14、反池化高效多尺度特征融合模块和特征增强网络,聚合上下文信息获取丰富特征表达;关注多尺度目标中的小目标及复杂背景等难点进行优化的算法11-13有一定效果提升,但在改善误检、漏检问题上与两阶段算法仍存在一定的差距。上述基于锚框的检测方法虽各具优势,但往往较难实现检测精度与速度的平衡,同时涉及大量锚框及超参数等复杂计算,面对遥感复杂任务时往往受锚框数量、大小及宽高比等众多因素制约,参数设定也对最终检测性能十分敏感,导致网络效率和适应性普遍较低。无锚框思想由 CornerNet14首次提出后凭借灵活简洁的框架开启了目标检测新方向,自此涌现的一系列方法15-17也为遥感目标检测领域带来了新思路。在实际应
15、用时,网络难以全面提取到遥感场景下丰富多样的多尺度目标特征信息,缺乏对通道、位置等有效信息的突出表征,较难适应遥感复杂场景下的多尺度目标检测。无锚框的方法中,借助角点检测的 CornerNet 及其优化网络 CornerNet-Lite15摒弃了锚框设计,分别通过角点池化和引入注意力及紧凑骨干两种变体2466第 16 期孟月波,等:多元特征提取与表征优化的遥感多尺度目标检测组合等方式提高检测结果,但会存在角点归属问题且易受外界复杂环境影响,从而产生误检等问题。而通过极值点、角点去联合中心点的 ExtremeNet16和 CenterNet17针对角点检测的不足有着一定改善,不仅加强了对物体内部
16、信息关注也考虑一定全局信息的补充,但由于关键点分组检测及后处理等操作导致实时性不高,上下文信息间交互不足。基于全卷积的 FCOS18主要利用类似语义分割的思想,通过结合特征金字塔的方式获得多尺度特征图,但对预测部分需要的有效信息关注不足,在遥感任务中检测效果较弱。而文献 19 将目标中心点视为关键点,以回归的方式获取目标宽高等信息进行预测,更加灵活快速,但较为单一的感受野难以实现对不同尺度、纵横比等目标特征的全面捕获。文献 20 基于关键点检测可灵活应对复杂多样的遥感目标,但精度提升甚微,对尺度变化剧烈等目标检测效果并不突出。文献 21 和文献 22 在关键点检测的基础上,分别通过在编解码结构
17、中加入水平连接以解决多尺度问题,以及通过设计特征选择模块和动态增强检测头操作,实现对形状、尺度差异大的遥感目标的自适应调整从而优化检测效果,但在复杂背景干扰下,对位置等有效信息会造成不同程度的损失,影响检测结果准确输出,依然会产生不少漏检、误检等问题。上述无锚框的检测算法虽然摆脱了锚框诸多限制而更简洁灵活,但只关注部分局部信息且感受野不足,导致多尺度特征提取不全面、不充分,无法有效应对遥感目标巨大的尺度差异;预测阶段易受背景干扰导致有效表征不突出,影响检测结果。本文认为充足的感受野以及对全局信息的关注十分重要,加强多尺度特征提取能力、抑制背景对重要表征的干扰,可有效改善遥感多尺度目标检测效果。
18、鉴于此,本文基于无锚框思想,提出一种多元特征提取与表征优化的遥感多尺度目标检测方法(Multivariate Feature extraction and Characterization optimization,MFC)。在特征提取部分,通过设计多元特征提取模块(Multivariate Feature Extraction,MFE)深挖细粒度级别多尺度特征,增大感受野以适应多尺度目标,并联合上下文信息重点加强对小目标的关注,提取全面且丰富的多元特征;采用深层聚合23(Deep Layer Aggregation,DLA)结构实现深浅层空间、语义信息充分聚合,获得更全面的多尺度特征表达。在
19、预测部分,提出一种表征优化策略(Characterization Optimization Strategy,COS),利用椭圆型映射优化标签和坐标像素注意力(Coordinate-Pixel Attention,CPA)组合优化并加强有效信息的突出表征,有效降低复杂背景干扰的影响。实验结果表明,本文方法显著提高了在复杂遥感场景下对多尺度目标的检测效果。2 多元特征提取与表征优化的遥感多尺度目标检测模型 MFE2.1网络结构多元特征提取与表征优化的遥感多尺度目标检测 MFC网络结构如图 1所示,主要由特征提取网络以及预测网络两部分构成。在特征提取网络中,通过多元特征提取模块MFE(图 1 中简
20、化为 M)扩大感受野提高对多尺度目标特征的全面捕获,联系上下文着重关注小尺度目标,而使用 16 个 MFE 模块可随着网络的不断加深挖掘不同层次中的多尺度特征,获得含有丰富多元信息的高质量特征图。采用的深层聚合结构包括分层深度聚合(Hierarchiacl Deep Aggregation,HDA)以及迭代深度聚合(Iterative Deep Aggregation,IDA)两部分,分别从层级和分辨率不同侧重出发对获取到的多元特征进行全面且充分地融合。具体来说,由 H1,H2,H3,H4四个分层深度聚合 HDA(图 1 中简化为 H)在各个层级内对 MFE 模块提取到的多尺度特征信息进行初步
21、聚合并保留聚合结果;由I1,I2,I3 三个迭代深度聚合 IDA(图 1中简化为 I)从浅层低分辨率特征开始逐步与深层高分辨率特征进行跨越连接操作,实现跨尺度、跨层级的充分融合,得到全面且饱含多尺度特征信息的高质量特征图。预测网络中,提出的表征优化策略 COS 先对输入特征图进行标签优化,将圆形映射的标签优化为椭圆形映射,提高网络对纵横比较大遥感目标的适应能力;在关键点分类预测、偏置预测和目标宽高预测的三条分支中均加入设计的坐2467第 31 卷光学 精密工程标像素注意力 CPA,目的是增强有效信息表征能力,减少复杂背景干扰,组合优化后得到更准确、精细的遥感图像多尺度目标预测结果。2.2特征提
22、取网络对遥感多尺度目标而言,扩大感受野以适应不同尺度目标是获取其全面特征信息的关键,而通过挖掘不同层级和深度的多尺度特征,是获得含有丰富细节信息的多元特征的关键,对其进行充分融合可为预测网络送入高质量特征图,提高预测结果。2.2.1骨干网络 DLA-60通常,浅层特征包含更丰富的空间细节而缺少语义信息,深层特征包含更丰富的语义信息而缺少空间信息,对深浅层特征进行充分融合是提升检测效果的重要环节之一。一般将其直接融合的方式过于简单,忽视了部分重要特征在后续融合操作中的重要性,抑制了互为补充的浅层空间信息和深层语义信息的有效发挥,融合效果较差。深度聚合结构中的 HAD 和 IDA 可从层级和分辨率
23、等不同方向出发,实现对多尺度特征的充分 融 合,常 用 的 有 DLA-34,DLA-60,DLA-102等。通常,网络结构的适当加深更有利于像遥感多尺度目标检测等复杂任务的进行,但过深的网络亦会对训练及整体效率等方面造成额外且不必要的损失,在综合遥感检测任务需求以及考量各类成本及检测性能等因素后,本文采用 DLA-60 作为骨干网络提取初步特征同时保证多尺度特征信息的充分融合。2.2.2多元特征提取模块 MFE残差结构及其改进24在自然场景中表现较佳,可有效针对多尺度特征获取提升检测性能而被广泛使用,但面对遥感场景更加剧烈的尺度变化情况,对可显著提高检测效果的多样化特征的挖掘能力稍显不足。具
24、体来说,缺少对遥感大尺度目标全局信息的获取,易导致误检、漏检等问题,缺少对遥感小尺度目标的有效关注,会产生较大规模的漏检现象。考虑到网络单一感受野和不充分的特征提取带来的局限性,为使网络更好地检测到遥感大、小尺度目标,提取到更多有效的多尺度特征,本文在残差结构基础上设计了多元特征提取模块 MFE,如图 2 所示。MFE 模块通过对输入进行分组操作和跨组连接的方式扩大感受野以适应不同尺度的遥感目标,其中,跨组连接可加强多尺度特征的组合效应和多层次信息间紧密联系,组合增强网络对多尺度细节特征的提取能力;内嵌的上下文模块25(Context Module,CM)可捕获小目标更丰富的上下文信息,为占比
25、较小导致自身可利用特征不足的这类小目标,可以最图 1多元特征提取与表征优化的遥感多尺度目标检测 MFC网络结构Fig.1Network structure of multivariate feature extraction and characterization optimization2468第 16 期孟月波,等:多元特征提取与表征优化的遥感多尺度目标检测大程度地补充周围背景信息以辅助检测;最后将不同分组输出进行拼接融合后,结合通道注意力模块 SE24强化重要特征的通道信息,为预测部分提供较高质量特征图。2.2.2.1分组操作及跨组连接在 MFE 模块中,对输入X RW H C,其中W
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多元 特征 提取 表征 优化 遥感 尺度 目标 检测
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。