基于红外-反转红外图像的双分支无人机目标跟踪算法.pdf
《基于红外-反转红外图像的双分支无人机目标跟踪算法.pdf》由会员分享,可在线阅读,更多相关《基于红外-反转红外图像的双分支无人机目标跟踪算法.pdf(9页珍藏版)》请在咨信网上搜索。
1、收稿日期:2022-04-13修回日期:2022-08-16基金项目:国家自然科学基金面上项目(61972394);科技创新 2030“新一代人工智能”重大基金资助项目(2020AAA0105802)作者简介:李邵港(1997),男,湖南邵阳人,硕士研究生。研究方向:计算机视觉、目标跟踪。通信作者:王刚(1988),男,山东日照人,博士,副研究员。研究方向:类脑视觉感知。通信作者:李椋(1989),男,陕西西安人,博士,助理研究员。研究方向:类脑计算与复杂环境视觉目标感知算法。*摘要:热红外成像会随场景各个部分的温度变化产生灰度波动,小型无人机目标在建筑等大型背景中穿梭时易受干扰造成目标区域和
2、背景区域之间对比度反转,导致现有的跟踪方法失效。针对该问题,提出一种双分支目标跟踪框架,利用不同分支分别提取原始红外图像及反转红外图像特征,在搜索图像中分别对原始图像与反转图像中的目标模板进行匹配。此外,提出一种互相关特征融合方法,将两个分支的特征进行融合,增强目标区域特征以获得更精准的目标框回归。在 ICCV2021 Anti-UAV 数据集上进行实验,该算法基于边界框重叠率阈值(0.5)和中心点位置误差阈值(20 像素)的跟踪成功率和精确率分别为 78.39%和 80.07%,比基准算法分别提升 5.84%和 4.52%,高于TransT、SiamRPN+、SiamMask 等算法。结果表
3、明双分支能够有效提升红外目标跟踪的性能。关键词:红外目标跟踪;对比度反转;无人机;特征融合中图分类号:TP391.41文献标识码:ADOI:10.3969/j.issn.1002-0640.2023.06.004引用格式:李邵港,高晋,王刚,等.基于红外-反转红外图像的双分支无人机目标跟踪算法 J.火力与指挥控制,2023,48(6):19-27.基于红外-反转红外图像的双分支无人机目标跟踪算法*李邵港1,2,高晋3,王刚2*,王以政2,李椋2*(1.南华大学,湖南衡阳421001;2.军事医学研究院军事认知与脑科学研究所,北京100850;3.中国科学院自动化研究所,北京100190)Dua
4、l-branch Algorithm for Tracking UAVs with Infrared andInverted Infrared ImageLI Shaogang1,2,GAO Jin3,WANG Gang2*,WANG Yizheng2,LI Liang2*(1.University of South China,Hengyang 421001,China;2.Institute of Military Cognition and Brain Sciences,Academy of MilitaryMedical Sciences,Beijing 100850,China;3.
5、Institute of Automation,Chinese Academy of Sciences,Beijing 100190,China)Abstract:Thermal infrared imaging has the effect of gray-scale value fluctuation due to thetemperature changes of different parts in a scenario.The imaging for small UAV targets is easilydisturbed when they shuttle between diff
6、erent surrounding regions in the large background such asbuildings,resulting in target contrast inversion,the existing tracking methods are invalid.To tackle thisproblem,a dual-branch target tracking framework is proposed,which extracts the features of theoriginal infrared images and inverted infrar
7、ed images respectively with different branches,and matchesthe target templates in the original images and inverted images respectively during searching images.Inaddition,a cross-correlation feature fusion method is proposed,which fuses the features of the twobranches to enhance the features of the t
8、arget area so as to obtain more accurate bounding boxregression.The experiment is carried out on the ICCV2021 Anti-UAV dataset,it has achieved trackingsuccess rate of 78.39%and precision of 80.07%respectively when the algorithm is based on boundingbox overlap threshold of 0.5 and central point locat
9、ion error threshold(20 pixels),which are 5.84%and4.52%respectively higher than the benchmark algorithm and are also higher than that of otheralgorithms such as TransT,SiamRPN+,SiamMask and so on.The results have shown dual-branch can文章编号:1002-0640(2023)06-0019-09Vol.48,No.6Jun,2023火 力 与 指 挥 控 制Fire
10、Control&Command Control第 48 卷第 6 期2023 年 6 月*19(总第 48-)火 力 与 指 挥 控 制2023 年第 6 期0引言无人机行业的兴起为农业、交通、娱乐等领域带来巨大商业机会。然而,利用无人机进行扰航、走私、恐怖袭击等时有发生,对无人机的不当使用,也会对公共安全造成严重威胁。因此,对无人机目标进行监控具有重要意义。红外传感器是基于物体表面的热辐射成像,其穿透能力强,可避免灰尘、烟雾等遮挡,且对光照变化不敏感,可在完全黑暗的环境下使用,适合视频监控等需全天候工作的应用场景,采用红外探测手段对无人机目标进行检测与跟踪具有良好的应用前景。近年来,深度学习
11、在目标跟踪中得到了广泛应用。在线更新目标跟踪方法在跟踪过程中使用在线更新机制不断更新目标表观模型,适应目标及背景变化。ATOM 使用 IoUNet 目标检测算法中提出的目标框回归方法估计目标尺寸1-2。DiMP 使用模型优化器对目标的表观模型进行更新,并提出具有判别力的损失函数3。PrDiMP 则提出了概率回归模型并应用于 DiMP 模型4。KYS 通过维持一个目标邻近区域的状态向量将背景信息的建模到跟踪框架中,以提高跟踪的鲁棒性5。与 KYS 类似,KeepTrack指出仅依靠表观模型不足以区分目标和干扰物,需要对潜在目标保持跟踪6。多数 Siamese 系列跟踪算法离线训练分类和目标框回归
12、分支,在跟踪过程中不更新模板。Siamese 系列算法始于 SINT7。SiamFC将深度卷积网络作为通用相似性学习器8。Siam-RPN 引入了目标检测算法中的候选框机制9。Si-amRPN+设计了一种高效的深度可分离互相关操作10。SiamMask 提出了视觉目标跟踪和视觉目标分割的统一框架,通过像素级的分割预测结果获得更精准的目标框11。SiamBAN 利用全卷积网络预测搜索区域每一个点的而非锚框的信息12。最近,Transformer 在计算机视觉领域应用日益增多,DETR使用 Transformer 进行物体检测和分割13。ViT 使用Transformer 进行图像分类14。Tra
13、nsT 将 Transformer结构引入目标跟踪模型15。STARK 通过 Transfor-mer 学习鲁棒的时空联合表示并将目标跟踪建模成一个直接的边界框预测问题,提出一种全新的跟踪框架16。当红外图像中目标对比度反转时,目标外观发生变化,因此,本文选择在线更新方法进行改进以适应目标变化。多数跟踪算法都是针对可见光图像设计,由于红外图像与可见光图像的差别,使得这类算法直接应用在红外目标跟踪任务中效果不佳。自 2015 年的红外目标追踪挑战赛17(thermal infrared visualobject tracking challenge,VOT-TIR)以来,基于深度学习的高性能的红
14、外目标跟踪算法已经成为一个颇受关注的研究领域。文献 18 设计了一个针对红外无人机的跟踪框架,将局部跟踪器、摄像机运动估计、目标框优化、重检测以及表观模型更新集成到统一的框架中。文献 19 认为在红外图像中,由于被跟踪的目标外观是均匀的而导致全卷积神经网络的识别能力没有得到充分利用,因此,提出一种结合随机采样和聚类前景轮廓的两阶段采样方法,以及结合外观、可靠性和距离分数的多模型 FC-NN(multiple-model FCNN)目标跟踪算法。尽管现有算法针对红外图像作出改进,但其鲁棒性仍有待提升。由于红外图像根据物体热辐射成像,当无人机目标在不同温度的背景物之间穿梭时,受背景干扰,目标成像可
15、能发生对比度反转,这给红外目标跟踪带来困难。红外图像分辨率较低,图像中物体缺乏精细的纹理、颜色等特征。为增强红外图像特征,文献20 结合原始红外图像与其灰度反转图像,基于伪暗原色处理实现红外图像的对比度增强及细节突出。文献 21 针对红外图像纹理细节不足和对比度下降的问题,利用显著性特征图及反转红外图像的透视图对图像进行增强。可见结合原始红外图像及其灰度反转图像能增强图像特征,提升红外目标跟踪精度。SiamDAH(double adjust head siamese network)提出一种双分支孪生网络结构,使用不同的分支处理目标内部区域和轮廓处的特征提取22。观察到在图像分类任务中学习到的
16、语义特征和在相似性匹配 任务中 学 习 到 的 外 观 特 征 是 相 辅 相 成 的,SA-Siam 分别使用语义分支和外观分支提取不同的特征,并将两个分支的特征进行融合获得更高的跟踪性能23。此外,利用可见光与红外图像的互effectively improve the performance of infrared target tracking.Key words:infrared target tracking;contrast inversion;UAV;feature fusionCitation format:LI S G,GAO J,WANG G,et al.Dual-bran
17、ch algorithm for tracking UAVs with in-frared and inverted infrared image J.Fire Control&Command Control,2023,48(6):19-27.200974(总第 48-)补性提升算法的性能日益成为一个研究热点24。文献 25 使用双流卷积神经网络分别提取可见光和红外图像特征,并通过一个由两个独立的卷积层组成的融合网络去除无用特征,以实现更高准确度和效率。mfDiMP 基于 DiMP 提出一种双分支的目标跟踪模型,使用不同的分支分别提取可见光和红外图像特征并将其按通道拼接后用于预测目标状态26。
18、文献 27 提出一种红外-可见光双模态输入孪生网络跟踪方法,并提出一种模态权值自更新策略融合用于特征融合。综上所述,在算法中使用多个分支提取不同层次的特征或融合不同模态的特征能提高跟踪性能。因此,本文使用两个分支分别处理原始红外图像与反转红外图像以期获得更好的跟踪性能。根据上述分析,本文提出一种基于红外-反转红外图像的双分支无人机目标跟踪算法,使用两个骨干网络分支分别提取原始红外图像和反转红外图像两个模态的特征。同时,为适应无人机目标的变化,选取对目标表观模型进行在线更新的 Su-perDiMP1 目标跟踪模型作为基准进行改进,该模型组合 PrDiMP4的目标框回归分支和 DiMP3的分类分支
19、以达到更好的性能。在处理流程上,Su-perDiMP 先进行分类得到目标位置,再对目标框进行回归,本文算法使用两个分类分支对不同模态进行处理得到目标位置,并将两个模态的特征进行融合输入到目标框回归分支中预测目标框。本文的主要贡献如下:1)设计了双分支目标跟踪网络,两个分支分别提取原始红外图像和反转红外图像的特征,在后续跟踪时分别匹配两个分支的模板特征对目标进行定位,使跟踪器对红外目标的亮度变化更具鲁棒性。2)设计了一种高效的互相关特征融合模块,在目标框回归时,将原始红外图像与反转红外图像的特征进行融合,增强目标区域的特征,从而实现更准确的目标框回归。1方法本文提出的双分支红外目标跟踪器,其核心
20、思想为:1)双分支多层次特征提取:由特征提取网络分别对原始红外图像和反转红外图像两个模态进行多层特征提取(对应 ResNet5028的第 3 层和第 4层特征),分别用于目标初定位和目标框回归;2)双分类分支:第 3 层特征作为分类特征,两个模态的分类特征分别由两个分类分支处理进行初定位得到目标位置;3)基于互相关特征融合的目标框回归分支:基于 IoU(intersection over union)预测进行目标框回归,选取第 3 层和第 4 层特征作为 IoU 特征,两个模态特征经过互相关特征融合模块后输入目标框回归模块,最终由目标框回归分支根据融合后 IoU 特征得到目标框;4)同步初始化
21、,异步训练:双分支网络初始化时使用相同的预训练权重,在红外数据集上训练,进行微调。本文所提模型如图 1所示。1.1双分支分类模块为解决红外图像中小目标易受背景杂波干扰发生对比度反转现象造成跟踪失效的问题,将原始红外图像和反转红外图像作为模型输入,提取不同模态下的图像特征,增强模型对红外目标灰度特征的辨别力。双分支分类的流程框架如下页图 2 所示,由进行特征提取的两个孪生网络以及两个分类分支构成。提取原始红外图像和反转红外图像的特征,分别输入到分类分支,分类分支对目标和背景进行区分,从而确定目标在当前帧的定位。具体的,给定模板图像 Torg和搜索图像 Sorg,先将原始红外图像 Torg和 So
22、rg反转得到反转红外图像:图 1本文所提模型框架Fig.1Framework of the proposed model李邵港等:基于红外-反转红外图像的双分支无人机目标跟踪算法210975(总第 48-)火 力 与 指 挥 控 制2023 年第 6 期(1)使用 ResNet50 作为骨干网络,选择其 Block3的输出作为分类分支的输入特征,由孪生网络中的模板分支对 Torg和 Trev进行特征提取,搜索分支对Sorg和 Srev进行特征提取得到对应骨干网络特征,该骨干网络特征 Xorg3,Xrev3,Zorg3,Zrev3经过一个卷积模块得到分类特征,计算过程如下:(2)式中,鬃org表
23、示针对原始红外图像的卷积模块;鬃rev表示针对反转红外图像的卷积模块,两个孪生网络结构相同但不共享参数。模板特征经过一个表观模型在线更新模块 D(model predictor)后得到目标模板的表观模型 forg和frev,表观模型与搜索图像特征进行卷积得到得分响应图和:(3)分别找到和中的最大置信分得到当前帧中的目标位置,并结合之前帧的目标宽度与高度生成两个初始边界框,向两个初始边界框添加均匀随机噪声各生成 10 个候选框 Borg和 Borg以更好地避免目标框回归时的局部最大值。1.2特征融合及目标框回归模块对于在线更新的目标跟踪算法,需在跟踪过程中根据新的目标位置和尺度在当前帧中对目标进
24、行采样,用于更新目标的表观模型,因此,准确的目标框回归对模型更新至关重要。对于易受背景干扰的红外图像小目标,为使目标框回归更准确,于是将原始红外图像与反转红外图像的特征进行融合,获得更具判别力的特征,并使用融合后的特征输入到基于 IoU 预测的目标框回归模块。具体流程图如下页图 3 所示。原始红外图像和反转红外图像经过骨干网络ResNet50 进行特征提取,分别取其 Block3 和 Block4作为目标框回归分支的输入特征,提取模板图像和搜索图像的骨干网络特征得到 Xorg3,Xorg4,Zorg3,Zorg4,Xrev3,Xrev4,Zrev3,Zrev4。原始红外图像的模板图像特征与搜索
25、图像特征及候选框输入到一个基于调制的网络 M,提取各个候选框的 IoU 特征 Fiou_org,对反转红外图像做同样操作得到 Fiou_rev。(4)使用互相关融合模块 CF 将原始红外图像的IoU 特征 Fiou_org与反转红外图像的 IoU 特征 Fiou_rev融图 2双分支特征提取及分类模块Fig.2Dual-branch feature extraction and classification module220976(总第 48-)图 3特征融合及目标框回归模块Fig.3Feature fusion and bounding box regression module合得到 F
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 红外 反转 图像 分支 无人机 目标 跟踪 算法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。