智能化舰船要害检测、轨迹预测与位姿估计算法_李晨瑄.pdf
《智能化舰船要害检测、轨迹预测与位姿估计算法_李晨瑄.pdf》由会员分享,可在线阅读,更多相关《智能化舰船要害检测、轨迹预测与位姿估计算法_李晨瑄.pdf(13页珍藏版)》请在咨信网上搜索。
1、http:/DOI:10.13700/j.bh.1001-5965.2021.0253智能化舰船要害检测、轨迹预测与位姿估计算法李晨瑄,李湉雨*,李梓正,曾维贵,胥辉旗(海军航空大学岸防兵学院,烟台264001)摘要:准确检测与打击舰船要害部位可有效提升反舰导弹毁伤效能。针对舰船要害部位检测精度低、导引误差解算精度不足等问题,提出基于深度学习的舰船要害关键点检测、轨迹预测与导引头位姿估计算法。融合深层语义信息与浅层定位信息,采用 SoftPool 池化保留细粒度特征,提升多角度多尺度舰船要害部位检测精度;将关键点检测结果与舰船空间结构建立映射,解算导引头三维位姿;引入长短期记忆网络挖掘要害打击
2、点时空特征,实现多尺度舰船要害动态轨迹预测。实验结果表明:所提算法对舰船要害部位检测与轨迹预测精度高,导引头位姿估计结果较准确,满足自主突防视角反舰导弹对复杂海战场的态势感知需求。关键词:目标检测;关键点网络;SoftPool;长短期记忆网络;位姿估计;反舰导弹中图分类号:V243.5;TP751.1文献标志码:A文章编号:1005-5965(2023)02-0444-13舰船要害部位的精确打击能力是精确制导的关键技术之一。全方位的态势感知能力、高精度的目标检测能力,能够有效提升末制导段反舰导弹毁伤效能,具有重大研究意义。舰船姿态、命中点位置严重影响反舰导弹对敌舰毁伤概率。反舰导弹不断接近舰船
3、目标的过程中,舰船轮廓细节逐渐放大,基于角点检测1、特征匹配的目标检测方法易出现跟踪目标漂移,无法适应剧烈变化的舰船目标检测任务;不同的攻击进入角下,导引头探测所得舰船投影一致性差,基于局部特征提取的检测算法精度有待提升。由于卷积神经网络具有强大的特征提取能力,基于深度学习的目标检测技术一经提出,在辐射源识别、舰船目标检测2等领域得到广泛应用。文献 3 提出的舰船检测网络使用密集注意力特征聚合获取高分辨率特征图,通过密集连接与迭代融合提高网络泛化性能;文献 4 利用感兴趣区域改进 YOLO(youonlylookonce)网络,提取舰船候选特征,改善了高分辨率卫星图中的舰船识别精度。针对小尺度
4、密集舰船检测精度低等问题,文献 5 结合 YOLOv3-tiny网络与特征映射模块,增强了预测层获取重要特征的能力,取得了较高的检测精度;文献 6 提出了基于多层卷积特征融合的舰船检测网络,融合深层与浅层特征图,提升了多尺度船舶的检测效果。文献 1-6 中算法在不同任务场景下,均能较好实现舰船目标检测任务,但仍存在一定不足:仍将舰船作为整体目标识别船型,无法准确检测舰船要害部位,细粒度特征利用不充分;无法结合要害部位特征预测要害打击点轨迹,利用时空特征推断打击点运动趋势有利于提升毁伤概率;算法仅输出二维图像检测结果,无法结合舰船三维结构改善导引误差解算精度。基于关键点检测的人体姿态估计算法7通
5、过给定图像,确定人体行为与动作。人体姿态估计算法 DeepPose8引入卷积神经网络处理姿态估计问题,无需设计特征提取器,是深度学习用于人体姿态估计的里程碑;Tompson 等9结合图像模型预测关键点热力图,提升了关节定位鲁棒性;卷积姿态机10收稿日期:2021-05-14;录用日期:2021-06-25;网络出版时间:2021-07-0511:25网络出版地址: J.北京航空航天大学学报,2023,49(2):444-456.LI C X,LI T Y,LI Z Z,et al.Intelligent algorithm of warships vital parts detection,t
6、rajectory prediction and pose estimationJ.Journalof Beijing University of Aeronautics and Astronautics,2023,49(2):444-456(in Chinese).2023年2月北京航空航天大学学报February2023第49卷第2期JournalofBeijingUniversityofAeronauticsandAstronauticsVol.49No.2对网络特征层输出进行中继监督,改善了网络加深导致的梯度消失问题。将人体姿态关键点检测算法创新性运用到舰船要害部位检测任务中,利于提升
7、反舰导弹对舰船要害打击点的检测准确度。空间目标的位姿测量技术11是航空航天、自动化领域研究的重要课题。光纤陀螺仪价格昂贵,精度漂移误差大,利用计算机视觉解决位姿估计问题,测量精度高,成本低廉。空间三维结构比二维平面具备更精确的打击点导引信息。反舰导弹突防过程中,利用舰船要害时序运动信息实现打击点的轨迹拟合与预测,有利于弹载控制系统及时调整飞行姿态,进一步提升毁伤概率。准确估计导引头三维位姿,有助于导引误差的准确解算。综合分析精确制导反舰导弹作战需求,本文提出一种基于深度学习的舰船要害关键点检测、打击点轨迹预测与导引头位姿估计(shipkeypoints-longshorttermmemory,
8、SHKP-LSTM)算法。所提算法不依赖目标检测框,利用热力图直接回归关键点特征,引入了 SoftPool 池化获取细粒度特征图,改善多尺度多角度舰船要害部位的检测精度;结合舰船三维结构信息与 PnP(perspective-n-point)算法,估计导引头(相机)的三维位姿,利于当前命中点与任务打击点导引误差的精确解算;结合时空信息准确预测要害打击点的运动轨迹,能够进一步提升控制系统解算效率与反舰导弹的毁伤概率。实验结果表明,所提算法对舰船要害部位检测精度高,位姿估计较准确,要害打击点轨迹拟合与预测效果较好,利于反舰导弹对舰船要害精确打击任务的实现。1所提算法实现与优化将舰船要害部位定义为关
9、键点,直接检测关键点特征,不依赖整体舰船检测框,提升检测精度与实时性的同时,降低了算法超参数;根据关键点检测结果可推算舰船整体预测框,结合舰船三维结构解算导引头位姿,利用检测所得舰船要害关键点的时空序列特征,合理预测要害打击点运动轨迹,利于导弹飞行姿态的及时调整。精确解算当前命中点与任务打击点的导引误差,能够显著提升末制导段反舰导弹对敌舰毁伤概率。所提算法流程如图 1 所示。将导引头捕获的舰船视频数据输入 SHKP-LSTM 算法,检测得到关键点像素坐标及关键点可见性;反舰导弹接近舰船过程中,舰船要害关键点检测信息具有时序性,长短期记忆网络12(longshort-termmemory,LST
10、M)能较好地处理时序数据,可利用检测结果实现要害打击点的轨迹预测,预测精度较高;结合舰船坐标系下要害部位三维坐标,将检测的关键点像素坐标与三维坐标建立投影映射,通过 PnP 算法解算舰船坐标系下导引头三维位姿;最后,输出舰船要害关键点检测信息、预测轨迹及导引头三维位姿。将解算结果输入弹载计算机综控系统,有利于反舰导弹对舰船要害部位打击精度的提升。导引头视频采集要害点轨迹拟合与预测获取舰船坐标系关键点三维坐标参数模型PnP位姿解算输出关键点检测、预测轨迹与导引头位姿舰船要害关键点检测图1所提算法流程Fig.1Proposedalgorithmflowchart1.1所提算法框架不依赖预选框(An
11、chor-Free)的检测网络无需处理冗余锚框与非极大值抑制等,直接利用网络生成的热力图回归关键点特征。将基于 Anchor-Free网络的人体姿态估计算法用于舰船要害部位的关键点检测,直接分析特征参数定位与回归要害部位,检测精度与实时性较好。轻型反舰导弹突防过程中,视场内舰船要害部位具备多尺度成像特性,且不同角度的要害部位成像差异大。综合权衡检测精度与速度,本文提出一种融合深层语义信息与浅层定位信息的 Anchor-Free 舰船要害关键点检测、轨迹预测与导引头位姿估计 SHKP-LSTM 算法。所提算法结构如图 2 所示。I RWH3 RWHNY 0,1WRHRcJ RWRHRN2RNcW
12、、HSHKP-LSTM 算法利用卷积神经网络提取特征,将生成的关键点热力图输入检测结构,检测结构回归得到舰船要害关键点类别与位置;输入图像为,关键点信息为,经特征提取网络生成目标中心点热力图,关键点热力图,其中,为尺寸缩放比例,为检测关键点个数,为检测目标数,分别为图像的宽和高。如图 2 所示,所提算法将卷积处理后的特征热力图输入检测结构,关键点预测分支用于检测热力图目标中心与关键点中心,尺度预测分支用于检测舰船目标的宽与高,预测框基于目标中心点生成,关键点偏移量预测分支用于回归关键点中心的偏移量。通过成像分析与实验测试,选取CenterNet-DLA13作为主要特征提取网络。CenterNe
13、t-DLA 网络能够第2期李晨瑄,等:智能化舰船要害检测、轨迹预测与位姿估计算法445较好的融合深层语义信息与浅层定位信息,对投影一致性较差的舰船要害检测鲁棒性较好。针对图像特征剧烈变化导致检测精度较低的问题,利用SoftPool 改进最大值池化,获取具备更多特征信息的细粒度特征图,可提升舰船要害关键点检测精度。卷积神经网络挖掘要害关键点空间依赖关系,LSTM 分析动态轨迹数据的时序依赖关系。轨迹预测模块使用 LSTM 处理检测所得具有时序特征的要害关键点信息,挖掘其时间与空间运动趋势实现轨迹预测。结合 PnP 算法建立要害点二维检测结果与三维坐标的映射,解算导引头的三维位姿,获取更精确的导引
14、信息,利于弹上综控系统及时调整导弹飞行姿态,从而进一步提升精确制导导弹的毁伤概率。1.2SoftPool 池化aiwiaiwi池化操作可用于降低特征维度,缓解网络过拟合风险,使池化内核中有用信息得以保留。原CenterNet-DLA 网络利用最大值池化实现下采样,最大值池化保留池化内核中的局部最大值,部分舰船要害特征相似度较高,最大值池化易损失重要区分信息导致误检,检测剧烈变化的舰船图像同样需要高质量的细节特征。SoftPool14较好的结合 softmax 加权与指数函数特点,使池化内核中的重要属性分配到更大权重。在局部激活区域中,SoftPool 为每个激活因子分配了相应的权重,如式(1)
15、所示,非线性变换对池化内核中的所有激活因子实现了加权求和,由激活因子 与相应权重共同实现。?a=iRaiwi=iRaiexpaijRexpaj(1)iijj式中:为 SoftPool 处理的第 个激活区域;为激活区域相关领域内的第 个像素特征;exp 为底数为e 的指数。SoftPool 池化原理如图 3。在正向与反向传播期间,池化内核的激活梯度均得到更新。综合利用了池化内核中所有激活因子,仅增加了极少的内存,最大程度降低了特征损失,获取到高质量的细粒度特征图,能够提升舰船要害关键点检测精度。反向传播前向传播?a=wi ai=aiexpaiexpajiRiRjR图3SoftPool 原理Fig
16、.3PrincipleofSoftPool1.3损失函数与梯度累加依据 SHKP-LSTM 算法原理与舰船要害部位检测任务需求,定义损失函数。关键点预测损失。关键点对应的中心点唯一,目标背景易产生较多负检测点,改进的 FocalLoss损失函数可改善样本不均衡问题,关键点预测损失函数为Llocation=1Nxyc(1Yxyc)lg(Yxyc)Yxyc=1(1Yxyc)(Yxyc)lg(1Yxyc)Yxyc#1(2)和NYxycYxycxycxyc式中:为损失函数惩罚系数;为关键点个数;为真实标签值;为预测标签值。下标表示第个像素点,其归属为第 类目标。关键点偏移量预测损失。分析热力图中各关4
17、8164844444n倍下采样特征图n倍下采样聚合节点SoftPool改进后的卷积处理可变性卷积特征图特征提取网络上采样81632nn检测机构预测目标尺度预测关键点偏移量预测关键点中心要害关键点轨迹预测与PnP导引头三维位姿估计33 卷积11 卷积33 卷积11 卷积33 卷积11 卷积33 最大值池化图2SHKP-LSTM 算法结构Fig.2StructureofSHKP-LSTMalgorithm446北 京 航 空 航 天 大 学 学 报2023年键点特征,将检测特征图与关键点真实坐标建立映射,利用偏移量预测损失提升定位精度,关键点偏移量预测损失为Loff=1NlO?p(pR?p)(3)
18、llpRR?p(pR?p)O?p式中:为第 个关键点;为 倍下采样关键点坐标真值;为关键点预测坐标;为关键点真实坐标偏移量;为关键点预测坐标偏移量。舰船尺度预测损失。舰船包围框由关键点坐标生成。为提升算法训练效果,利用关键点预测损失与舰船尺度预测损失同时训练。舰船尺度预测损失为Lsize=1NlSlqsq(4)Slqsq式中:为利用特征热力图预测所得舰船要害部位的目标尺寸;为所得舰船要害部位的真实尺寸。各个预测损失函数分别与相应权重相乘,得到总体损失函数为Ldet=Lloc(keyp+bcent)+offLoff(keyp+bcent)+sizeLsize(5)Loff(keyp+bcent)
19、式中:Lloc为关键点中心预测损失函数;为关键点中心预测损失与关键点偏移量预测损失,均由要害关键点定位与舰船中心检测准确度计算。=2、=4off=0.1size=0.1检测数据对预测分支惩罚系数影响较小,设置关键点预测分支逻辑回归惩罚系数,关键点与目标中心点偏移损失权重,检测尺度损失权重。细粒度特征图可有效提升舰船要害关键点检测精度,GPU 显存及批训练量(batchsize)同样影响训练效果,较大的 batchsize 有助于算法收敛。计算多个损失函数要求计算机同时存储多个计算图,易导致训练过程硬件内存不足。梯度累加可使计算机在保留较少计算图的同时,实现多任务共同训练,有效扩充内存,促进算法
20、收敛。1.4基于 LSTM 的打击点预测先进制导环境感知系统要求能够预测打击目标运动轨迹,可为反舰导弹等精确制导进行路径规划与决策控制提供数据支撑。传统轨迹预测算法多基于运动模型,无法适应剧烈变化的战场态势,难以满足自主突防弹载感知的实际需求。LSTM对时序轨迹数据分析挖掘能力较强,在轨迹预测15与自动驾驶等领域应用广泛。LSTM 是具有反馈连接的循环神经网络(recurrentneuralnetwork,RNN),其特殊的网络结构极大改善了传统 RNN 的梯度消失和梯度爆炸等问题。LSTM结构如图 4 所示。当前时刻输入前一时刻输出前一时刻单元状态当前时刻输出当前时刻单元状态当前时刻单元状态
21、遗忘门输入门输出门tanhtanh(Gc)(Go)(Gi)(Gf)图4LSTM 元胞结构Fig.4StructureofLSTMcellLSTM 元胞门限与变量间的转换关系如下:ft=(GXfxt+Ghfht1+bf)it=(GXiXt+Ghiht1+bi)ot=(GXoXt+Ghoht1+bo)Yt=g(GhYht+GhYht+bY)mt=ftmt1+ittanh(GXcXt+Ghcht1+bc)ht=ottanh(mt)(6)xttht和mtttanhftitotGYtb式中:为 时刻元胞的输入;分别为 时刻元胞输出和元胞状态;为 sigmoid 激活函数;为 tanh激活函数;为遗忘门;
22、为输入门;为输出门;为各门限的权重矩阵;为门限输出;为偏置量。fttmtt1mt1itxtmtmt1ottmtht根据权重矩阵与偏置项,遗忘门 决定了 时刻中所包含时刻元胞状态的比例,同理,LSTM 通过输入门 控制 对的影响程度,状态更新由与当前状态共同确定;输出门控制 时刻元胞状态,确定输出 包含的状态比例,门限与反馈结构使得 LSTM 能够保存较长时序信息。LSTM结合关键点检测网络,可充分利用检测所得时序信息,实现要害打击点轨迹预测,极大扩展了传统舰船目标检测算法的功能。1.5基于 PnP 的导引头位姿估计单目视觉位姿测量算法原理简单、系统成本低、实时性好,广泛用于计算机视觉中的空间定
23、位任务。末制导段,舰船图像尺度、角度变化较大,灭点理论、逆透视变换等方法直接用于导引头位姿估计,测量误差较大。当位姿多角度变化时,PnP 算法具有较好的计算精度与解算速度,在已知相机内参的情况下,可利用多对三维与二维点的投影映射关系,求解导引头(相机)在相应坐标系下的位姿。EwrEcrUT控制点在舰船坐标系下坐标为,相机坐标系下坐标为,利用旋转矩阵、平移矩阵,建立控制点在舰船坐标系与相机坐标系下的映射关系为第2期李晨瑄,等:智能化舰船要害检测、轨迹预测与位姿估计算法447Ecr1=U TEwr1(7)U=u11u12u13u21u22u23u.31u32u33u11u21u31Txwu12u2
24、2u32Tu13u23u33Tywzw式中:旋转矩阵,为轴在相机坐标系中的方向向量,、分别为轴、轴在相机坐标系中的方向向量。Kr(r=1,2,)相机标定得到内参矩阵,控制点像素坐标为,则zer1=KEcr1(8)zeurvr1=fu0uc0fvvc001U Txwjywjzwj1(9)(urvr1)T(xwjywjzwj1)Tze式中:为控制点像素坐标;为控制点在舰船坐标系下的齐次坐标;为尺度因子,即相机坐标系中控制点的 z 轴坐标值。xyz依据式(10)计算导引头(相机)绕 x 轴、y 轴、z 轴的旋转角、:x=arctan(u32,u33)y=arctan(u31,u312+u332)z=
25、arctan(u21,u11)(10)n(n 4)nC4nPnP 算法至少需要 4 对控制点及像素点。当关键点检测网络输出可见关键点个数为时,为提升准确度,依据排列组合在 个舰船要害关键点中,依次选取 4 个点计算三维位姿,计算次取平均值作为位姿估计结果。2实验设置2.1实验数据与实验环境2.1.1舰船要害关键点检测数据末制导段,轻型反舰导弹多以低空掠海姿态飞行。执行对敌舰精确打击任务时,导引头视角以侧舷为主。文献 16 结合迁移学习17理论,论证了民船等相似舰船图像可作为正样本扩充数据集,辅助军舰等小样本数据的检测任务实现。由于实际战场环境采拍局限性较大,实验室利用高仿真度舰船模型实现海战场
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 智能化 舰船 要害 检测 轨迹 预测 估计 算法 李晨瑄
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。