基于高分辨网络的空间目标位姿估计方法.pdf
《基于高分辨网络的空间目标位姿估计方法.pdf》由会员分享,可在线阅读,更多相关《基于高分辨网络的空间目标位姿估计方法.pdf(7页珍藏版)》请在咨信网上搜索。
1、2 0 2 3年 第3 7卷 第4期测 试 技 术 学 报V o l.3 7 N o.4 2 0 2 3(总第1 6 0期)J O U R N A L O F T E S T A N D M E A S U R E M E N T T E C H N O L O G Y(S u m N o.1 6 0)文章编号:1 6 7 1-7 4 4 9(2 0 2 3)0 4-0 3 5 6-0 6 基于高分辨网络的空间目标位姿估计方法窦凯云,樊永生(中北大学 大数据学院,山西 太原 0 3 0 0 5 1)摘 要:针对空间目标位姿估计中空间目标所占像素较小、图像中存在遮挡部分和姿态旋转预测对图像分辨率
2、敏感的特点,提出在高分辨网络H R N e t的基础上结合空洞卷积H D C模块,减少了下采样对图像分辨率带来的损失。同时,结合空洞卷积用于H R N e t输出阶段的各分支融合,扩大了感受野,提高了空间目标位姿估计的精准度,在简单背景和复杂背景图像中均表现良好。最后,在U R S O空间目标图像数据集上进行了对比实验和消融实验,并给出了位置和姿态的可视化预测结果。关键词:位姿估计;高分辨网络;空洞卷积;空间目标;图像处理中图分类号:T P 3 9 1.4 1 文献标识码:A d o i:1 0.3 9 6 9/j.i s s n.1 6 7 1-7 4 4 9.2 0 2 3.0 4.0 1
3、 3P o s t E s t i m a t i o n A l g o r i t h m o f S p a t i a l B a s e d o n H i g h R e s o l u t i o n N e t w o r kD OU K a i y u n,F A N Y o n g s h e n g(S c h o o l o f D a t a S c i e n c e a n d T e c h n o l o g y,N o r t h U n i v e r s i t y o f C h i n a,T a i y u a n 0 3 0 0 5 1,C h
4、i n a)A b s t r a c t:I n s p a t i a l t a r g e t p o s e e s t i m a t i o n,t h e s m a l l p i x e l s i z e o f s p a t i a l t a r g e t s a n d t h e p r e s e n c e o f o c c l u d e d p a r t s i n i m a g e s,b u t t h e p o s e r o t a t i o n p r e d i c t i o n a r e s e n s i t i v e
5、t o t h e i m a g e r e s o l u t i o n.T o r e-d u c e t h e l o s s o f i m a g e r e s o l u t i o n c a u s e d b y d o w n s a m p l i n g,w e p r o p o s e a m e t h o d t h a t c o m b i n e s t h e H D C m o d e l w i t h d i l a t e d c o n v o l u t i o n s b a s e d o n HR N e t.F u r t h
6、 e r m o r e,w e e m p l o y d i l a t e d c o n v o l u t i o n s t o f u s e t h e o u t p u t s o f e a c h b r a n c h i n t h e HR N e t o u t p u t s t a g e,t h e r e b y e x p a n d i n g t h e r e c e p t i o n f i e l d a n d i m p r o-v i n g t h e a c c u r a c y o f s p a t i a l t a r
7、g e t p o s e e s t i m a t i o n.O u r a p p r o a c h p e r f o r m s w e l l f o r b o t h s i m p l e a n d c o m p l e x b a c k g r o u n d i m a g e s.T o v e r i f y t h e p e r f o r m a n c e o f o u r m e t h o d,w e c o n d u c t c o n t r a s t a n d a b l a-t i o n e x p e r i m e n t
8、s o n t h e U R S O s p a t i a l t a r g e t i m a g e d a t a s e t a n d p r o v i d e v i s u a l i z a t i o n o f l o c a t i o n a n d o r i-e n t a t i o n r e s u l t s.K e y w o r d s:p o s t e s t i m a t i o n;h i g h r e s o l u t i o n n e t w o r k;d i l a t e d c o n v o l u t i o n;
9、s p a c e t a r g e t;i m a g e p r o c e s s-i n g0 引 言太空中广泛存在的非合作目标和已失效卫星等航天器无法提供其姿态信息,而单目相机由于相对简单,广泛应用于新型的小型航天器中。随着机器视觉技术的发展,从单目图像中获取空间目标的位置和姿态信息成为了可能。采用卷积神经网络直接预测位姿信息,或预测中间信息进而计算得到位姿信息成为主流方法1。P V N e t2通过学习向量场表示预测图像中物体的关键点,提出不确定性驱动的P n P求解6 D位姿。B B 83输出物体在三维场景中边界顶点在二维图像中的投影坐标点后,建立2 D-3 D映射关系,通过P
10、 n P计算物体的6 D位姿。P o s e C N N4是基收稿日期:2 0 2 2-0 6-2 9 作者简介:窦凯云(1 9 9 4-),女,硕士生,主要从事图像处理研究。E-m a i l:4 4 5 6 4 1 9 0 0 q q.c o m。于分割网络的模型,利用H o u g h投票预测位置信息,通过R O I池化后的四元数回归姿态信息。D e e p-6 D P o s e5通过给M a s k-R C N N网络添加头部分支,将方向回归为角度轴向量,直接回归三维位置信息和四元数表示的姿态信息。文献6 将姿态预测作为分类问题,将视点通过高斯模型离散为概率质量函数估计姿态,相比直接
11、回归精准度更高,本文的姿态回归参考了该方法。相 比 于 采 用 关 键 点 预 测 后 进 行P n P计算2-3,7,直接回归能以端对端的方式预测位姿结果。另外,当前的网络模型在进行网络特征提取时多为在降低分辨率后通过上采样操作或空洞卷积等弥补损失的图像分辨率,导致大量信息在上采用和下采样过程中被遗弃,在后续的位姿估计中会损失精准度。因此,本文直接采用高分辨网络HR N e t,在整个网络采样过程中均保持较高的分辨率,适用于空间敏感的任务。同时,利用空洞卷积替换HR N e t分支融合时的普通卷积,扩大特征图的视野,使网络在复杂背景和遮挡图像中表现良好,能有效减少姿态误差。最后,介绍评价指标
12、,在U R S O数据集上对网络进行实验验证,实现空间目标的端对端位姿估计。1 位姿定义与表示使用相机坐标系下的三维信息表示空间目标的位置信息,其坐标原点位于观测相机的光心,x轴和y轴分别与图像的X轴和Y轴平行,z轴平行于相机光轴,图像坐标系为二维直角坐标系。对于姿态信息,相比于欧拉角,基于四元数的表示能解决欧拉旋转的万向节死锁问题。同时,相对于求解欧拉角方程和旋转矩阵的大量运算,四元数只需求解4个微分方程,计算量小。因此,采用四元数形式表示姿态信息8,公式为Q=w+xi+yj+zk,(1)式中:w为实部,包含旋转角度信息;x,y,z为实数;i,j,k为虚部,与旋转轴相关,包含旋转矢量信息且满
13、足约束关系i2=j2=k2=i j k=-1。(2)单位四元数由下式表示Q=x2+y2+z2+w2=1。(3)绕某个单位轴旋转度的四元数可以表示为Q(w,)=c o s2,s i n2 。(4)2 网络结构设计2.1 网络框架采取高分辨网络HR N e t9作为主干网络,首先,将给定的输入图像输入到主干网络中,在不损失图像分辨率的基础上提取图像的网络特征。其次,将网络输出的特征图通过卷积核进行降维操作,分别输出结果到位置分支和姿态。位置分支通过两层全连接层直接回归得到位置信息;姿态分支采用软分配编码的方式,通过把姿态四元数按照高斯分布模型编码,转为姿态离散空间中的概率质量函数对其进行训练学习。
14、最后,通过解码得到姿态四元数。网络结构图如图 1 所示。图 1 网络结构图F i g.1 N e t w o r k s t r u c t u r a l d i a g r a m2.2 高分辨网络H R N e t不同于文献1 0-1 2 经过下采样获取语义信息后通过上采样恢复高分辨率的网络,HR N e t并行多个不同分辨率的子分支,子分支间持续进行信息融合,从而使得网络在学习过程中全程保持高分辨率。而姿态信息对于分辨率较为敏感,因而,高分辨网络有助于提升位姿信息估计的精准度。HR N e t的特征融合网络见图 2。753(总第1 6 0期)基于高分辨网络的空间目标位姿估计方法(窦凯云
15、等)图 2 特征融合网络F i g.2 F e a t u r e f u s i o n n e t w o r k由图可见,HR N e t整体网络结构可分为生成新分支和分支信息交互两部分。前者使不同子分支的特征信息进行融合;后者生成一个新的下采样分支。不同子分支间的信息交互在高分辨率分支融合低分辨率分支特征时,先用1 1卷积核匹配通道数,然后采取最近邻插值进行上采样。对于同一分辨率的子分支,通过恒等映射进行融合。高分辨率下采样时,采用步长为2的3 3卷积核进行卷积操作。最后,HR N e t各分支逐渐升维融合,在升维过程中,普通卷积的上采样通过补零得到大的特征尺寸图,不会增大感受野的大小
16、。然而,空间目标姿态一直处于变化之中,且太空环境复杂,捕捉到的空间目标图像很容易产生一些遮挡区域,影响对位姿的精准预估。因此,图像的感受野尤为重要。针对该问题,本文设计采用空洞卷积H D C(H y b r i d D i l a t e d C o n v o l u t i o n)模块取代各分支融合过程中的普通卷积,在不引入额外参数时提高特征图的感受野,从全局推断被遮挡部分的信息。2.3 空洞卷积相比于用于下采样的普通卷积在采样过程中带来的信息损失,空洞卷积采取了在卷积核填补空白值的方法,在参数和计算量不额外增加的情况下获得更大的感受野。空洞卷积引入了扩张率来定义卷积核处理数据时各值的间
17、距,可以控制卷积核的膨胀程度。图 3 为扩张率分别为1和2的卷积核,可见,当扩张率为1时,空洞卷积等同于普通卷积。空洞卷积采样后的感受野计算公式如下kd=k+(k-1)(d-1),(5)式中:d为扩张率,卷积核大小为kk,得到的感受野为kdkd。可见,当扩张率为1时,空洞卷积为标准卷积;而扩张率为2时,可得到感受野为7 7的特征图。图 3 不同扩张率的空洞卷积核F i g.3 T h e d i l a t e d c o n v o l u t i o n k e r n e l s o f d i f f e r e n t d i l a t i o n r a t e空洞卷积采样后的特
18、征图o大小的计算公式如下o=i+2p-k-(k-1)*(d-1)s+1,(6)式中:i为输入的空洞卷积大小;k为卷积核的尺寸;p为补零数目;d为扩张率;s为卷积核步长。然而,空洞卷积有网格效应的缺陷,即由于卷积核存在间隔,感受野中有像素没有参与计算,使数据之间的相关性受到一定的损失,不利于网络学习。因此,本文采用了H D C1 3模块,不使用固定的扩张率,而是使用1,2,3 的扩张率组合,从而获得宽阔且连续的像素信息,避免了网格效应。H D C设计了r1,ri,rn 的锯齿波扩张率的串行卷积序列,以实现感受野覆盖图像的全局信息,其中,小数值的扩张率提取本地信息,大数值的扩张率更多地关注长距离信
19、息,使不同扩张率的空洞卷积叠加后恰好覆盖底层特征图。图 4(a)为扩张率为2,卷积核大小为3 3的连续3个普通空洞卷积的采样范围。图 4(b)为同样卷积核大小但扩张率组合为1,2,3 的采用了H D C模块的空洞卷积采样范围。通过对比可以看到,普通空洞卷积损失了部分连续信息,而H D C能在保持感受野大小的基础上获得宽阔且连续的像素信息。本文设计的网络中使用1,2,3 的扩张率组合,替换HR N e t在最后输出阶段各分支融合时的卷积连接,包括普通卷积连接和用于下采样的卷853测 试 技 术 学 报2 0 2 3年第4期积块,替换后的网络结构如图 5 所示。从右到左不同样式的箭头依次表示为扩张
20、率为1、2和3的空洞卷积。(a)空洞卷积(b)H D C图 4 空洞卷积和H D C采样范围对比F i g.4 C o m p a r i s o n o f d i l a t e d c o n v o l u t i o n a n d H D C s a m p l i n g r a n g e图 5 改进后的H R N e tF i g.5 I m p r o v e d H R N e t当通过H D C空洞卷积扩大感受野后,在对空间目标图像进行位姿估计时,特别是有部分遮挡情况下,可以有效利用全局信息提高估计精度。3 实验验证3.1 数据集U R S O数据集6基于虚幻引擎4(U
21、 n r e a l E n-g i n e 4)构建,用于渲染绕地球运行的航天器的高清图像,被用于空间目标的识别、定位和位姿估计等。U S R O数据集是从近地球轨道高度,在地球上随机取样5 0 0 0个视点,空间目标随机在摄像机观察范围1 0 m 2 0 m之间。除了简单背景的空间目标图像外,还包含部分复杂太空和地球背景的图像,甚至有些空间目标被淹没在地球背景中。数据集分为训练集、测试集和验证集,共5 0 0 0张分辨率大小为1 2 8 0 9 6 0的单目图像,分出1 0%用于测试和验证,8 0%用于网络训练。图 6 为部分展示。图 6 部分U R S O数据集F i g.6 P a r
22、 t U R S O d a t a s e t3.2 评价指标欧空局针对空间目标的位姿估计专门设计了评估方法1 4,通过计算位置误差和姿态误差,体现其对位姿估计的精准度。位置误差的计算公式为et=tB C-tB C2,(7)式中:tB C为以相机C为原点的空间目标B的位置真实数据;tB C为其预测数据。姿态误差的计算公式为eq=2 a r c c o s ,(8)式中:q为真实的空间目标姿态四元数数据;q为空间目标的预测姿态四元数数据。3.3 实验结果基于U R S O数据集对本文算法进行测试,网953(总第1 6 0期)基于高分辨网络的空间目标位姿估计方法(窦凯云等)络迭代1 8 0次,前
23、1 0 0次学习率为0.0 0 1,后8 0次学习率为0.0 0 0 1。图 7 和图 8 分别为包含简单背景和淹没在复杂地球背景的空间目标位姿估计可视化结果。位置估计可视化图中,两个圆点分别为真实位置和预测位置。姿态估计可视化图中,直观展示了极坐标图下的欧拉角预测误差。同样,两条虚线分别表示真实和预测角度信息数据。3个箭头分别表示航天器的俯仰角、滚转角和偏航角,3个箭头的交汇处即为空间目标的位置。图 7 简单背景的可视化结果F i g.7 V i s u a l i z a t i o n r e s u l t o f s i m p l e b a c k g r o u n d图 7
24、中简单背景的空间目标实际位置信息和姿态信息分别为-2.2 8 8,5.3 1 5,1 6.0 7 8 和-0.5 9 5,0.4 0 5,0.6 5 3,0.2 3 4,而预测值分别为-2.0 9 8,5.2 4 0,1 5.3 5 3 和-0.6 1 8,0.3 9 6,0.6 3 8,0.2 3 1,由评价指标计算位姿误差,位置信息的平均绝对误差约为0.7 5 m,姿态信息的角度误差约为3.2 7。图 8 中淹没在复杂地球背景的空间目标实际位置信息和姿态信息分别为-6.6 0 6,-2.9 2 8,1 6.2 4 3 和0.7 1 8,-0.4 1 5,-0.1 0 0,0.5 5 0,预
25、测结果分别为-6.3 8 9,-2.7 5 4,1 6.2 7 2 和-0.7 1 2,0.4 0 0,0.1 6 1,-0.5 5 3,位置误差为0.2 8 m,姿态误差为7.1 3。图 8 复杂背景的可视化结果F i g.8 V i s u a l i z a t i o n r e s u l t o f c o m p l e x b a c k g r o u n d可见,本文所提方法对于简单背景和复杂背景的空间目标图像的位姿识别都效果良好。为了评估高分辨网络HR N e t对于空间目标位姿估计精准度提升的有效性,本文在U R S O数据集上进行了验证,对比了在残差网络R e s N
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 高分 网络 空间 目标 估计 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。