LSTM神经网络辅助的GNSS_VO组合定位方法.pdf
《LSTM神经网络辅助的GNSS_VO组合定位方法.pdf》由会员分享,可在线阅读,更多相关《LSTM神经网络辅助的GNSS_VO组合定位方法.pdf(9页珍藏版)》请在咨信网上搜索。
1、第 11 卷 第 3 期 导航定位学报 Vol.11,No.3 2023 年 6 月 Journal of Navigation and Positioning Jun.,2023 引文格式:林秋良,赵有兵,冯威,等.LSTM 神经网络辅助的 GNSS/VO 组合定位方法J.导航定位学报,2023,11(3):156-164.(LIN Qiuliang,ZHAO Youbing,FENG Wei,et al.GNSS and visual odometry integrated localization method based on LSTM neural networkJ.Journal
2、of Navigation and Positioning,2023,11(3):156-164.)DOI:10.16547/ki.10-1096.20230321.LSTM 神经网络辅助的 GNSS/VO 组合定位方法 林秋良1,赵有兵2,冯 威1,黄丁发1(1.西南交通大学 地球科学与环境工程学院,成都 610000;2.中铁二院工程集团有限责任公司,成都 610000)摘要:针对当全球卫星导航系统(GNSS)信号失锁时,GNSS 与视觉里程计(VO)组合定位方法定位精度下降的问题,提出一种基于长短期记忆(LSTM)神经网络辅助的 GNSS/VO 组合定位方法:在 GNSS 工作正常情况下
3、,利用视觉里程计的位移增量和姿态构建 LSTM 的特征向量,将 GNSS 解算的位置增量作为输出对 LSTM 神经网络进行训练;GNSS信号失锁环境中,使用 LSTM神经网络输出结果推算得到伪 GNSS观测值,并将其与 VO 的结果进行松组合,实现 GNSS/VO组合定位。实验结果表明,在 GNSS 信号丢失 30、60、120 s 的过程中,所提方法的定位精度可分别提高约 62%、64%、69%,证明该方法能够有效地提高 GNSS/VO 组合定位方法在 GNSS 拒止环境下的定位精度。关键词:全球卫星导航系统(GNSS);组合导航;长短期记忆;神经网络;GNSS 拒止;视觉里程计(VO)中图
4、分类号:P228 文献标志码:A 文章编号:2095-4999(2023)03-0156-09 GNSS and visual odometry integrated localization method based on LSTM neural network LIN Qiuliang1,ZHAO Youbing2,FENG Wei1,HUANG Dingfa1(1.Faculty of Geosciences and Environmental Engineering,Southwest Jiaotong University,Chengdu 610000,China;2.China R
5、ailway Eryuan Engineering Group Co.Ltd.,Chengdu 610000,China)Abstract:Aiming at the problem of positioning accuracy degradation for combination of global navigation satellite system(GNSS)and visual odometry(VO)when GNSS has an outage,the paper proposed a combined GNSS/VO positioning method based on
6、the assistance of long short-term memory(LSTM)neural network:with GNSS normal work,the feature vectors of LSTM were constructed by using the displacement increment and attitude of VO,and the position increment solved by GNSS was used as the output to train the LSTM neural network;with GNSS outage,th
7、e pseudo GNSS observation was calculated by using the outputs of LSTM neural network,and then was loosely integrated with the results of VO for realizing the combined positioning of GNSS/VO.Experimental result showed that in the absence of the GNSS signal for 30,60,120 s,the proposed method would im
8、prove the positioning accuracy by 62%,64%and 69%,respectively,indicating that the method could effectively improve the positioning ability of the integrated navigation system in GNSS rejection environment.Keywords:global navigation satellite system(GNSS);integrated navigation;long short-term memory(
9、LSTM);neural network;GNSS rejection;visual odometry(VO)0 引言 全球卫星导航系统(global navigation satellite system,GNSS)能够提供高精度、全天候的位置信息,因此被广泛地应用于自动驾驶和无人机的导航定位中;然而其信号易受干扰和丢失,无法满足复杂环境下导航定位的需求1-3。在 GNSS 拒止情况下,例如城市峡谷、林荫等环境,GNSS 信号受 收稿日期:2022-11-08 基金项目:国家自然科学基金项目(42171429);中国国家铁路集团有限公司科技研究开发计划重大课题(K2020X017)。第一作者
10、简介:林秋良(1997),男,重庆人,硕士研究生,研究方向为组合导航。通信作者简介:冯威(1984),男,湖北黄冈人,博士,副教授,研究方向为 GNSS 高精度导航定位理论与应用。第 3 期 林秋良,等.LSTM 神经网络辅助的 GNSS/VO 组合定位方法 157 到严重遮挡致使定位精度下降,单一视觉系统定位则存在误差累积的问题。因此,即便是 GNSS 与视觉里程计(visual odometry,VO)组合定位系统也不可避免地受到影响,导致定位精度下降甚至是无法定位。为解决 GNSS 失效环境中组合导航系统的定位精度下降问题,主要方法有基于传统滤波改进和基于神经网络辅助的方案4。基于传统滤
11、波改进的方案大多采用平滑算法或改进的卡尔曼滤波,例如文献5提出使用固定区间(Rauch-Tung-Striebel,RTS)平滑算法来解决 GNSS 接收机因失 锁 导 致 的 精 度 下 降 问 题。文 献 6 使 用GNSS/VO 松组合进行定位,并且提出一种基于RTS 的在线平滑方法进行改进,并且利用平滑后的数据对航向角进行建模,获得更加精确的航向角数据以提高定位的精度。国内外很多研究学者提出了多种辅助组合导航的神经网络融合方案。例如,反向传播神经网络7(back propagation neural network,BPNN)、径向基函数神经网络8(radial basis funct
12、ion neural network,RBFNN)、多层感知器9(multi-layer perceptron,MLP)等。文献7将 BP 神经网络与 GNSS/INS 的导航定位系统进行结合,在 GNSS 拒止环境下使用训练好的 BPNN 对位置和姿态进行预测,用以代替 GNSS在组合导航系统的作用。由于 BPNN 的收敛速度较慢,并且学习过程当中容易陷入局部最小值,有的学者选择使用 RBFNN 对组合导航系统进行辅助,并且取得了较好的效果10-11。文献12提出一种结合离散灰度预测和 MLP 的融合算法辅助GNSS/INS 系统,有效解决了 GNSS 拒止环境下的定位问题。平滑算法能够在一
13、定程度上提高复杂环境下的定位精度,但是实质上还是一种后处理的算法,无法满足实时的定位导航需求。基于神经网络辅助的组合导航方案能够有效地应对短时间内卫星信号丢失的问题,但是常用的神经网络模型大多基于静态的神经网络,无法很好地处理时间序列数据。长短期记忆(long short-term memory,LSTM)作为循环神经网络能够有效解决这个问题,并且很好地克服了传统循环神经网络的缺陷13。因此本文选择 LSTM 辅助 GNSS/VO 组合定位系统,在GNSS 拒止环境下使用训练好的 LSTM 网络替代GNSS 输出 GNSS 的伪观测值,以解决 GNSS 拒止环境中的组合导航定位问题。1 GNS
14、S/VO 组合定位 GNSS/VO 的组合导航框架如图 1 所示。相机解算过程是由相机提供图像经运动自估计以后获得图像间的相对位移?和角速度?,再经 VO 推算相机在导航坐标系下的位置?、姿态?。通过将 GNSS 和 VO 观测值的位置差值?作为卡尔曼滤波观测方程,将视觉里程计的误差状态方程作为其状态方程,估计出视觉里程计的位置误差?和姿态误差?,并将其反馈给 VO14。图中?NSS?、?分别为 GNSS 和视觉里程计观测得到的位置。图 1 GNSS 视觉组合导航框架 1.1 视觉定位模块 图 1 中相机的自估计是指利用多视几何的原理估计出 2 帧图像之间相对运动的过程,常用的方法包括对极约束
15、、n点透视法(perspective-n-point,PnP)、迭代最近点法(iterative closet point,ICP)等15。VO 的过程则是对相机运动自估计提供的位移增量和角速度进行积分,从而得到每一时刻相机的位置和姿态,其过程为?d?(1)式中:?为该时间段内的角度增量?的反对称矩阵;?为角速度向量?的反对称阵。则该时间段内的姿态变化可以用方向余弦矩阵?可以表示为?exp?(2)因此?时刻的姿态可以表示为?(3)式中?为?时刻姿态的方向余弦矩阵。?时刻的位置更新方程则为?(4)式中?、?分别为?、?时刻的位置。1.2 组合定位模型 扩展卡尔曼滤波(extended Kalma
16、n filter,EKF)158 导航定位学报 2023 年 6 月 通过一阶泰勒展开,对非线性系统进行线性化,很好地克服了卡尔曼滤波(Kalman filter,KF)无法处理非线性系统的缺点,因此被广泛应用于组合导航系统当中16。GNSS/视觉组合定位系统中的误差状态方程分别为:?(5)=?nbbnbR(6)式中:?为位置误差的导数;?为视觉定位求解的位移?的反对称阵;?为该时刻的姿态误差;?为姿态误差的导数;?和?分别为视觉观测当中的角速度误差和位移误差,通常将其视为高斯噪声。扩展卡尔曼滤波的量测方程为?NSS?(7)式中:?NSS?、?分别为 GNSS 和视觉里程计观测得到的位置;?为
17、 GNSS 位置测量噪声,通常将其建模为高斯白噪声。综合式(5)式(7),可以表示为:?(8)?(9)式中:X(t)为系统状态向量;z(t)为观测向量;F(t)为系统地状态转移矩阵;?为系统噪声驱动阵;?为噪声向量;?为量测矩阵。由上述误差状态模型和量测模型,可以通过 KF 进行预测和更新,其过程为?,?,?,?T?T?T?(10)式中:?为 k 时刻状态的先验;?,?为 k-1 时刻至 k 时刻的状态转移矩阵;?为 k-1 时刻状态的后验;?为 k 时刻状态的协方差;?为 k-1 时刻状态的协方差;?和?分别为状态状态方程噪声和量测方程噪声的协方差阵;?为 k 时刻的量测矩阵;?为 k 时刻
18、的观测向量;?为 k 时刻的卡尔曼滤波增益矩阵。2 LSTM 神经网络辅助定位 2.1 LSTM 神经网络模型 LSTM 于 1997 年被提出,是一种特殊的循环神经网络(recurrent neural network,RNN),其设计的初衷是为了解决 RNN 中存在的长期依赖问题。与传统的 RNN 不同,LSTM 有 2 个传输状态?、?,以及 3 个门单元,即输入门(?)、输出门(?)和遗忘门(?)。其中?代表单元状态,?代表隐单元状态。根据上一时刻的隐单元状态?和当前时刻输入的特征?可以计算得到当前时刻的隐单元状态?和单元状态?,其计算流程为:?,?(11)?,?(12)?tanh?,
19、?(13)?(14)?,?(15)?tanh?(16)式中:为哈达玛积;?为 sigmoid 激励函数;?表示遗忘门的权重向量;?表示输入门的权重向量;?表示记忆门的权重向量;?表示输出门的权重向量;?为遗忘门中的偏置;?为生成候选状态时的偏置;?为输入门中的偏置;?为输出门中的偏置。2.2 LSTM 辅助的组合定位方法 神经网络辅助组合导航系统的思路是利用神经网络探索传感器观测值和神经网络输出端的数学关系。根据方案的设计不同,输出端可以选择组合导航卡尔曼滤波的状态向量或传感器解算结果的误差向量,亦或是 GNSS 位置增量的观测值。本文选择使用 VO 的解算结果?、?作为神经网络输入的特征向量
20、,GNSS 的位置增量?NSS?作为输出端对 LSTM 网络进行训练,其关系可以表达为?NSS?(17)式中?为位置增量与里程计解算结果之间的数学关系。基于 LSTM 的神经网络辅助导航定位系统框架如图 2、图 3 所示。当 GNSS 能够正常提供定位信息的时候,进行正常 GNSS/视觉松组合定位,对视觉定位的位置误差?和姿态误差?进行估计以及反馈。如图 2 所示,此时的神经网络处于训练模式,利用 VO 的解算结果?、?构建特征向量向神经网络输入,并且向输出端当中传输 GNSS的位置增量?NSS?,在这个过程当中,神经网络尝试构建 VO 解算结果和 GNSS 位置增量的数学关系。如图 3 所示
21、,当 GNSS 无法正常提供定位信息 第 3 期 林秋良,等.LSTM 神经网络辅助的 GNSS/VO 组合定位方法 159 时,神经网络处于预测模式,此时的 VO 解算结果?、?作为输入特征向量进入神经网络,获得GNSS 位置增量的伪观测值?。图 2 训练模式结构 图 3 预测模式结构 本文使用的神经网络参数如表 1 所示。具体的网络结构主要由输入层、中间层以及输出层组成,特征向量经由输入层进入网络,在 LSTM 输出之后紧接一个以 LeakyRelu 函数激活的全连接层,将其输出值作为整个网络的输出结果。表 1 神经网络部分参数 参数名 值 学习率 0.005 学习率衰减因子 1e-8 迭
22、代次数 250 隐单元数目 100 时间步长 1 3 实验与结果分析 本文使用卡尔斯鲁厄工学院和丰田技术学院联合的提供的 KITTI 数据集17,其采集环境主要包括社区街道、高速公路等。采集过程当中使用的实验设备包括一套由 OXTS(Oxford Technical Solutions,意译为牛津技术解决方案)公司生产的 RT 3003 组合导航系统,该系统能够输出 GNSS 和惯性测量单元(inertial measurement unit,IMU)组合导航结果,以及 4 个灰点公司的 flea2 系列相机。本次实验当中将 GNSS/IMU 提供的组合导航数据作为参考值,使用 GNSS 数据
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- LSTM 神经网络 辅助 GNSS_VO 组合 定位 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。