基于深度学习的端到端车辆运动规划方法研究.pdf
《基于深度学习的端到端车辆运动规划方法研究.pdf》由会员分享,可在线阅读,更多相关《基于深度学习的端到端车辆运动规划方法研究.pdf(11页珍藏版)》请在咨信网上搜索。
1、2023 年(第 45 卷)第 8 期汽车工程Automotive Engineering2023(Vol.45 )No.8基于深度学习的端到端车辆运动规划方法研究*刘卫国1,2,项志宇1,刘锐2,李国栋3,王子旭2(1.浙江大学信息与电子工程学院,杭州 310058;2.国家智能网联汽车创新中心,北京 100160;3.重庆理工大学车辆工程学院,重庆 400054)摘要 在现有端到端的深度学习自动驾驶框架中,普遍存在规划控制预测精度低的问题,这往往是由于输入数据源单一、无法兼顾时间和空间信息而导致的。为更好地体现虚拟仿真测试中自车与环境、交通参与者的历史交互过程对当前时刻决策的影响,本文设计
2、了一种用于自动驾驶仿真环境下车辆运动规划任务的多级时空注意力长短期记忆网络。该算法提取和表征自动驾驶环境的深层抽象信息,并在仿真平台中实现端到端的车辆运动控制。首先,将前视摄像头模型获取的RGB仿真数据的历史连续视频帧序列作为输入,使用卷积模块提取单一时刻图像的空间特征;其次,使用LSTM模块融合图像历史时刻的空间信息,从而获得时间上下文特征。同时,为提高对时空关键信息的提取能力并加速网络收敛,本文在多级时空特征的融合部分采用了时空注意力机制。本研究在Carla仿真平台上进行了测试验证,实验结果表明本文所提出的方法相比单一时空算法更能精确地模仿人类驾驶决策行为。关键词:车辆运动规划;端到端;时
3、空注意力;深度学习;仿真;LSTMResearch on End-to-End Vehicle Motion Planning Method Based on Deep LearningLiu Weiguo1,2,Xiang Zhiyu1,Liu Rui2,Li Guodong3&Wang Zixu21.ZJU College of Information Science&Electronic Engineerings,Hangzhou310058;2.National Innovation Center of Intelligent and Connected Vehicles,Beijin
4、g100106;3.School of Vehicle Engineering CQUT,Chongqing400054Abstract In existing end-to-end deep learning-based autonomous driving frameworks,there is a common problem of low accuracy in planning and control prediction,often due to the single-source input data and inability to balance spatial and te
5、mporal information.To better reflect the impact of the historical interaction process between the ego vehicle,environment,and traffic participants on the current decision-making in virtual simulation testing,this paper designs a multi-level spatiotemporal attention long short-term memory network for
6、 vehicle motion planning in autonomous driving simulation environment.The algorithm extracts and represents deep abstract information of the autonomous driving environment and realizes end-to-end vehicle motion control in the simulation platform.Firstly,a convolutional module is used to extract spat
7、ial features of a single image at a specific moment using the historical continuous video frame sequence of RGB simulation data acquired by the forward-facing camera model as input.Secondly,the LSTM module is used to fuse the spatial information of the image across historical moment to obtain tempor
8、al contextual features.Additionally,to enhance the ability to extract spatiotemporal key information and accelerate network convergence,a spatiotemporal attention mechanism is applied in the fusion part of the multi-level spatiotemporal features.The proposed method is tested and validated on the Car
9、la simulation platform.The experimental results show that the proposed method can more accurately simulate human driving decision-making behavior compared to the single spatiotemporal algorithm.doi:10.19562/j.chinasae.qcgc.2023.08.005*自动驾驶国家新一代人工智能开放创新平台项目(2020AAA0103702)资助。原稿收到日期为2023年04月28日,修改稿收到日
10、期为2023年06月18日。通信作者:项志宇,教授,博士(后),E-mail:。汽车工程2023 年(第 45 卷)第 8 期Keywords:vehicle motion planning;end-to-end;space-time attention;deep learning;simulation;LSTM前言自动驾驶技术是近年来的研究热点,能够有效地提高行驶安全性、缓解交通拥堵、降低能耗。目前最常用的方法是将自动驾驶问题划分为传感器感知融合、车道检测、路径规划和控制执行等不同的子模块,这种模块化的方法虽然可以使车辆实现简单的自动驾驶,但可能导致整个系统的复杂性增加。另一种方法是基于深度
11、神经网络的端到端自动驾驶框架,这种方法将所有传感器原始数据作为输入,网络模型直接为车辆生成最终控制指令。该方法在降低复杂性的同时减少了不同领域所需的知识门槛。近年来,深度学习已被广泛应用于自动驾驶领域。Pomerleau提出了Alvinn1,其在车道跟随方面已得出不错的实验结果,可以仅使用单帧图像作为输入来预测转向角度。相比于车道跟随,城市驾驶任务引入了很多新问题,城市道路上的交通环境复杂,需要考虑自车与目标车、行人的交互,而单帧图像无法为模型提供足够的信息来预测下一步决策,从而产生了对时间信息的需求。此外,单帧图像信息也无法充分表征复杂的交通流信息以及历史连续驾驶行为对当前时刻的影响。为了解
12、决城市驾驶任务中交通环境复杂的问题,Codevilla等2提出了条件模仿学习,该方法通过专家意图来指导模型的学习,但该算法只能处理极少部分城市工况。同时,每个网络分支仅根据专家意图在城市驾驶场景的一个子集上进行训练,难以覆盖所有城市道路工况。首先,由于决策动作在后续视频帧中并不连续3,这使得车辆在行驶过程中出现小幅振荡;其次,该方法需要大量的训练数据,且整个训练时间过长。为了改善上述问题,本文提出了一种替代架构。该架构首先从安装在自车前部的摄像头获取原始RGB图像序列,并进行数据预处理工作以增加数据的多样性。然后将预处理后的数据输入预训练网络进行训练,使用卷积模块提取必要的特征以学习适当的控制
13、参数。在卷积层之后,使用LSTM网络整合系统的时空上下文信息,LSTM 网络旨在记住自车、交通参与者和道路的历史状态。最后,时空注意力模块可以通过在LSTM网络层引入注意力机制来实现,根据当前输入的图像和历史状态,计算出一个权重向量,该向量可以被用于对历史状态进行加权求和,从而得到一个更加关注重要历史状态的表示。而后,将学习到的特征与必要的车辆状态信息联接起来,将联接后的向量输入全连接层,最终学习并预测连续的转向角、制动和油门。本文提出了一种基于深度学习端到端的车辆运动规划仿真方法,该方法遵循端到端的框架,直接从原始图像序列中学习车辆控制策略。具体贡献如下:(1)提出了一种基于端到端规控框架的
14、多级时空注意力长短期记忆网络,该网络通过注意力机制整合历史时序中帧间的时空关联信息,从而实现车辆运动规划的端到端学习。(2)提出了一种基于过滤和扩充的数据平衡方法,在有效增加了有限数据集的多样性的同时,平衡了不同场景的数据分布。1方法论1.1问题定义为探索不同架构的性能以及架构在不同组件下的表现,从而研究端到端模型的自动驾驶能力,本节提出了一种基于深度神经网络的端到端模型,通过训练此模型以模仿专家驾驶行为。本文构建了模仿学习机制,其中模型将前向视景Oi、用户意图hi和外部状态信息为模型输入。其中,用户导航意图hi的one-hot编码向量,称为导航输入;外部环境的附加状态信息,例如当前车辆限速、
15、车速和当前的红绿灯状态,由外部状态信息si引入。改进后的模仿学习技术如式(1)所示,其中模型F通过拟合可学习参数来学习输入(即oi、hi、si)和执行动作ai之间的映射,以使损失L最小化。miniL(F(oi,hi,si;),ai)(1)1.2系统描述图1展示了训练阶段的流程框架。下部黑色虚线框代表不同历史时刻的前视摄像头输入序列所构成的滑动窗,中部为网络模型示意图和网络训练模 13442023(Vol.45)No.8刘卫国,等:基于深度学习的端到端车辆运动规划方法研究式流程图,包括油门制动预测和转向预测,上部红色虚线框为与训练时间同步的真值序列主要包括转向角、制动、油门。在转向预测模块中,网
16、络输出通过分类层,产生正弦转向预测。在训练阶段,分类层的输出与正弦编码的地面实况转向角之间的损失使用RMSE损失函数计算,如式(2)所示,其中,yi表示预测值,yi表示真实值。训练后,当系统处于测试部署阶段时,转向预测通过解码器生成转向角。RMSE=1ni=1n(yi-yi)2(2)在油门制动预测中,网络输出通过全连接层来预测油门和制动值。在训练期间,使用MSE均方误差损失函数计算预测值和真值之间的损失,如式(3)所示。在部署测试阶段,预测模块的输出会产生最终的油门和制动预测。MSE=1ni=1n(yi-yi)2(3)1.3网络架构针对图1中的网络模型部分,本文设计了4种不同架构,分别是:单一
17、时空卷积网络(single CNN,SiNN)、融合时空卷积网络(fusion CNN,FuNN)、长短期记忆卷积网络(LSTM CNN,LsNN)以及多级时空注意力卷积网络(attention LSTM CNN,AtLN),以对比论证自车与环境、交通参与者的历史交互过程对当前时刻决策的影响。1.3.1单一时空卷积网络单一时空卷积网络模型,仅根据当前时刻的自车与环境的交互信息进行决策规划,即仅将当前时刻的单帧图像作为输入,并通过CNN进行前馈,网络模型的完整体系结构如图2所示。1.3.2融合时空卷积网络融合时空卷积网络根据自车与环境、交通参与者的历史交互过程对当前过程进行决策输出,以等权重融合
18、多个时间步长的信息。如图3所示,该网络在多个平行的CNN级别中应用不同的时空输入信息,以有效提取每个时刻空间下不同外部状态的不同特征。其中包含n个级别的CNN,n的大小与滑动窗体内的序列长度一致,每个CNN具有相同的结构和不同时刻的输入。此处使用concatente进行特征融合,但是也表现出训练收敛速度慢且参数量较大的缺点。1.3.3长短期记忆卷积网络长短期记忆卷积网络模型如图4所示,根据自车与环境、交通参与者的历史交互过程对当前过程进行决策输出,采用直接递归混合预测输出。该网络使用与FuNN相同的特征提取结构,但其特征是按时间分布的,本模型与FuNN的不同之处在于卷55!.1#1#ELN#N
19、#KBKBG!-E L?RGBgggggggggggg-%0tn ty GA4GA4G yt2tyttytyttxtLtxtL1)txtL2)txttxtL3)t图1训练阶段的系统框架 1345汽车工程2023 年(第 45 卷)第 8 期积层和分类器之间添加了一个具有10个隐藏状态的 LSTM 模块。卷积层的一系列输出被送入 LSTM模块,每个时间步长产生的隐藏状态被连接到序列的下一个输入。在时间步t,输出被引导到分类器中输出转向、油门和制动。1.3.4多级时空注意力长短期记忆网络多级时空注意力长短期记忆网络,根据自车与环境、交通参与者的历史交互过程对当前过程进行决策输出,为不同历史时刻的输
20、入空间特征赋予不同的重要性并按照时间序分布,即使用注意力机制学习历史序列中不同时空的权重,在本文中,使用“软”注意力4的建模方式。如图5所示,AtLN包括CNN、LSTM和空间注意力模块。在时间步t,假设CNN层产生一组d个大小为nm的特征图,vitLi=1,vitD,L=m n,每个区域向量对应于CNN在不同图像区域提取的特征。在软注意力机制中,假设上下文向量zt由所有区域向量 vitLi=1的加权和表示:zt=i=1Lgit vit(4)权重git是根据区域向量的重要性来选择的,它是由注意力网络g学习得到的。注意力网络g将LSTM层产生的区域向量vit和隐藏状态h(t-1)作为输入,并输出
21、区域向量vit的对应权重。该注意力网络g是一个全连接层,其后跟着一个softmax函数:giL=softmax(wv vil+wh ht-1),i=1,T(5)式中上下文向量zt输入到LSTM层。LSTM层的输出与全连接层相连,用于生成最终油门、转向盘转角和制动踏板值。注意力网络可以解释为CNN特征图上的掩码,0555314824055257236055113448033516640333146405511264E03003081Flatten17681107LF1100E13ELFFLF&85H/85H/85H/85H/85H/85H/85H/85H/85H/85H/85H/85H/8&UR
22、S1RUPLF150LF110LF1100 图2单一时空卷积网络模型ggggggggg0/455LFFF6FEEFlattenFlattenFlattenggggggggggggF x(tn)x(t)x(t)f(tn)f(t)f(t)f(tn)f(t)f(t)图3融合时空卷积网络模型 13462023(Vol.45)No.8刘卫国,等:基于深度学习的端到端车辆运动规划方法研究它重新加权区域特征以获得最有用的特征。因此,多级时空注意力长短期记忆模型在做出驾驶决策时获得了选择和关注重要区域的能力。此外,也有助于减少网络中的参数量,以实现更快的模型训练和收敛。1.4角度分类转向角预测通常根据传感器输
23、入来预测连续的转向角度;另一种方法则是将问题定义为分类任务,通过网络预测属于每个转向角区间的概率。本文按照与Eraqi等5相同的设置,将包含10个神经元的分类层引入转向预测模块的末端。此外,将tanh激活应用于分类层,允许神经元形成振幅为1的正弦波。原始转向角对应于正弦波的相移。在训练过程中,真值转向角使用式(6)编码为正弦值。Yi是输出神经元i的编码目标值,是原始转向角,max是最大可能的原始转向角。预测损失为预测波形和编码的真值波形之间的RMSE值。在部署期间,分类层的输出被解码回转向角。解码通过将分类层的输出拟合为正弦函数并返回其相移来完成:Yi()=sin()2(i-1)10-1-2m
24、ax,1 i 10(6)ggggggggg#ggggggggggggK.A550/455FF6FEEx(tn)x(t)x(t)h(tn)h(t)h(t)z(tn)z(t)z(t)vt-ni=1iLvt-ni=1iLvt-ni=1iLgtigt1igtni图5多级时空注意力长短期记忆网络模型K.A55gggggggggggggggggg0/455FF6FEEx(tn)x(t)x(t)f(tn)f(t)f(t)f(tn)f(t)f(t)h(tn)h(t)h(t)h(tn)h(t)h(t)图4长短期记忆卷积网络模型 1347汽车工程2023 年(第 45 卷)第 8 期2实验设置本研究使用的三阶段实
25、验流程如图6所示。2.1实验环境实验软硬件相关配置参数如表1所示。2.2数据获取仅在理想环境中使用专家数据训练的模型可能无法学习如何从干扰中恢复,为解决这个问题,本文采用了多种类型的驾驶行为数据,使用 Carla 的Autopilot6控制模式获取专家驾驶行为数据,从而在正确保持速度限制的同时实现车道中心驾驶。为获取更多不稳定的数据,在Autopilot的输出控制信号中添加了一个随机生成的噪声值。这有可能导致车辆轨迹和速度的突然变化,并由Autopilot进行纠正。为消除训练集中误操作行为的影响,只收集了Autopilot对噪声的响应。最后,手动将车辆置于危险位置(例如驶向对向车道)来获得从偶
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 深度 学习 端到端 车辆 运动 规划 方法 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。