特斯拉FSD自动驾驶方案深度解析报告.pdf
《特斯拉FSD自动驾驶方案深度解析报告.pdf》由会员分享,可在线阅读,更多相关《特斯拉FSD自动驾驶方案深度解析报告.pdf(51页珍藏版)》请在咨信网上搜索。
1、0特斯拉FSD自动驾驶方案深度解析证券分析师姓名:俞能飞资格编号:S0120522120003邮箱:证券研究报告|行业深度汽车整车2023年11月7日1请务必阅读正文之后的信息披露及法律声明。01020304概要特斯拉FSD架构详解FSD V12展望目 录CONTENTS投资建议SVUZYWZYyQoRyRaQbP8OnPmMpNtQfQmNqRjMoOuMbRmNrMxNnNtMNZmQqM2请务必阅读正文之后的信息披露及法律声明。01概要3请务必阅读正文之后的信息披露及法律声明。ABSTRACT 概要FSD为一套包含感知/规控/执行的全链路自动驾驶软硬件架构Planning我该怎么走Neu
2、ral Networks为什么要这么走Training Data这么走是正确的吗规划感知数据Occupancy我周围有什么?如何分布Lanes&Objects周围的物体下一步去哪里Auto Labeling数据标注Simulation仿真模拟Data Engine数据引擎Training Infra拿什么运算AI Compiler&Inference如何在计算机上运行神经网络硬件平台软硬耦合资料来源:TESLA 2022 AI day,youtube,德邦研究所4请务必阅读正文之后的信息披露及法律声明。02特斯拉FSD架构详解5请务必阅读正文之后的信息披露及法律声明。FSD为一套包含感知/规控
3、/执行的全链路自动驾驶软硬件架构 FSD架构:在数据、算法、算力等各个层面打造了一套包含感知、规控、执行在内的全链路自动驾驶软硬件架构 规划(Planning):本质是解决多物体关联路径规划问题,处理自我和所有对象的行进轨迹,指导汽车完成相应的执行动作 神经网络(Neural Networks):通过分析视频流等信息,输出完整的运动学状态(位置/速度/加速度/颠簸)控制车辆 训练数据(Training Data):通过最新的4D自动标注技术、升级模拟仿真及云端计算资源,形成数据闭环 训练基础设施(Training Infra):包括CPU、GPU、神经网络加速器单元(Neural Networ
4、k Accelerator)、AI编译器等,其中AI编译器能够支持神经网络所需的新操作,将它们映射到最佳的底层硬件资源上 AI编译与推理(AI Compiler&Inference):即如何在计算机上运行神经网络。当前的推理引擎能够将单个神经网络的执行分配到两个独立的芯片系统上执行,可以理解为有两台独立的计算机在同一台自动驾驶计算机内相互连接图表:特斯拉FSD架构资料来源:TESLA 2022 AI day,youtube,德邦研究所6请务必阅读正文之后的信息披露及法律声明。2.1自动驾驶规划(Planning)我该怎么走?7请务必阅读正文之后的信息披露及法律声明。采用混合规划系统,提供最优规
5、控解决方案图表:十字路口三种不同方案的选择资料来源:TESLA 2022 AI day,youtube,德邦研究所方案一:抢在行人前面通过方案二:在行人和右面来车之间通过方案三:找到合适的间隙,在不干扰其他车辆的情况下通过自动驾驶规控的目标:基于感知网络输出的结果,通过规划汽车行为和行车路径使得汽车达到指定目的地,同时尽可能确保行车安全性、效率性和舒适性特斯拉FSD解决方案:将传统规划控制与神经网络算法相结合,构建一套【混合规划系统】,依靠“互动搜索(Interaction Search)”的框架,以任务分解的方式对一堆可能的运动轨迹进行并行研究图表:FSD最终规划路线选择资料来源:TESLA
6、 2022 AI day,youtube,德邦研究所图表:特斯拉视觉规控解决方案资料来源:TESLA 2021AI day,youtube,德邦研究所三维向量空间基于既定目标进行初步搜索凸优化持续微调优化全局最优解8请务必阅读正文之后的信息披露及法律声明。基于Vector Space的FSD路径规划,能够快速产生最优解具体解决路径:从一组视觉测量开始,包括车道、占用率、移动物体等(这些都表现为稀疏的抽象和潜在特征),感知得到的Vector Space,通过Vector Space规划出后续潜在目标状态,进一步考虑细分互动,得到决策规划的路径图表:FSD互动搜索框架资料来源:TESLA 2022
7、 AI day,youtube,德邦研究所整理决策树生成最初用经典的优化方法来创建规划路径,随着约束条件增加,每个动作都需要1-5ms的时间最终建立了轻量级可查询网络。【Tesla车队中人类驾驶员驾驶数据】VS【宽松时间约束的离线条件下系统规划的全局最优路径】,两者不断进行对比训练。能够在100us内生成一个候选规划路径决策树剪枝/评分采用混合规划系统,将传统方法与数据驱动相结合,通过四个方法进行候选路径评估完成剪枝9请务必阅读正文之后的信息披露及法律声明。基于Vector Space的FSD路径规划,能够快速产生最优解对于未知及不确定性(corner case)的决策通过Occupancy
8、Network对可视区域进行建模用来处理未知不可见场景需要根据这些假想的参与者做相应的保护性驾驶,将控制反应与存在可能性函数相协调,得到非常类似人的行为图表:通过Occupancy Network对可视区域进行建模用来处理未知不可见场景资料来源:TESLA 2022AI day,youtube,德邦研究所整理至此,特斯拉FSD最终架构浮出水面:首先,通过视觉感知网络生成三维向量空间,对于仅有唯一解的问题,可直接生成明确的规控方案,而对于有多个可选方案的复杂问题,使用向量空间和感知网络提取的中间层特征,训练神经网络规划器,得到轨迹分布其次,融入成本函数、人工干预数据或其他仿真模拟数据,获得最优的
9、规控方案最终生成转向、加速等控制指令,由执行模块接受控制指令实现自动驾驶图表:特斯拉FSD感知-规划-控制整体架构资料来源:TESLA 2021 AI day,youtube,德邦研究所10请务必阅读正文之后的信息披露及法律声明。2.2神经网络(Neural Networks)为什么要这么走?11请务必阅读正文之后的信息披露及法律声明。算法经历多次迭代,BEV+Transformer+Occupancy为当前架构图表:特斯拉FSD算法迭代历程资料来源:汽车之心微信公众号,德邦研究所12请务必阅读正文之后的信息披露及法律声明。2.2.1占用网络(Occupancy Network)我周围有什么?
10、如何分布13请务必阅读正文之后的信息披露及法律声明。升级至Occupancy能够有效优化障碍物识别问题图表:Occupancy有效解决了一般障碍物识别问题资料来源:THINK AUTONOMOUS官网,德邦研究所14请务必阅读正文之后的信息披露及法律声明。HydraNets(九头蛇网络)为视觉感知网络的基础结构进行多任务训练并输出感知结果在BEV空间内进行特征层融合,并融入时序信息输入原始数据,通过backbone进行特征提取图表:特斯拉HydraNets(九头蛇网络)架构示意图资料来源:TESLA 2021 AI day,youtube,德邦研究所整理cacheBackboneNeckHea
11、dHeadHead网络基础结构九头蛇网络(HydraNets)由主干(Backbone)、颈部(Neck))与多个分支头部(Head)共同组成。主干层将原始视频数据通过残差神经网络(RegNet)及多尺度特征融合结构(BiFPN)完成端到端训练,提取出颈部层的多尺度视觉特征空间(multi-scale features),最后在头部层根据不同任务类型完成子网络训练并输出感知结果优势一:特征共享(Feature Sharing)。使用同一主干网络提取特征并共享给头部使用,可以在测试阶段分摊在车上运行的前向判断,避免不同任务之间重复计算现象,提升网络运行效率优势二:任务解耦(De-Couples
12、Tasks)。不同类型子任务之间可以进行解耦,这样可以单独处理每一项任务,对单项任务的升级不必验证其他任务是否正常,升级成本更低优势三:特征缓存(Representation Bottleneck)。因为这里存在颈部,可以将特征缓存到硬盘,具有较强的扩展性15请务必阅读正文之后的信息披露及法律声明。通过端到端的感知训练模型,从数据输入到空间向量输出Step 1 图像输入(Image Input):校准每个相机的图片,将原始12位RGB图像(而非典型的8位)输送给网络。多了4位信息能够使得动态范围提升16倍,同时减少延迟(无需在循环中运行图像信号处理ISP)Step 2 图像校准(Rectify
13、):通过不同的汽车采集到的数据共同构建一个通用感知网络架构,不同汽车由于摄像头安装外参的差异,可能导致采集的数据存在微小偏差,为此特斯拉在感知框架中加入了一层“虚拟标准相机(virtual camera)”,引入摄像头标定外参将每辆车采集到的图像数据通过去畸变、旋转等方式处理后,统一映射到同一套虛拟标准摄像头坐标中,从而实现各摄像头原始数据校准,消除外参误差,确保数据一致性,将校准后的数据传输给主干神经网络进行训练Step 3 特征提取(Image Featurizers):用一组RegNet(特定残差网络,specific class of resnets)和BiFPN(加权双向特征金字塔网
14、络)作为提取图像空间特征的主干图表:加入virtual camera校准图像数据偏差资料来源:TESLA 2021AI day,youtube,德邦研究所16请务必阅读正文之后的信息披露及法律声明。Step 4 构造空间位置(Spacial Attention):将摄像头采集到的数据通过【BEV空间转换层】构造一组3D位置,同时将图像信息作为键(key)值(value),输入给一个注意力模型(核心模块是【Transformer神经网络】)。注意力模型的输出是高维空间特征,这些高维空间特征与车辆上的里程数据进行暂时协调,来推导出运动。该方案厉害之处在于可以将地面坡度、曲率等几何形状的变化情况内化
15、进神经网络的训练参数中Step 5 时间对齐(Temporal Alignment):上述高维空间暂时特征经过一组反卷积,产生最终的占用率和占用率流输出。它们生成的是固定尺寸块的网格,为了提高精度,模型还生成了per volex feature MAP输入到MLP中,借助3D空间点查询(query)来获取任意点的位置和语义信息图表:BEV+Transformer实现二维图像空间向三维向量空间的转变资料来源:TESLA 2021AI day,youtube,德邦研究所图表:通过输入视频片段为自动驾驶增添短时记忆能力资料来源:TESLA 2021AI day,youtube,德邦研究所通过端到端的
16、感知训练模型,从数据输入到空间向量输出17请务必阅读正文之后的信息披露及法律声明。2.2.2车道线及障碍物感知(Lanes&Objects)周围的物体下一步去往哪里?18请务必阅读正文之后的信息披露及法律声明。基于3D Occupancy迭代车道线及障碍物感知模型早期,将车道检测问题建模为一个图像空间内实时分割的任务,只能从几种不同的几何形状中辨别车道。具体而言,可以分别出当前车道、相邻车道,能特别处理一些交叉和合并的情况,然后用粗略的地图数据对其进行增强。这种简化模型对高速这种高度结构化的路是有效的当前,引入Map Component,使用了低精度地图中关于车道线几何/拓扑关系的信息(车道线
17、数量/宽度、特殊车道属性等),并将这些信息整合起来进行编码,与视觉感知到的特征信息一起生成车道线(Dense World Tensor)给到后续Vector Lane模块图表:车道线及障碍物感知模型资料来源:TESLA 2022AI day,youtube,德邦研究所基于2D BEV基于3D Occupancy,是具有高低起伏变化的车道线感知19请务必阅读正文之后的信息披露及法律声明。问题一:如何预测车道?图表:特斯拉车道预测方案资料来源:TESLA 2022AI day,youtube,德邦研究所从某一点(绿点)开始进行预测描绘先对现实世界做粗略处理,做一个可能的位置热点图,锁定在可能性最大
18、的位置上。以此为条件对预测进行改进,获得准确的点该位置被编码到一个离散化的3D粗略网络中,但并不直接在3D网格中做预测描绘(计算成本较高)最有可能的位置然后不断重复该过程,直到枚举了车道中所有的点车道图也即希望从网络上获得最终结果20请务必阅读正文之后的信息披露及法律声明。问题二:如何预测道路上其他对象的未来行为图表:障碍物感知是一个两阶段的感知资料来源:TESLA 2022AI day,youtube,德邦研究所预测所有物体的属性,在实时系统上造成了一些具体实施问题。需要让对象堆栈部分实现帧率最大化,自动驾驶才能对变化的环境做出快速反应。为了尽量减少延迟,神经网络被分为两个阶段:第一阶段,确
19、定对象在3D空间中的位置第二阶段,在这些3D位置取得张量,附加车辆上的额外数据和一些其他处理这个规范步骤使得神经网络专注于计算最关键的区域,能够付出很小的延迟成本获得优异性能21请务必阅读正文之后的信息披露及法律声明。2.3训练数据(Training Data)为什么这么走是正确的?22请务必阅读正文之后的信息披露及法律声明。2.3.1自动数据标注(Auto Labeling)23请务必阅读正文之后的信息披露及法律声明。由2D手工标注逐步升级为4D自动标注,数据闭环趋于完善外包第三方进行数据标注组建超1000人团队进行手工标注自动标注图表:特斯拉数据标注由2D手工标注逐步升级为4D自动标注资料
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 特斯拉 FSD 自动 驾驶 方案 深度 解析 报告
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【Stan****Shan】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【Stan****Shan】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。