基于位姿插值的相机和激光外参在线标定.pdf
《基于位姿插值的相机和激光外参在线标定.pdf》由会员分享,可在线阅读,更多相关《基于位姿插值的相机和激光外参在线标定.pdf(5页珍藏版)》请在咨信网上搜索。
1、电子设计工程Electronic Design Engineering第31卷Vol.31第16期No.162023年8月Aug.2023收稿日期:2022-04-02稿件编号:202204007作者简介:周媛媛(1994),女,湖北武汉人,硕士研究生,助理工程师。研究方向:摄影测量与遥感。近几年来,自动驾驶技术发展迅速,通过多传感器融合方案来保证自动驾驶场景下的稳定感知是主流趋势,其中激光雷达与摄像头可以提供互补信息,是目前常用的融合方案。激光雷达和相机融合的基础就是精确的外参标定,即对两个传感器相对刚体变换的精确估计。一些早期的校准工作使用人工标靶(例如棋盘和特定标定板)来标定LiDAR和
2、相机1-6。然而,大多数基于标靶的校准算法耗时、费力且离线,需要经常重新校准。一些针对激光雷达和相机的标定方法开始侧重于实现全自动且无人工标靶的在线标定7-12。然而,目前大多数在线自标定方法对标定场景有严格的要求,且需要事先完成两个传感器的时间同步,才可以利用时间同步好的两种传感器信息进行标定。针对以上难点,文中提出了一种基于位姿插值和自然平面目标的相机与激光雷达外参在线标定方法,仅通过车辆在线获取的图像和激光雷达点云数据进行在线标定,在无标靶和传感器未时间同步情基于位姿插值的相机和激光外参在线标定周媛媛,易 鹏,马 力(广州市城市规划勘测设计研究院,广东 广州 510000)摘要:传感器之
3、间的外参标定是实现高效多传感器融合的前提,针对相机和激光雷达在无靶标和传感器时间不同步情况下的外参在线标定问题,文中提出了一种基于位姿插值和自然平面目标的相机与激光雷达外参在线标定方法。通过车辆在线获得的自然场景图像和激光点云信息中语义目标的对应信息,计算出相机和激光雷达的外参变换。实验表明,文中方法在通常的自动驾驶场景中可以高效提取到特定平面目标的2D掩模以及其对应的3D点云,并且即使传感器时间未同步,依然可以在线计算出较精确的外参变换结果。关键词:激光雷达;外参;在线标定;自然平面目标;位姿插值中图分类号:TN919文献标识码:A文章编号:1674-6236(2023)16-0043-04
4、DOI:10.14022/j.issn1674-6236.2023.16.009Online extrinsic calibration of camera and LiDAR based on pose interpolationZHOU Yuanyuan,YI Peng,MA Li(Guanzhou Urban Planning&Design Survey Research Institue,Guangzhou 510000,China)Abstract:The extrinsic calibration between different sensors is a prerequisit
5、e for efficient multisensorfusion.In order to solve the problem of online calibration of extrinsic parameters of the LiDAR andcamera when there is no target and sensor time is not synchronized,this paper proposes an onlinecalibration method of camera and LiDAR extrinsic based on pose interpolation a
6、nd natural plane target.The extrinsic transformations of the camera and LiDAR are calculated only through the images of thenatural scene and the LiDAR 3D point cloud information obtained by the vehicle online.Experimentsshow that the method in this paper can efficiently extract the 2D mask of a spec
7、ific plane target and itscorresponding 3D point cloud in the usual automatic driving scene.Even when the sensor time is notsynchronized,the precise extrinsic parameter transformation result can still be calculated online.Keywords:LiDAR;extrinsic;online calibration;natural plane targets;pose interpol
8、ation-43电子设计工程 2023年第16期况下依然可以获取精确的外参数据。1外参在线标定方法流程图 1 所示为整个算法的流程图,在车辆运行过程中,激光和图像数据会分别通过各自的 SLAM 算法估计其对应的位姿。当传感器未完成时间同步时,该方法首先通过B样条曲线拟合进行位姿插值,实现 LiDAR 和相机位姿的时间对齐,并以此利用位姿图优化计算外参变换初值。接着通过图像的语义分割获得场景中的平面物体的掩膜,之后利用变换初值计算 2D 掩膜对应激光雷达中的 3D 点云锥,并基于点云生长优化对应点云锥结果;最后构造基于2D 物体掩膜和对应 3D 点云锥的投影残差损失函数,通过非线性优化获得精准的
9、外参标定结果。图1在线标定算法流程图2基于B样条曲线拟合的SE(3)位姿插值对于车辆在线获取的两种传感器数据,首先会各自利用该传感器数据进行 SLAM 的位姿估计,估计出每个时刻该传感器的位姿信息,相机基于ORB-SLAM313的单目方法进行位姿估计,3D 激光雷达则利用 F-LOAM14方法进行位姿估计。但是当两种传感器未事先完成时间同步时,这两种传感器的位姿无法在时间上同步,即无法知道同一时刻下这两个传感器分别对应的位姿信息,位姿无法完成对应。因此,该方法首先基于B样条曲线拟合,以激光雷达轨迹估计结果作为基准,对相机估计轨迹中的 SE(3)位姿进行插值,获得密集对应的位姿结果,完成两种传感
10、器在时序上的位姿对应。再利用对应好的位姿,进行投影误差函数的构建。最后,通过位姿图优化解算获得两种传感器各自估计轨迹的相对变换矩阵,作为激光雷达和相机外参的变换初值。下面将介绍B样条曲线拟合的位姿插值原理。时间连续位姿T(t)由转动分量R(t)和平移分量p(t)组成:T(t)=R(t)p(t)0T1(1)B样条曲线通过混合离散位姿TkK1来定义连续位姿。文中方法在TkSE(3)上进行插值,控制点TkSE(3)的样条曲线构造为:T(t)=exp(log(T1)B1)k=2Kexp(ln(T-1K-1Tk)Bk(t)(2)这是在每个 B样条窗口内对组进行线性插值的混合。待插值的位姿定义为从体坐标系
11、到全局坐标系的变换,即:T(R,p)=Rp0T1(3)其中,p是全局坐标系中的样条位置,R是从体坐标系到全局坐标系的旋转。一个转动用于表示两个姿势之间的移动:ln(T-11T2)=lnRT1R2RT1(p2-p1)0T1(4)转动=(,)SE(3)由平移 v(有方向和尺度)和轴角向量组成。通过将转动与一个标量相乘,可以得到SE(3)中的一个元素,其解析表达式如下:exp()=exp0T0=exp()(I-exp()+T0T1(5)其中,.是叉积算子,即ab=ab,与此类似,式(4)中的转动由基函数值Bk(t)加权,并在式(2)中取幂,因此可以确定与Bk(t)。3基于深度学习的图像2D掩膜及其对
12、应3D点云锥获取该方法使用语义分割方法15分割出图像中的语义 2D 掩膜,在将感兴趣的平面目标掩膜分割出之后,利用上节获得的变换初参,可以从 2D 掩模区域进行逆锥投影来搜索该 2D框对应的激光雷达 3D点云区域,实现在小范围内提取平面目标点。然而,因为初参不精准等原因,对应的3D空间点云可能只有-44部分在投影锥中,因此通过引入点云生长的方法来补齐 3D平面目标点云。首先将图像 2D的掩膜区域按照 2 倍比例扩大,逆锥投影区域也相应地进行扩大,之后根据激光雷达点云位置构建无向图。对不同的子类选取随机的图上顶点作为种子点,以种子点为基础进行生长,从而完成对3D平面目标点云的补齐。最后构造基于
13、2D物体掩膜和对应 3D点云锥的投影残差损失函数,通过非线性优化获得精准的外参标定结果。4实验文中实验所用的数据集是公开的自动驾驶数据集-KITTI数据集16,KITTI数据集是目前最常使用的自动驾驶数据集之一。KITTI数据集包含有彩色摄像机和一个 Velodyne 64线激光雷达的数据,彩色摄像机为全局曝光的 CCD 相机,文中在 KITTI 数据集中的 Odometry数据集进行实验,采用彩色相机和激光雷达的数据进行实验。KIITI数据集中示例图像及其对应的激光点云如图2所示。图2KITTI数据集中示例图像及其对应的激光点云两种传感器分别估计得到的轨迹结果如图 3所示,其中下方的实线轨迹
14、为未处理的相机估计轨迹,虚线轨迹为激光估计的轨迹,因为相机估计方法采用的是 ORB-SLAM3 的单目方式,相机估计轨迹与真实世界存在一个尺度偏差,因此实线轨迹的尺度与虚线轨迹的尺度相差较大。图4所示为利用基于B样条曲线拟合的SE(3)位姿插值,实现两种传感器轨迹时序上的位姿对应后的结果,其中实线轨迹为插值后对应完成的相机轨迹,虚线轨迹为激光轨迹。可以看出,文中方法不仅将两个轨迹的尺度对齐,而且完成了位姿时序上的对应。基于初参的结果,构造基于2D物体掩膜和对应3D点云锥的投影残差损失函数,最后通过非线性优化获得精准的外参标定结果。获得精确外参后可以将激光雷达点云投影到图像上,结果如图 5所示,
15、可以看出文中方法很好地将激光点云投影到对应的物体上17。5结论文中针对自动驾驶场景中相机和激光雷达在无靶标和传感器时间未同步情况下的在线标定问题,研究了利用 SE(3)位姿插值和自然平面目标的外参在线标定方法,并通过在通用公开数据集进行实验验证了提出方法的高效性,利用文中方法在线标定出的外参结果,可以较精确地将激光点云投影到图像中。文中方法无需事先完成传感器时间同步和进行复杂的环境设置,在车辆运行过程中进行自动标定,大大降低了激光和相机外参标定的复杂性,具有很高的实用价值和意义。参考文献:1 An P,Ma T,Yu K,et al.Geometric calibration for图3两种传
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 位姿插值 相机 激光 在线 标定
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。