基于三维点云的物体6D位姿估计方法.pdf
《基于三维点云的物体6D位姿估计方法.pdf》由会员分享,可在线阅读,更多相关《基于三维点云的物体6D位姿估计方法.pdf(5页珍藏版)》请在咨信网上搜索。
1、 微机应用 1引言物体 6D 位姿估计的目标是获得相机坐标系下目标物体的三自由度平移和三自由度旋转坐标。传统的方法仅通过分析 RGB 二维图像来完成位姿估计任务,通常使用人工特征(匀andcraft 云eatures)来建立输入图像与标准图像之间的关系,从而获得物体的位姿信息。近年来,随着 Kinect 等 RGB-D 相机的日益普及,许多位姿估计方法开始使用三维点云信息完成物体的位姿估计。随着深度学习逐渐成为计算机视觉领域的热点问题,越来越多的位姿估计方法也开始使用深度学习提高位姿估计结果的准确性。为掌握这一领域研究的现状和趋势,本研究对基于三维点云输入的物体 6D 位姿估计方法进行了总结和
2、讨论,对以三维点云为输入的物体 6D 位姿估计方法进行总结与分析。对近年来 CVPR、WACV、ICCV 等计算机视觉顶级会议及刊物中有关物体位姿估计的方法进行分析,介绍基于三维点云输入的基于三维点云的物体 6D 位姿估计方法*张子昂1,李宏胜1,任飞2,王勇3,张涛2(1.南京工程学院自动化学院,南京 211167;2.南京智慧交通信息股份有限公司智能网联工程技术研究中心,南京 210000;3.榆林学院信息工程学院,陕西 榆林 719000)摘要:物体 6D 位姿估计近年来在计算机视觉及其他领域有着广泛的应用。为了掌握目前基于三维点云的物体 6D 位姿估计方法研究现状和趋势,对传统和基于深
3、度学习的物体 6D 位姿估计的有代表性的方法进行汇总和分析。从基于三维模板、基于对应关系、基于投票三个种类的方法入手,详细介绍物体 6D 位姿估计方法的实现方式和优缺点,同时对其他最新的位姿估计方法作简要介绍。通过对基于三维点云输入的物体 6D 位姿估计方法的使用场景的总结,剖析了现存的问题,也提出了对未来发展方向的展望。关键词:6 自由度位姿估计;三维点云;深度学习;计算机视觉DOI:10.3969/j.issn.1002-2279.2023.04.012中图分类号:TP391.4文献标识码:A文章编号:1002-2279(2023)04-0042-056D 韵bject Pose Esti
4、mation Method Based on 3D Point CloudZHANG Ziang1,LI Hongsheng1,REN Fei2,WANG Yong3,ZHANG Tao2(1.School of Automation,Nanjing Institute of Technology,Nanjing 211167,China;2.Intelligent Networking EngineeringTechnology Research Center,Nanjing Intelligent Transportation Information Co.,Ltd.,Nanjing 21
5、0000,China;3.SchoolofInformationEngineering,YulinUniversity,YulinShaanxi,719000,China)Abstract:6D object pose estimation has been widely used in computer vision and other fields inrecent years.In order to grasp the current research status and trend of 3D point cloud-based 6D objectpose estimation me
6、thods,the traditional and representative methods of 6D object pose estimation based ondeep learning are summarized and analyzed.Starting with three kinds of methods based on 3D template,correspondence and voting,the realization methods,advantages and disadvantages of the 6D object poseestimation met
7、hod are introduced in detail,and other latest pose estimation methods are brieflyintroduced.By summarizing the application scenarios of the method for estimating the 6D object posebased on the input of 3D point clouds,the existing problems are analyzed,and the future developmentdirection is also put
8、 forward.Key words:6DoF pose estimation;3D point cloud;Deep learning;Computer vision基金项目:南京工程学院大学生科技创新基金项目(TB202317028);陕西省科技厅项目(2021SF-511);中国陕西省榆林高新区科技局项目(CXY-2021-37);中国陕西省榆林市科技局项目(CXY-2020-002-04)作者简介:张子昂(1998),男,江苏省徐州市人,硕士研究生,主研方向:计算机视觉,人工智能。通讯作者:李宏胜(1966),男,江苏省南京市人,博士,教授,主研方向:人工智能,机器人控制。收稿日期:2
9、023-04-24*微处理机MICROPROCESSORS第 4 期2023 年 8 月No.4Aug.,20234 期物体 6D 位姿估计最近的研究成果。将基于三维点云输入的物体 6D 位姿估计方法按传统和基于深度学习的方法分别分为三类:基于三维模板、基于对应关系、基于投票。在每类方法的具体分析中给出各文献研究中的关联性与区别性。同时对其他最新的位姿估计方法作简要介绍,总结物体位姿估计面临的挑战和未来发展趋势。2基于三维点云输入的传统方法2.1基于三维模板方法基于三维模板的物体 6D 位姿估计方法典型流程图如图 1 所示。首先针对不同的图像采集设备将其三维输入转换为点云并进行图像分割,然后通
10、过与目标对象的完整点云模板比较,寻找出与完整点云最匹配的 6D 变换。因其自身的特点,基于三维模板的 6D 位姿也可以视为部分点云的配准问题。4PCS 算法1是一种被广泛使用的点云粗配准方法。它基于 RANSAC 思想,在源点云与待配准点云中寻找对应的两组点,进而计算出源点云与待配准点云之间的变换矩阵。在源点云 孕 中选择共面不共线的四个点作为 4 点基 粤,示意图如图 2 所示,且有如下公式:由此二式计算可得 r1及 r2。因为 r1及 r2的仿射不变性,在待配准点云 Q 中的 r1与 r2均可推出,可根据求解 Q 中可能的交点 e1与 e2找到与点基 A 对应的 4 点基,所有对应的 4
11、点基构成 4 点集。4PCS根据上述方法找到待配准点云 Q 中所有与 4 点基 A对应的 4 点集 U=U1,U2,.,Un,由每个 4 点集 Ui及其对应的 4 点基 A 计算出相应的变换矩阵 Ti,将源点云按照所得变换矩阵 Ti进行变换,找到变换后一致性 4 点集个数最多的变换矩阵。一直重复上述步骤直到找到最优变换矩阵,实现点云配准。4PCS算法利用穷举法搜寻最优解,虽然具有较好的鲁棒性,但其计算时间会随着点数的增加而不断增加,因此只对数据量小的点云数据有较好的适配性。Super4PCS2在 4PCS 算法的基础上通过以待配准点云中任一点 qi为球心,将所得的 r1、r2作为直径构造球域,
12、在直径依着 范围内搜索对应点对,以减少搜索范围,同时引入待匹配点对间的夹角 琢 将待匹配点云中不满足该夹角的候选 4 点集去除,进一步提高了算法的效率。ICP3作为常用的精配准算法,其基本原理基于最小二乘法的最优匹配。对于源点云 载=x1,x2,.,xNx和目标点云 P=p1,p2,.,pNp,其中 xi和 pi表示点云坐标,Nx和 Np表示点云的数量,R 为旋转矩阵,T 为平移矢量,由此,ICP 算法的误差函数如下式:进行配准前先设置迭代次数阈值、最终误差阈值与单次误差阈值。对源点云中的每一个点在待配准点云中找到误差函数值最小的点作为对应点,并求解对应的空间变换矩阵。根据公式(3)推得本次迭
13、代的配准误差。当配准最终误差小于最终误差阈值且单次迭代误差小于单次误差阈值或超过迭代阈值数时,迭代终止,然后根据相关数据计算最终的变化矩阵。ICP 算法的优势在于不断迭代得到最终的变化矩阵实现点云配准,但对源点云与待配准点云的初始位置要求较高。如果两点云初始位置较远,ICP算法容易陷入局部最优而得出错误的配准结果。2.2基于对应关系方法基于对应关系的物体 6D 位姿估计方法是在观察到的输入数据和现有的完整 3D 物体模型之间找到对应关系。输入为三维点云时,需要找到观察到的部分点云和完整 3D 模型之间的 3D 点对应关系,从而恢复 6D 物体姿态。在处理深度图像时,可以使用 3D 描述符进行匹
14、配,流程如图 3 所示。传统的 3D 局部形状描述符有聚类视点特征直方图 CVFH(Clustered ViewpointFeature Histogram)4和 SHOT(Signature of Histogramof Orientation)5等。图 1基于三维模板的物体 6D 位姿估计方法(1)1/raeab(2)2/rcecd图 24 点基示意图(3)211(,)pNiip ifxpNR TRT三维输入点云分割目标对象完整点云穷举出与完整点云匹配的位姿选取最佳的6D位姿abcde张子昂等:基于三维点云的物体 6D 位姿估计方法窑43窑微处理机2023 年CVFH 是受到视点特征直方图
15、(VFH)较好的计算效率和识别性能所启发而提出的描述符,在 VFH的基础上针对物体具有遮挡的情况下识别效果较差的缺点进行改进。CVFH 是利用局部特征的鲁棒性和单视角的视点特征来计算得到的全局描述符,其被定义为。其中 a、渍、兹、茁 是VFH 中的全局 FPFH 部分和视点部分,SDC 是CVFH 中的形状分布量,其计算如下式:其中 pc是所有点的中心点。SHOT 是一种基于局部特征的描述符。它结合了特征编码和直方图统计的思想,在特征点处建立局部坐标系,将邻域点的空间位置信息和几何特征信息结合起来描述特征点。对于点云中的查询点 p,建立半径为 r 的球型邻域,设定 pk为邻域中的点,p赞为邻域
16、内所有点的质心;dk为邻域内点到p赞的距离,则邻域的协方差矩阵可由下式表示:由协方差矩阵可求得特征值与特征向量。将特征值从大到小排列,其对应的特征向量即为 X、Y、Z坐标轴。在球形邻域内按经线划分为 8 个部分,按纬线和径向方向分为两个部分,形成 32 个子空间。在每个子空间内计算 p 的法向量与 pk的夹角余弦值 cos(兹k)从而确定局部参考系的 Z 轴。将横轴上的区间-1,1分为 11 等分,通过计算并统计 cos(兹k)形成 11 维直方图。将 32 个子空间的直方图汇总形成352 维的直方图,经过归一化处理后最终得到 SHOT特征描述符。上述传统的 3D 描述符可用于查找部分三维点云
17、与完整点云之间的对应关系,以获得 6D 姿态。但在实际应用中,该类描述符对目标对象的几何特征有一定的要求,在几何特征不丰富的物体上应用效果较差。2.3基于投票方法在基于投票的位姿估计方法中,每个像素或每个点都对位姿估计的结果做出贡献。这一方法可分为间接投票与直接投票。间接投票是对特征点进行投票,以便于实现 3D 对应;直接投票是直接对具体的 6D 位姿进行投票以确定物体 6D 位姿。在间接投票方法中,PVN3D6将根据二维关键点来判断物体位姿的 PVNet 推广到三维关键点中,流程如图 4 所示。从 RGB-D 输入中通过三个模块分别预测关键点、语义标签和中心偏移,然后使用聚类算法区分具有相同
18、语义标签的不同实例,利用霍夫投票来确定物体的三维关键点,用最小二乘法来拟合位姿参数。在直接投票方法中,如果把被投票物体位姿看做相应的模板,则可把此类方法视为对模板进行投票。文献7提出点对特征 PPF(Point Pair Features),从深度图像中估计物体的 6D 姿态。假设物体所处环境和物体模型都可表示为一个有限有向点集合,每个有向点都有一个法线。在离线阶段,先在环境中选取一组参考点,使其他点都与参考点配对以创建点对特征。这些特征与全局模型描述中包含的模型特征相匹配,在此过程中同时还可获取一组潜在的对应关系,每一个潜在的对应关系都对位姿进行投票。因为点对特征的获取不需要物体的表面纹理信
19、息,所以 PPF 对低纹理物体的位姿估计具有优势。3加入深度学习的估计方法3.1基于三维模板的改进方法近年来深度学习被越来越多应用在基于三维模板的物体位姿估计方法中。这些方法使用一对点云,从 3D 深度学习网络中提取并判别有代表性的特征,然后回归出这对点云之间的 6D 变换关系。文献8开创性地提出了 PointNet,将深度学习直接用于三维点云数据和点云全局特征的提取上。它提出用对称函数解决点的无序性问题,同时设计出能进行分类和分割任务的网络结构。但 PointNet提取的点云特征缺乏局部信息,并不适用于位姿估图 3基于对应关系的 6D 物体位姿估计流程(4)2c2c()SDCmax()iip
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 三维 物体 估计 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。