![点击分享此内容可以赚币 分享](/master/images/share_but.png)
LSFP下的机器人视觉定位技术研究_魏永超.pdf
《LSFP下的机器人视觉定位技术研究_魏永超.pdf》由会员分享,可在线阅读,更多相关《LSFP下的机器人视觉定位技术研究_魏永超.pdf(7页珍藏版)》请在咨信网上搜索。
1、第 44 卷 第 4 期2023 年 4 月 激光杂志LASER JOURNALVol.44,No.4April,2023http /收稿日期:2022-08-21基金项目:国家自然科学基金(No.U1633127)、西藏科技厅重点研发计划(No.XZ202101ZY0017G)、中国民航飞行学院科技基金(No.CJ2020-01)、大学生创新创业训练计划项目(No.S202110624114)作者简介:魏永超(1981-),男,博士,教授,研究方向为光电信息处理、机器视觉。E-mail:mylife001 通讯作者:邓毅(1998-),男,硕士研究生,研究方向为机器视觉,点云处理。E-mai
2、l:dengyi_00 LSFP 下的机器人视觉定位技术研究魏永超,邓 毅,李 涛,李 锦,朱姿翰,徐未其中国民用航空飞行学院,四川 德阳 618307摘 要:针对当前点云的定位算法中,多平面分割效果差、误匹配以及定位精度不够高等问题,提出 LSFP的定位思想和 C-S 分割算法,对目标物体进行定位。在深度相机场景下,利用点云处理算法初步获取目标的位姿,经手眼标定后,进行初步引导;再使用 3D 扫描仪进一步定位目标物体。结果表明:(1)C-S 分割算法对多平面分割效果良好,能更准确地去除多余平面,减少点云数量。(2)在垂直于 Z 轴且 Z 轴坐标值为 171 mm 和-10 mm 的平面上,仅
3、 PrimeSense 的定位距离的均方根误差为 7.3 mm 和 8.2 mm,LSFP 下的定位距离的均方根误差为 2.6 mm 和3.2 mm。(3)LSFP 定位思想能扩大场景定位的范围,提高物体的定位精度,具有良好的准确性。关键词:三维点云;位姿估计;LSFP;C-S 分割算法;手眼标定中图分类号:TN209 文献标识码:A doi:10.14016/ki.jgzz.2023.04.025Research on robot vision positioning technology under LSFPWEI Yongchao,DENG Yi,LI Tao,LI Jin,ZHU Zi
4、han,XU WeiqiCivil Aviation Flight University of China,Deyang Sichuan 618307,ChinaAbstract:At the problems of poor multi-plane segmentation,mis-matching and insufficient localization accuracy in the current localization algorithm of point clouds,the localization idea of LSFP and C-S segmentation algo
5、rithm are proposed to localize the target object.In the depth camera scene,the point cloud processing algorithm is used to ini-tially obtain the bit position of the target,which is initially guided by hand-eye calibration;then the 3D scanner is used to further localize the target object.The results
6、show that:(1)the C-S segmentation algorithm works well for multi-planar segmentation and can more accurately remove redundant planes and reduce the number of point clouds.(2)On planes perpendicular to the Z-axis and with Z-axis coordinate values of 171 mm and-10 mm,the root mean square error of the
7、localization distance is 7.3 mm and 8.2 mm for PrimeSense only,and 2.6 mm and 3.2 mm for LS-FP.(3)The LSFP localization idea can expand the range of scene localization and improve the object localization ac-curacy with good accuracy.Key words:3D point cloud;posture estimation;LSFP;C-S segmentation a
8、lgorithm;hand-eye calibration01 引言在人工智能时代,人类通过视觉可以获取众多的外部信息,若将这一特点应用到机器人上,其应用领域更加广泛。视觉定位技术在其中扮演着重要的角色,机器人通过机器视觉实现对物体的识别,从而进行后续操作。深度相机获取三维信息是目前机器视觉和自动驾驶等领域的主流手段,且基于三维信息的视觉定位方法已经被广泛研究。吴柳生1通过引入霍夫变换的投票策略对得到的多个位姿进行聚类,并以 ICP 算法进行优化。陈廷炯2使用语义分割网络进行粗匹配,用 K-D 树加快运行速度并引入对应点采样机制加速 ICP 算法迭代,以应对在复杂环境下对无纹理、相互间有遮挡的
9、机器人零件抓取任务。魏玉峰3提出了一种多模态信息的视觉定位与识别,通过二维图像定位物体位置信息、点云图像定位物体方向http /信息,最终完成物体的识别与定位。Charles R.Qi4-5等人提出 PointNet,并研究了 Frustum PointNets 在大规模场景中如何有效地估计目标物体的位姿。同样研究的还有 Anshul Paigwar6等人,提出基于注意机制新的三维定位网络模块,减少了要处理的点的数量和推理时间。在场景定位过程中,场景分割的效果直接决定定位的精度。魏玉锋和吴柳生等人在物体识别与定位过程中,利用欧式聚类分割在实验平台进行定位实验,并利用包围盒大小将其删除无效点云,
10、取得较好效果。郭交通7在 RANSAC 算法和区域生长算法的基础上提出一种过分割再融合的平面点云分割方法,通过迭代方式分割场景平面点云。在应用方面,如哈尔滨工程大学和北京领邦仪器公司设计研发的用于零件检测的视觉分拣系统。尽管视觉定位技术相关研究火热,但在许多工厂实际应用中仍采用示教器或者单目相机,不能满足多样化的工厂作业。基于以上研究,发现机器视觉定位对适应多样化工业任务具有重大意义。但随着场景及目标物体的变化,对视觉定位的准确性和可操作性要求较高。结合深度相机与 3D 扫描仪的视场特点,提出一种“大视场引导,小视场定位”的思想,即 LSFP(Large and Small FOV Posit
11、ioning);针对欧式聚类分割等平面分割的不完全,提出 C-S 分割算法。并搭建基于 LSFP的手眼标定硬件系统,完成对目标物体的识别和定位,验证了所提出的思想和分割算法对物体进行识别与定位的准确性和可行性。2 点云位姿估计算法对原始点云采用滤波、采样算法,减少整体场景点云的数量;采用分割等算法,获取目标物体的点云信息。提出 C-S 分割算法,针对不同场景都有较好的分割效果。使用 CVFH 描述子,在有遮挡的情况也可以有较好的识别效果;结合 FPFH 特征描述子,获取目标物体的位姿信息。并提出 LSFP 的定位思想,即视场大的深度相机和视场小但精度高的 3D 扫描仪结合,当场景大且杂时,利用
12、深度相机定位目标物体或附近明显的标志物体,即进行位姿的初步引导;当在3D 扫描仪视场范围内时,再使用 3D 扫描仪获取高精度的场景点云进行定位。算法整体结构如图 1 所示。2.1 点云获取将从深度相机得到的原始场景点云进行滤波、降采样处理,如图2 所示,2(a)左为原始点云,2(a)右为采样后点云,数据量由原本的 74 519 个下降到 7 426个;针对噪声等杂乱点云进行滤波处理,统计滤波器用于去除明显离群点的效果如图 2(b)所示;半径滤波器用于去除明显离群点如图 2(c)所示;直通滤波如 2(d)所示,可以根据深度相机或 3D 扫描仪与目标物体的相对位置设置点云在 x,y,z 方向上的范
13、围,较快减除离群点。图 1 算法整体结构图(a)(b)(c)(d)图 2 点云滤波效果62魏永超,等:LSFP 下的机器人视觉定位技术研究http /2.2 C-S 分割算法不同的点云数据,它们的空间、几何、颜色以及纹理特征不同,点云分割以上述特征为依据对点云数据进行划分。在 PCL 库中实现有欧式聚类分割8、基于随机采样一致性分割9、区域生长分割10等。为了增强分割效果,提高后续配准精度,提出 C-S 分割算法,如图 3 所示,基本流程如下:1)原始点云数据为输入点云集 P,用 K-D 数建立离散点之间的拓扑关系,并新建一空的聚类Qi和点队列 M;2)对每个点 pn(pnP),用 k 近邻搜
14、索找到其最近的 n 个点,计算欧氏距离,将这 n 个点中到 pi的距离小于阈值 r 的点放入中;pi-Mi2r,(Mi Mni)3)对所有 pnP 的点云,均执行第二步,当 Mni中不再有新的点加入时,一个聚类完成,判断聚类中点云数量是否小于设定聚类簇数量的阈值下限 1和阈值上限 2,若大于 1且小于 2则将其加入 Qi中,并在剩余点云中选取新的种子点,继续执行以上步骤,直到遍历完所有点。4)当 Qi=0 时,设置一个空的种子点序列 N 和一个空的聚类数组 pn,选择种子点,加入到 N 中。5)搜索当前种子点的邻域点 pn,计算邻域点的法线与当前种子点的法线之间的夹角 i,小于平滑阈值的邻域点
15、加入到当前区域;即 i(为夹角阈值)。图 3 C-S 算法流程图6)检查每一个邻域点 pn的曲率,小于曲率阈值的邻域点加入到 N 中,并删除当前种子点,以新的种子点继续生长,smooth为曲率阈值。smooth,ismooth7)重复进行 4),5),6)步骤,直到种子点序列被清空。此时,一个区域生长完成,并将其加入到聚类数组 pn中;8)对剩余点重复 1)8)的步骤,直到遍历完所有点,复制Qi到。9)再进行一次场景平面分割和聚类分割,若剩余的点云数量 Num2Num(根据自己的实验选取数量),则用于后续配准;否则Qi=R,再代入配准。2.3 点云配准算法点云分割和提取特征描述子后,使用目标物
16、体的模板点云与场景中的点云分割簇进行配准。点云配准可分为粗配准和精配准,粗配准指在点云相对位姿完全未知的情况下对点云进行配准,为精配准提供良好的初始值,使用 SAC-IA 采样一致性初始配准算法11。精配准是在粗配准的基础上,让点云之间的空间位置差异最小化,使用 ICP 迭代最近点算法12。2.4 位姿估计算法的实现目标物体的位姿估计算法如图 1、图 3 所示,深度相机获取场景点云,经过点云去噪、降采样、分割以及特征描述子的计算,获取场景点云的聚类特征信息。如图 5 和 6 所示,实验平台有一个人物模型及其他杂物,通过第一步平面模型分割,尽可能去除场景中的大平面,并得到聚类集Qi。簇间距 d
17、使得场景点尽可能聚集,当 Qi2时,则去除;其余的Qi形成新的场景点云。在实验中发现多平面点时,分割效果较差,且不能形成聚类簇。为保证算法的有效性,额外对 Qi进行判断,若 Qi0,则进行区域生长分割。通过 smooth、数量阈值上限和下限得到 Qi,复制 Qi到R。再次进行聚类分割,若剩余 Qi的点云数量 Num2Num,则 Qi=R。图 4 原始点云分割后得到模板点云图 5 C-S 分割场景图 6 普通欧式聚类分割场景72魏永超,等:LSFP 下的机器人视觉定位技术研究http /图 7 区域生长分割场景图 4 为 C-S 分割算法得到点云目标模板,由图 5可知人物模型所在平面及不相干平面
18、明显被去除,去除效果及保留精度由 C-S 算法的参数确定;由图 6 可知分割后的点云还保留有平面,分割效果不理想。图7 所示的区域生长分割,法线夹角阈值分别为 3、5、8、11,曲率阈值为 1,表明在场景平面中以局部为凸进行分割,分割效果如图所示,对目标物体的分割存在过分割不完全(法线夹角阈值 8、11)以及分割不完全(法线夹角 3、5)等问题。C-S 算法的第一次聚类分割,理论上可以去除场景中的平面,但实际上对参数很敏感,实际场景效果不佳。通过第一次分割簇点云个数的判断,对每一个点云分割簇进行第二次区域生长分割,并设定最大分割簇数以去除杂乱场景。在此基础上再次聚类,通过 Num2 判断剩余场
19、景点云是否满足需求,极大提高算法的容错率和有效性。对目标物体的模板点云 Si进行 CVFH13描述子提取;对分割后的点云簇 Qi提取 CVFH 特征,将 Qi的 CVFH 与模板点云 Si的 CVFH 逐一进行比较,如图8 所示,如小于当前设定相似度阈值,则判断当前场景有目标物体。图 8 CVFH 描述子的识别对当前 Qi和模板点云 Si分别计算表面法线和FPFH 特征,采用 1.3 小节的 SAC-IA 和 ICP 算法进行配准,最终输出目标物体在场景中的位姿矩阵。在其中一个场景点云进行配准,SAC-IA 算法的获取的初始位姿结果如下:TCobj1=0.96-0.110.240.035 40
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- LSFP 机器人 视觉 定位 技术研究 魏永超
![提示](https://www.zixin.com.cn/images/bang_tan.gif)
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。