基于改进SGM的工件高度定位研究.pdf
《基于改进SGM的工件高度定位研究.pdf》由会员分享,可在线阅读,更多相关《基于改进SGM的工件高度定位研究.pdf(8页珍藏版)》请在咨信网上搜索。
1、 第3 8卷 第3期 青 岛 大 学 学 报(工 程 技 术 版)V o l.3 8 N o.3 2 0 2 3年 9 月J O U R N A L O F Q I N G D A O U N I V E R S I T Y(E&T)S e p.2 0 2 3文章编号:1 0 0 6 9 7 9 8(2 0 2 3)0 3 0 0 0 1 0 8;D O I:1 0.1 3 3 0 6/j.1 0 0 6 9 7 9 8.2 0 2 3.0 3.0 0 1基于改进S GM的工件高度定位研究李 哲a,b,于海生a,b,杨晓宇a,b,张鹏鑫a,b(青岛大学 a.自动化学院;b.山东省工业控制技术重
2、点实验室,山东 青岛 2 6 6 0 7 1)摘要:针对工业环境中光照条件不稳定、图像纹理信息缺乏等因素导致目标视差图获取困难的问题,提出一种基于改进半全局立体匹配(s e m i-g l o b a l m a t c h i n g,S GM)算法的工件高度定位方法。采用C e n s u s变换窗口内像素的平均值代替原变换的中心像素值,使算法对噪声更具鲁棒性,减少了原算法对中心像素的依赖。引入S o b e l算子对图像边缘进行检测,依据左右视图的梯度差值划分像素点类别,对路径聚合中的惩罚系数进行自适应调整,通过后续优化处理,得到了最终视差图。为验证本文所述工件高度定位系统的可行性和有效
3、性,搭建机器人实验平台,对所提算法进行实验验证。实验结果表明,本文的改进算法与传统S GM算法相比,误匹配率下降约为8.7 6%,匹配精确度显著提高,工件高度的平均定位误差约为0.7 0 8 mm,满足系统抓取要求。该研究为机械臂精确定位工件高度提供了思路。关键词:双目视觉;S GM算法;C e n s u s变换;自适应系数;高度定位中图分类号:T P 3 9 1 文献标识码:A 收稿日期:2 0 2 3 0 2 0 6;修回日期:2 0 2 3 0 4 0 2 基金项目:国家自然科学基金资助项目(6 2 2 7 3 1 8 9);山东省自然科学基金资助项目(Z R 2 0 2 1 MF 0
4、 0 5)作者简介:李 哲(1 9 9 8),男,硕士研究生,主要研究方向为机器人控制。通信作者:于海生(1 9 6 3),男,教授,博士生导师,主要研究方向为机器人与电机控制等。E m a i l:y u.s h 1 6 3.c o m 随着计算机技术的发展,机器视觉技术被广泛应用于各类工业控制现场。其中,双目视觉作为当前研究的重点,在无人驾驶、机器人导航、三维重建等不同领域1 4具有深远的应用前景。双目视觉技术的核心为立体匹配算法,立体匹配算法是通过一组对应的、校准后的视图得到目标像素点的视差,转换后得到图像深度5 6,进一步得到目标的高度信息,但受工作环境的影响,真实场景下的视差图误匹配
5、率较高。因此,提高工业环境中的视差图质量是当前立体匹配研究的重点。立体匹配算法共分为全局立体匹配算法、局部立体匹配算法以及半全局立体匹配算法。全局立体匹配算法7 1 0采用最小化全局能量函数的方式计算视差,匹配精度较高,但算法难以并行。局部立体匹配算法1 1 1 4是以局部窗口的思路对一定范围内的像素点进行匹配比较,算法匹配速度较快,但对光照较为敏感。半全局匹配算法1 5 1 8是以一维路径优化的方式对全局最优能量函数进行近似,综合了全局立体匹配算法的精度和局部立体匹配算法的快速性。YANG X等人1 9在代价聚合中引入多尺度成本量,增强了图像边缘区域的匹配效果;S H I C等人2 0提出一
6、种视差和置信图交替更新方案,有效消除了图像中冗余和干扰信息;马东岭等人2 1提出一种跳过噪声点的区域增长自适应窗口匹配算法,提高了弱纹理区域的匹配精度。基于以上分析,本文提出一种基于改进S GM的高度定位方法。通过计算C e n s u s窗口内邻域像素的平均值,替代变换窗口的中心点,提高了窗口内的信息利用率,降低了噪声的影响。同时,通过S o b e l算子,计算左右图像的像素点梯度,在代价聚合过程中,通过获取不同视差下梯度差值,自适应地调整不同像素点的相应聚合惩罚系数。计算视差后,通过优化策略对视差精度进行提升,填充了图像内的无效视差点,并进一步得出目标的深度信息。该研究获取了目标工件的准
7、确高度信息,对机械臂抓取具有一定的实际应用价值。1 算法描述本文所提出的改进S GM算法共分为代价计算、代价聚合、视差计算和视差优化等步骤。当系统获取立青 岛 大 学 学 报(工 程 技 术 版)第 3 8 卷体校正后的图像后,进行改进C e n s u s变换代价计算,并结合自适应惩罚系数进行代价聚合,通过胜者为王(w i n n e r t a k e s a l l,WT A)算法进行视差计算,经后续优化策略处理,得到最终视差,进一步得到目标高度信息。算法流程如图1所示。图1 算法流程1.1 改进的C e n s u s变换传统的C e n s u s算法通过中心像素值与邻域像素对比的方
8、式进行匹配代价计算,这种方式对图像信息的利用不够全面,当光照条件发生变换、环境中产生噪声时,匹配代价会产生较大的误差。为解决传统C e n s u s变换代价计算的缺点,本文使用55 C e n s u s变换窗口内的像素灰度均值,代替原中心像素点的灰度值,即M(x,y)=12 52i=-2 2j=-2f(x+i,y+i)(1)C e n s u s变换通过比较邻域像素灰度值与所计算灰度均值的大小关系,获得C e n s u s变换比特串,并将邻域窗口(窗口大小为55)内的像素灰度值与计算均值进行比较,比较运算为I(x,y),M(x,y)0,i f I(x,y)M(x,y)1,i f I(x,
9、y)M(x,y)(2)式中,(x,y)为窗口内的像素坐标。通过邻域像素的依次比对,将得到的布尔值拼接到比特串中,该比特串为中心像素的C e n s u s变换值,即Cs(u,v):=n i=-n m j=-m I(u+i,v+j),M(u,v)(3)图2 加入噪声后的对比结果式中,n 和m 分别为变换窗口的一半尺寸,向下取整,本文取n=m=2;(u,v)是匹配像素点坐标;为比特串的逐位拼接运算。为方便演示,采用33的窗口进行C e n s u s变换,并将传统C e n s u s变换、受干扰的C e n s u s变换及本文改进的C e n s u s变换进行比较,加入噪声后的对比结果如图2
10、所示。由图2可以看出,传统C e n s u s变换出现噪声后,其对应的比特串也受到干扰。而本文使用均值代替中心点像素值的C e n s u s变换,提高了对噪声的鲁棒性,当中心像素的值被干扰发生变化后,经变换后得到的比特串与正常的比特串相同,增强了对图像信息的利用。2 第3期 李 哲,等:基于改进S GM的工件高度定位研究基于C e n s u s变换的匹配代价计算方法是分别求取左右视图对应的C e n s u s变换值,针对2个比特串,求取H a mm i n g距离,即C(u,v,d):=H a mm i n g(Cs l(u,v),Cs r(u-d,v)(4)图3 匹配代价计算式中,d
11、为视差;(u-d,v)是另一图中基于视差d的匹配像素点坐标。H a mm i n g距离的计算是对2个比特串进行异或逻辑运算,即观察图像窗口内的像素大小分布情况。在进行异或运算后,两者比特位的不相同个数即为匹配代价。匹配代价计算如图3所示。1.2 自适应代价聚合S GM算法通过一维路径聚合的方式近似二维最优,达到最小化全局能量函数的目的,其全局能量函数为E(D)=pC p,Dp +qNpP1TDp-Dq=1 +qNpP2TDp-Dq1 (5)式中,第1项是数据项,表示图像内所有像素点p在视差为Dp时的匹配代价总和;第2项与第3项是视差平滑项,在像素点p的视差Dp与邻域Np内像素视差Dq相差1或
12、以上时进行惩罚处理。传统S GM算法对视差变化区域使用固定的惩罚系数,但在视差变化不相同的区域,不适合施加固定的惩罚项系数。本文采用S o b e l算子,对左右图像进行边缘检测,得出各个像素点的梯度值。S o b e l算子对应的卷积模板和梯度为Gx=-1 0 1-2 0 2-1 0 1 K,Gy=-1-2-1 0 0 0 1 2 1 K(6)G=G2x+G2y(7)代价聚合过程中,通过在不同视差下,计算左图像素点pl与其对应的右图像素点pr的梯度差值Dg r a d。根据梯度差值对每个像素点进行分类辨别,不同类别的像素点对应施加不同的惩罚力度,实现惩罚项系数P1和P2的自动调整,有效地改善
13、低纹理区域、遮挡区域的匹配聚合情况。惩罚项系数及梯度差值分别为P1=1P1,P2=2P2,Dg r a dT(8)为了保护真实场景中的视差非连续情况,在惩罚系数P1和P2给予了适当初始值后,P2根据相邻像素灰度差进行动态调整,即P2=P 2Ib p-Ib q(9)即当像素和它邻域像素的亮度差值较大时,该像素位于视差非连续区域的可能性较大,则一定程度上对于超过1个视差的惩罚力度就适当地减小一点。像素p沿着某条路径r的具体代价聚合计算方法为Lr(p,d)=C(p,d)+m i nLr(p-r,d)Lr(p-r,d-1)+P1Lr(p-r,d+1)+P1m i niLr(p-r,i)+P2 -m i
14、 niLr(p-r,i)(1 0)与全局能量函数类似,式(1 0)中,第1项代表像素点p的匹配代价;第2项是平滑项,取像素点之间视差相同不作惩罚、视差相差1作P1惩罚、视差相差1以上的最小代价做P2惩罚3种情况中的代价最小值;为3青 岛 大 学 学 报(工 程 技 术 版)第 3 8 卷图4 路径聚合示意图了保证聚合后的路径代价在一定范围之内,第3项对代价值聚合值Lr作一定约束,即LCm a x+P2(1 1)S(p,d)=rLr(p,d)(1 2)像素点单条路径代价计算完成后,总路径代价值由式(1 2)计算,路径聚合示意图如图4所示。由图4可以看出,根据路径数不同,聚合的方向也有所不同,出于
15、对算法实际效果和耗时等方面的综合考量,本文聚合方式选择8路径聚合。1.3 视差计算经过代价聚合步骤,像素点不同视差下的代价结合相应的路径信息,变得更加精确。而视差计算则是在给定不同的视差代价后,从中判断出合理的最优视差。本文进行代价计算,像素点在自身所有视差下的聚合代价值中,选择最小聚合代价所代表的视差值。WT A算法可以降低立体匹配的运算时间,有效地提高计算效率。WT A算法示意图如图5所示,其中横轴d为视差,纵轴c为不同视差下的匹配代价。经过代价计算和路径聚合后的不同视差下的像素点代价,通过WT A算法选择策略,以最小代价值对应的视差作为该像素点的最终视差值。1.4 视差优化策略1.4.1
16、 子像素拟合经上述算法计算得到的视差结果为整数值,连续视差之间的变化不够平滑。子像素拟合法通过邻近视差,对最优视差进行更加精确地拟合,提高最终视差的精度。子像素拟合示意图如图6所示。图5 WT A算法示意图 图6 子像素拟合示意图结合最小代价与其左右邻近的代价值,以一元二次曲线拟合的方式得出曲线的极值点,其中极值点横坐标就是所拟合的子像素级视差。设目标像素点对应的最小视差为d,对应的最小代价值为c0,最小视差左侧邻近视差为d-1,其对应的代价值为c1,右侧邻近视差为d+1,对应的代价值为c2,可得子像素求精后最小视差为dm i n=d+c1-c22(c1+c2-2c0)(1 3)1.4.2 左
17、右一致性检测错误匹配点的剔除,首先需要对错误判断进行甄别。通过视差唯一性的约束条件,每个像素有且只有一个最优视差,本文采用左右一致性检测法,实现误匹配判断,具体思路如下:1)如果立体匹配算法以左图为基准进行,则调换顺序,计算以右图为基准的视差图。2)若左视差图在点a的视差为d,右图对应像素点b坐标为a-d,通过右视差图可得该点视差。3)计算a和b两点的视差值之差的绝对值。4)若差值的绝对值大于所设置的阈值,则一致性检查不通过,将对应的视差变为无效值。一致性检查公式为4 第3期 李 哲,等:基于改进S GM的工件高度定位研究Dp=Dp,da-db0,da-db(1 4)式中,设置的阈值一般为一个
18、像素。1.4.3 视差填充经过上述视差优化,图像中会存在无效区域,区域中的像素值为无效值。无效区域由因遮挡而在左右视图不同时可见的区域,错误匹配像素区域两部分构成。遮挡区和错误匹配区的存在,降低了视差图的质量,因此需要对它们进行针对性填充。对于遮挡区像素,选择背景区像素进行填充,通过对邻近像素视差的比较,选择较小的视差值作为替代;对于误匹配像素点,因其邻域内视差连续,所以结合邻近像素点信息对其进行填充,出于对噪声的考虑,本文将各个方向上所探测的首个有效视差值进行累加,取累加值的中值作为原视差的替代填充。2 实验结果与分析2.1 图像采集与极线校正为验证本文所述工件高度定位系统的可行性和有效性,
19、搭建机器人实验平台,机器人实验平台如图7所示。系统硬件部分由I R B 1 2 0机器人、P C端、维视图像MV-E EM系列工业相机构成。在P C端的V S 2 0 1 9软件平台上使用C+语言进行图像的采集与处理,对所提算法进行实验验证。P C端通过G i g E通讯协议与相机进行连接,本文以右相机采集的图像为基准进行立体匹配。右目相机采集的原始图像如图8所示。图7 机器人实验平台 图8 右目相机采集图像依据极线约束准则,双目相机中的左右图像需进行极线校正后,才可以进行后续立体匹配。通过双目相机标定,得出左右相机内的参数分别为CL=0.0 0 2 6 36.9 00.0 700.0 0 2
20、 2 7 0.0 4 5 3001 ,CR=0.0 0 2 2 7-4.4 80.0 5 5 600.0 0 2 2 7 0.0 4 5 2001 (1 5)双目相机的旋转R和平移矩阵T的参数分别为图9 极线校正效果图R=0.8 7 1 0.0 0 6 0.4 9 0-0.0 0 5 0.9 9 9-0.0 0 4-0.4 9 0 9.8 1 6 0.8 7 2 ,T=-1 2 0.6 7 0.7 4 3 1.6 5 (1 6)结合以上相机参数,通过畸变矫正、立体校正、映射变换、像素重映射等极线校正步骤,最终得到校正效果,极线校正效果图如图9所示。由图9可以看出,经过极线校正后,图像中的同名点
21、都处在同一行像素之中,极大地减少了后续立体匹配算法的运算量。5青 岛 大 学 学 报(工 程 技 术 版)第 3 8 卷2.2 改进S GM算法的验证分析本文所提出的改进S GM立体匹配算法,在代价计算中的C e n s u s窗口大小为55,聚合路径选用8路径,初始代价惩罚系数P1=1 5,P2=2 0 0。视差计算选用WT A方法,后续采用子像素拟合法对视差值进行拟合,通过左右一致性检测进行误匹配区判断,经视差填充对图像中的无效像素点进行补充处理。为了验证本文算法对于目标工件的视差计算效果,将本文改进的算法与A D-C e n s u s算法、传统S GM算法进行对比,将运行所得的初始视差
22、图和优化后视差图进行比较,视差图对比结果如图1 0所示。图1 0 视差图对比结果由图1 0可以看出,在本文改进算法生成的视差图中,目标工件与凹槽的边缘轮廓较为清晰,视差图平滑地进行分层,对含有噪声和不同梯度的像素点有着较强的适应性和鲁棒性,视觉效果更好。表1 不同算法误匹配率对比结果算法名称误匹配率/%A D-C e n s u s9.7 1S GM1 6.1 5本文算法7.3 9不同算法误匹配率对比结果如表1所示。由表1可以看出,A D-C e n s u s算法的平均误匹配率为9.7 1%,S GM算法的平均 误 匹 配 率 为1 6.1 5%,本 文 算 法 的 平 均 误 匹 配 率
23、为7.3 9%,与传统S GM算法相比,本文算法的平均误匹配率降低了8.7 6%,精确度得到了较大地提高。在低纹理区域和视差变化较大的区域,本文所改进的算法都起到了改善和优化作用。图1 1 工件高度误差图为了得到目标工件的高度信息,深度图必不可少,其中目标深度值D可由工件图像坐标(u,v),视差d,基线长度B,焦距f和左右视图主点列坐标推导。结合机械臂手眼矩阵,进一步可以得出目标工件的高度坐标。针对不同采集图像进行5 0次高度定位实验,工件高度误差图如图1 1所示。由图1 1可以看出,本文所提出的高度定位方案可以成功得出目标工件的高度坐标,计算的工件高度坐标与实际高度的平均误差为0.7 0 8
24、 mm,由于机械臂末端执行装置为气动吸嘴,所以误差范围内工件都可以成功吸取。3 结束语本文针对传统立体匹配算法受环境因素影响较大以及在弱纹理区域视差效果一般的问题,提出一种基于改进S GM算法的工件高度定位方案。通过C e n s u s变换窗口的均值代替原变换中心像素点,有效地提高了对像素点邻域信息的利用。同时,设计自适应代价聚合策略,根据左右视图梯度差值,自适应地调整不同视差下的惩罚系数。通过视差优化策略,提高视差精度,并对无效值进行填充。研究结果表明,与传统S GM算法相比,所改进算法的误匹配率下降了8.7 6%,平均高度定位误差为0.7 0 8 mm,证明了本方案在机械臂上应用的可行性
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 改进 SGM 工件 高度 定位 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。