基于目标和关键点检测的单目托盘定位.pdf
《基于目标和关键点检测的单目托盘定位.pdf》由会员分享,可在线阅读,更多相关《基于目标和关键点检测的单目托盘定位.pdf(9页珍藏版)》请在咨信网上搜索。
1、基于目标和关键点检测的单目托盘定位周恒森,朱明(中国科学技术大学信息科学技术学院,合肥230026)通信作者:周恒森,E-mail:摘要:托盘的识别与定位是无人叉车中关键的问题之一.当前托盘定位多采用目标检测的方法,然而目标检测只能识别托盘在图像中的位置,无法得到托盘的空间信息.针对此问题,本文提出了一种基于目标和关键点检测的单目托盘定位方法,用于检测托盘并计算托盘当前的倾角和距离.首先对托盘进行目标检测,然后将检测的结果进行裁剪后输入到关键点检测网络中.通过对托盘关键点的检测和托盘固有的几何外形特征,设计边缘自适应调整,得到高精度的托盘轮廓信息.根据几何约束提出了基于轮廓点的托盘倾角与距离计
2、算方法,并采用 RANSAC 算法提升了计算结果的精度和稳定性,解决了托盘的定位问题.实验表明,本文提出的算法在倾角计算上平均误差在 5以内,水平距离计算上平均误差在 110mm 以内,能较好地定位托盘,具有较高的实用价值.关键词:托盘定位;位姿估计;目标检测;距离计算;倾角计算引用格式:周恒森,朱明.基于目标和关键点检测的单目托盘定位.计算机系统应用,2023,32(8):180188.http:/www.c-s- Positioning Based on Target and Key Points Detection with Monocular VisionZHOUHeng-Sen,ZH
3、UMing(SchoolofInformationScienceandTechnology,UniversityofScienceandTechnologyofChina,Hefei230026,China)Abstract:Palletrecognitionandpositioningisoneofthecriticalproblemsinunmannedforklifttrucks.Atpresent,targetdetectionismostlyusedforpalletpositioning.However,targetdetectioncanonlyrecognizetheposit
4、ionofthepalletintheimageandcannotobtainthespatialinformationofthepallet.Tosolvethisproblem,thisstudyproposesapalletpositioningmethodbasedontargetandkeypointdetectionwithmonocularvision,whichisappliedtodetectthepalletandcalculatethecurrentdipangleanddistanceofthepallet.Firstly,targetdetectioniscarrie
5、doutonthepallet.Then,theimagewillbecroppedaccordingtothedetectionresultandinputintothekeypointsdetectionnetwork.Throughthedetectionofthekeypointsandtheinherentgeometricfeaturesofthepallet,theedgeadaptiveadjustmentisdesignedtoobtainthehigh-precisionprofileinformationofthepallet.Accordingtothegeometri
6、cconstraints,amethodforcalculatingthedipangleanddistanceofthepalletbasedoncontourpointsisproposed,andtheRANSACalgorithmisadoptedtoimprovetheprecisionandstabilityofthecalculationresults,thusaddressingtheproblemofpalletpositioning.Experimentsindicatethattheaverageerroroftheproposedalgorithmislessthan5
7、inthecalculationofdipangleandlessthan110mminthecalculationofhorizontaldistance.Itworkswellforpalletpositioningandisofhighpracticalvalue.Key words:palletpositioning;poseestimation;targetdetection;distancecalculation;dipanglecalculation1引言随着现代信息科技的发展,人工智能技术突飞猛进,人们着手于将人工智能应用于机器人来解决诸如物流等领域中的问题.在物流系统中,货物
8、一般通过托计算机系统应用ISSN1003-3254,CODENCSAOBNE-mail:ComputerSystems&Applications,2023,32(8):180188doi:10.15888/ki.csa.009181http:/www.c-s-中国科学院软件研究所版权所有.Tel:+86-10-62661041基金项目:科技创新特区计划(20-163-14-LZ-001-004-01)收稿时间:2023-01-06;修改时间:2023-02-09;采用时间:2023-03-03;csa 在线出版时间:2023-05-22CNKI 网络首发时间:2023-05-24180软件技术
9、算法SoftwareTechniqueAlgorithm盘这一载体进行运输,移动托盘是自动化仓储中 AGV设备的常见任务.2022 年中共中央国务院关于加快建设全国统一大市场的意见中也提到了“推广标准化托盘带板运输模式”1.因此,托盘定位是自动化仓储中不可或缺的环节.根据采集数据所使用的传感器类型不同,托盘定位可以分为以下两类.(1)基于激光雷达的托盘定位.赵俊宏等人2采用2D 激光雷达获取数据,然后使用模板匹配的方法进行位姿估计,鲁棒性较差.Mohamed 等人3采用深度学习结合 2D 激光雷达进行托盘定位,但因为激光数据不够密集,托盘位姿估计精度低.Bellomo 等人4使用点云图像与激光
10、雷达相结合的形式,由于点云数据处理需要耗费大量的时间,难以保证算法的实时性.并且激光雷达价格相对高昂,难以大规模普及.(2)基于视觉的托盘定位.基于视觉的方法主要可以分为传统图像处理方法和基于深度学习的方法.在传统图像处理上 Chen 等人5将图像从 RGB 空间转换到 HSV 空间,利用托盘的几何形状确定托盘位置.Cui 等人6通过分析托盘的颜色、边缘、角点等信息直接检测托盘,这种方法只能适用于特定形状和颜色的托盘.武文汉7使用 ToF 相机和纸标签进行 3D 点云模板匹配来进行托盘定位,虽然能保证准确性和鲁棒性,但无法满足实时性.Xiao 等人8先对点云数据进行平面分割再使用模板匹配来估计
11、托盘的位姿,但该算法对于相应的视觉传感器性能要求严格.利用传统图像算法来进行托盘定位鲁棒性低,实际场景下容易受到环境噪声干扰导致实用性不高.深度学习的方法主要是使用深度卷积神经网络完成对于托盘的检测.Mok 等人9采用多任务分类的方式进行托盘的定位,将托盘按照偏转角度和距离分为多个类别,该方法只能用于特定场景,不具备实用性.叶伟10使用了深度学习结合传统方法的想法,先使用 YOLOv411算法对托盘进行目标检测,得到托盘在图像中的位置后,再使用GrabCut12进行分割,以此来定位托盘,虽然该方法的托盘检测效果较好,但是无法获得空间信息.朱丹平等人13采用了改进 CenterNet14的方法检
12、测托盘,并利用托盘几何约束估计托盘偏转方向,效果较好,但关键点数量较少,无法得到托盘的距离和倾角信息.在实际的托盘运输过程中,叉车需要完成对于托盘的精准对接,这就需要知道托盘与叉车之间的距离以及托盘与叉铲的倾角,保证叉车可以正确调整车身实现对于托盘的安全叉取.针对此问题,本文提出了一种基于目标和关键点检测的单目托盘定位方法.由目标检测和关键点检测得到托盘的轮廓信息,通过轮廓信息与几何约束计算托盘的距离和倾角.使用传统图像的方法在进行托盘检测容易受到光照等环境因素影响,导致检测鲁棒性低,托盘检测失败的情况发生.而深度学习的托盘检测由于使用深度神经网络提取特征,整体鲁棒性高,检测效果好.如图 1所
13、示,当有光照造成阴影在托盘表面时,传统方法的模板匹配无法检测托盘,而基于深度学习的 YOLOv5 网络在训练好模型后可以很好地进行托盘的检测.因此本文在选取托盘检测算法时,采取基于深度神经网络的 YOLOv5 算法.(a)传统图像处理方法检测托盘失败(b)YOLOv5 成功检测托盘图 1托盘检测算法选取原因本文的贡献如下:(1)针对托盘轮廓提取,本文提出了目标检测加关键点检测的方法,并设计了边缘自适应调整,得到高精度的轮廓信息.(2)针对托盘定位任务,本文根据轮廓信息和几何关系提出托盘的距离和倾角计算方法,并采用 RANSAC 算法15提高计算精度和稳定性.(3)使用 RGB 摄像头拍摄并制作
14、了托盘数据集.2023年第32卷第8期http:/www.c-s-计 算 机 系 统 应 用SoftwareTechniqueAlgorithm软件技术算法1812相关工作 2.1 YOLOv5 目标检测算法YOLOv516根据模型的深度和宽度不同可以分为YOLOv5s、YOLO5m、YOLO5l、YOLO5x.其中从硬件条件和推理速度与精度等方面考虑,YOLOv5s 适用性更广,所以本文选取 YOLOv5s 为基础检测模型.YOLOv5 模型在网络结构上可以分为以下 4 个部分:输入端、Backbone、Neck、Prediction.整体的网络结构如图 2 所示.在输入端对输入图像采用 M
15、osaic 数据增强,通过对于训练图像进行随机排布、随机剪裁的方式进行拼接,同时采用随机缩放增加小目标的数据,丰富了训练时的数据集,让网络的鲁棒性有了进一步的提升.增加了自适应图片缩放,通过对图像填充最小黑边的方式,减少了冗余信息,提升了网络的推理速度.在 Backbone 中通过 Focus 模块对 6086083 样本进行切片拼接,变成 30430412 的特征图,后经过 32 个CIoU_LOSS卷积核的卷积运算后将特征图转换为 30430432 大小.经过多个 Conv 与 C3 层,提取图像的特征信息,给后续的模块使用.在 Neck 阶段,采用 FPN+PAN 上下采样结构,使得模型
16、的特征信息更加丰富;同时借鉴了CSPnet 的设计,使用了 CSP2_X 结构,加强了网络融合特征的能力.在 Prediction 阶段,网络输出 3 种不同尺度的特征图用于不同尺寸物体的预测,通过 NMS 进行筛选.YOLOv5 训练时使用了损失函数作为 Boundingbox 的损失,计算公式如下所示:CIoU_LOSS=1IoU Dis_22Dis_C2v2(1IoU)+v(1)v=42(arctanwgthgtarctanwphp)2(2)Dis_2Dis_Cv其中,是模型预测框与真实标注框中心点之间的欧式距离,是包含上述两个框的最小外接矩形对角线的距离,是用于衡量长宽比一致性的参数.
17、FocusConvC3ConvC3ConvC3ConvC3ConvSPPFBackboneConvUpsampleConcatC3ConvUpsampleConcatC3ConvConcatC3ConvConcatC3NeckConvConvConvPrediction1919255383825576762556086083Detect图 2YOLOv5 网络结构 2.2 关键点检测在关键点检测上,本文采用了 KPDA-Net17,基于FCN(fullconvolutionnetwork)18构建而成.该算法相较于其他关键点检测算法,可以更灵活的调整算法的计 算 机 系 统 应 用http:/
18、www.c-s-2023年第32卷第8期182软件技术算法SoftwareTechniqueAlgorithmStj(p)ftSftL输出结构来适应新的对象类别,迁移能力较强,所以本文选用 KPDA-Net 作为关键点检测网络.该网络模型主要有以下 3 个部分构成:Stage1,Stage2 和 BackPropagation.Stage1 主要是提取输入图像的数据特征.模型从经典的 ResNet19中借鉴了 short-cutconnection结构,解决了训练时反向传播过程中出现梯度退化的问题,保证了参数之间的区分度.Stage2 阶段进行特征图的数值坐标回归.主要包括计算输出特征图与热图
19、标签的损失和特征图回归对象的关键点与对象的对应关系.Backpropagation 进行关键点坐标预测值和真实值之间的损失计算.将关键点预测坐标与真实坐标之间的 L2 范数定义为,关系定义为,损失函数的计算方式如下:ftS=Jj=1pW(p)|Stj(p)Sj(p)|22(3)ftL=Cc=1pW(p)|Ltc(p)Lc(p)|22(4)Total_loss=average_loss(ftS+ftL)(5)Sj(p)Lc(p)W(p)p其中,是实际关键点的坐标位置,是实际标签中坐标中心位置生成的矢量图,是二值化掩码矩阵,当 位置标签缺失时为 1,否则为 0.3算法 3.1 算法框架单目视觉的托
20、盘定位算法可分为 3 部分:托盘检测,关键点检测与轮廓提取,托盘距离与倾角计算.设YOLOv5 的模型为 YOLOv5det,检测类别为托盘(pallet),返回信息为托盘的在图像中的位置信息(x,y,w,h,分别表示目标框的中心点和宽高);KPDA-Net 模型为 KPDA,输入图像 img,返回关键点(keypoints)的坐标(coords),具体算法流程如算法 1 所示,整体的算法框架如图 3 所示.算法 1.托盘定位算法输入:摄像头采集的图片输出:托盘在图像中的位置(x,y,w,h)与托盘的距离 D 与倾角 1.使用仿射变换将图像转换成 60860832.ifYOLOv5detpal
21、let!=Nonethen3.x,y,w,h=YOLOv5pallet4.根据 x,y,w,h 对图像进行裁剪5.keypoints=KPDA(img)6.基于几何关键初步得到托盘轮廓信息7.使用 Sobel 算子自适应调整得到轮廓8.根据式(14)和式(15)使用 RANSAC 算法计算距离 D 倾角 9.end if10.returnx,y,h,w,D,仿射变换YOLOv5托盘检测图像裁剪KPDA-Net关键点检测Sobel算子RANSAC算法Result图 3算法流程图 3.2 K-means+预设锚框的托盘检测在托盘检测的问题上,本文使用了 YOLOv5 作为目标检测网络.YOLOv5
22、 是有锚框(anchorbox)的目标检测模型,合理的锚框设置能够训练出效果更好的检测器.YOLOv5 中的预设锚框是在 COCO 数据集上使用 K-means 聚类算法计算得到,而托盘检测作为特定的任务,预设锚框在大多数情况下并不适用.所以本文使用 K-means+算法对于托盘数据集中的标签进行聚类,得到更适用于托盘检测任务的锚框预设值进行训练.K-means+算法修改了 K-means 算法中初始化 k 个聚类中心的选取方法,在 K-means+算法中,距离已经选取聚类中心更远的点被选取为新的聚类中心的概率更大,这让中心点在随机选取的过程中更趋于全局最优解而不是局部最优解.通过 K-mea
23、ns+算法计算网络初始化的锚框大小,使其与托盘的真实标记框大小更符合.对托盘进行目标检测后,按照检测结果,对检测框四周各拓宽 0.25h 像素值对图像进行剪裁(h 表示目标2023年第32卷第8期http:/www.c-s-计 算 机 系 统 应 用SoftwareTechniqueAlgorithm软件技术算法183框在 y 方向的宽度),输入关键点检测网络中进行关键点检测.这样既可以保证剪裁过程中保留托盘的关键点以及轮廓信息,同时又去除大量无关背景,减少关键点检测网络的训练,提升关键点的检测速度和准确率.3.3 关键点检测与轮廓提取KPDA-Net 进行关键点检测由两部分组成,首先使用特征
24、提取模块 KeyPointsModel 对输入图像(img)进行特征提取,得到热图(heatmap);再使用数值坐标回归模块 dsntnn 对热图中的数组坐标(coords)进行回归得到关键点的坐标.由于托盘具有固定的几何外形,通过热力图回归得到的关键点按照一定顺序相连将直接获得托盘初步的轮廓信息.但较差的关键点结果会影响托盘的轮廓信息进而影响最终的角度和距离测算.针对此问题,本文对边缘点设计了自适应调整的方法.因为轮廓边缘是梯度变化最大的点,所以本文采用1010 大小的采样框在初步轮廓连线上移动,将采样框中图像转化为灰度图后对托盘的上下边缘计算 Sobel算子 Y 方向梯度,左右边缘计算 S
25、obel 算子 X 方向梯度,按照梯度最大值自适应调整边缘,如图 4 所示.10101010X 方向梯度计算Y 方向梯度计算图 4Sobel 算子计算示意图GxGySobel 算子是在边缘检测中常用的一种离散微分算子,由两个 33 的卷积核构成,分别是水平方向内核和竖直方向内核.Gx=10+120+210+1(6)Gy=121000+1+2+1(7)具体算法流程如算法 2 所示.算法 2.关键点检测与轮廓提取的算法输入:根据 YOLOv5 返回结果剪裁后的图片输出:托盘的轮廓信息1.heatmap=KeyPointsModel(img)2.coords=dsntnn(heatmap)3.将关键
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 目标 关键 检测 托盘 定位
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。