基于深度学习的机械臂抓取姿态估计实验设计_辛菁.pdf
《基于深度学习的机械臂抓取姿态估计实验设计_辛菁.pdf》由会员分享,可在线阅读,更多相关《基于深度学习的机械臂抓取姿态估计实验设计_辛菁.pdf(5页珍藏版)》请在咨信网上搜索。
1、书书书ISSN 1006 7167CN 31 1707/TESEACH AND EXPLOATION IN LABOATOY第 42 卷 第 2 期Vol42 No22023 年 2 月Feb 2023实验技术DOI:10 19927/j cnki syyt 2023 02 001基于深度学习的机械臂抓取姿态估计实验设计辛菁,龚爱玲,赵永红,穆凌霞,弋英民,张晓晖(西安理工大学 自动化与信息工程学院,西安 710048)摘要:为高效准确估计出机械臂对未知物体抓取姿态,提出了一种基于深度学习的机械臂抓取姿态估计方法,并设计了相关实验。该方法将生成抓取卷积网络GGCNN 与挤压激励(SE)网络模块
2、相结合,提出基于注意力机制的生成抓取卷积网络 SE-GGCNN 模 型,提 高 抓 取 姿 态 估 计 的 准 确 率。在 Cornell 数 据 集 和JACQUAD 数据集上进行了比较性实验。结果表明,相比于基本的 GGCNN 模型,SE-GGCNN 模型在保证实时性的同时,将 IoU 指标值由原先的76%提升至82%;对于数据集中未出现过的新对象具备很好的鲁棒性和自适应性;单张图片 115 ms 的检测用时表明所提出的方法适合实时应用,提升了未知物体抓取姿态估计的准确率。关键词:机械臂;深度学习;最优抓取姿态估计;注意力机制中图分类号:TP 241.2文献标志码:A文章编号:1006 7
3、167(2023)02 0001 04Experimental Design of Grasping Pose Estimation ofManipulator Based on Deep LearningXIN Jing,GONG Ailing,ZHAO Yonghong,MU Lingxia,YI Yingmin,ZHANG Xiaohui(School of Automation and Information Engineering,Xi an University of Technology,Xi an 710048,China)Abstract:In the paper,a met
4、hod of grasping pose estimation of manipulator based on deep learning is proposed,andrelated experiments are designed The proposed method combines the generative grasping convolutional neural networkwith squeeze-and-excitation networks,and proposes the improved SE-GGCNN network model based on attent
5、ionmechanism The model can improve the accuracy of grasping pose estimation The comparative experimental results onCornell dataset and JACQUAD dataset show that compared with the basic GGCNN model,the proposed SE-GGCNNmodel increases the intersection overunion(IoU)index value from the original 76%to
6、 82%while ensuring the real-timeperformance The SE-GGCNN model has good robustness and adaptability for new objects that have not appeared in thedataset The detection time is 115 ms for a single image which shows that the proposed method is suitable for real-timeapplications,and further improves the
7、 accuracy of unknown object grasping pose estimationKey words:robotic arm;deep learning;optimal grasping pose estimation;attention mechanism收稿日期:2022-07-04基金项目:国家自然科学基金项目(61873200);西安理工大学教育教学改革重点项目(xjy1904);陕西省高等教育教学改革研究重点攻关项目(21BG022);西安理工大学教改项目(xqj2112)作者简介:辛菁(1975 ),女,甘肃天水人,教授,现主要从事机器人智能感知与自主控制研究
8、。Tel:029-82312006;E-mail:xinj xaut edu cn0引言近年来,机械臂已广泛应用在仓储物流以及家庭场景等工业和服务业中。在机械臂的众多功能中,抓取是最常用的功能。机械臂抓取可分为 3 个阶段:机械臂抓取姿态估计、轨迹规划以及机械臂控制1。其中机械臂抓取姿态的准确估计是决定抓取成功与否的关键因素。然而由于应用场景的日益复杂、多变,复杂第 42 卷未知场景下准确且快速地获取机械臂抓取姿态仍然是机械臂抓取中的挑战性问题2。基于深度学习的机械臂抓取姿态估计是一种比较好的解决方案3。研究者已经提出了大量的基于深度学习的抓取姿态估计方法4-6,包括已知物体的抓取姿态估计7-
9、8 和未知物体的抓取姿态估计9-11。其中,已知物体是指拥有完整几何模型和抓取姿态库的物体,否则称为未知物体4。虽然深度学习技术在未知物体的抓取上取得一些成果,但大多数方法使用为目标检测技术而设计的卷积神经网络的架构,并且将抓取检测候选框的采样和排序独立开来的,导致计算时间很长,需要几秒或十几秒的时间,难以应用于实时闭环抓取。本文探索将通道注意力机制应用于未知物体抓取姿态的估计,在生成 抓 取 卷 积 神 经 网 络(GenerativeGraspingConvolutional Neural Network,GGCNN)12 最后一个卷积层后加入挤压和激励(Squeeze-and-Excit
10、ation,SE)模块,提出基于一种改进的抓取检测模型 SE-GGCNN,自适应地调整各个特征的权重,突出更关注特征的信息,降低对单张图片的检测用时并提高抓取检测的准确率。1实验设计思路本设计以 GGCNN 为基础网络,通过引入注意力机制,添加 SE 模块,得到改进后的基于注意力机制的生成抓取卷积神经网络 SE-GGCNN;然后通过训练数据集训练 SE-GGCNN,得到合适的网络权重,进而预测待抓取目标的在深度图平面的抓取框以及在每个像素点处执行抓取的质量。本文设计的综合实验包含 4 个模块:网络搭建、网络模型的学习与训练、网络模型的性能测试以及可视化显示。网络搭建模块为通过引入注意力机制模块
11、,对基础网络 GGCNN 进行改进;网络模型的学习与训练为利用搭建好的 SE-GGCNN 对训练数据集实现图像特征提取与优选并获得最优的网络模型参数;网络模型的性能测试模块为利用测试数据集对预训练好的SE-GGCNN 抓取姿态估计网络进行定性与定量测试实验;可视化显示模块为输出待抓取目标物体在深度图平面的抓取框以及在每个像素点处执行抓取的质量。通过以上 4 个模块,完整地实现了基于注意力机制的未知物体抓取姿态估计实验设计,其实验流程图如图1 所示。2算法原理目前大部分机械臂最优抓取姿态估计方法13-14 将抓取检测候选框的采样和排序分开进行,导致计算时间很长,需要几秒或十几秒的时间,因此难以应
12、用于图 1基于深度学习的机械臂抓取姿态估计实验流程闭环抓取。本实验受到 GGCNN 模型的启发,通过引入通道注意力机制,搭建了改进的 SE-GGCNN 模型,提升未知物体最优抓取姿态估计的准确率。抓取姿态的定义方式如图 2 所示。使用?g=(s,?,?w,Q)表示深度图平面的抓取姿态 见图 2(a),其中:?为深度图平面坐标系下抓夹沿 z 轴的偏转角度;?w 为深度图平面坐标系下抓夹所需要张开的宽度;Q为抓取姿态的置信度,描述在每个像素点处执行抓取的质量;s=(u,v)为深度图平面抓取点中心的像素坐标;u 为像素点在图像中所在的行;v 为像素点在图像中所在的列。此外,使用 g=(p,w,Q)表
13、示相机坐标系下的抓取姿态 见图 2(b),其中:为相机坐标系下抓夹沿 z 轴的偏转角度;w 为相机坐标系下抓夹所需要张开的宽度。机械臂的二指抓夹伸入的方向与X-Y 平面垂直,其中:p=x,y,()z 为抓夹在相机坐标系下的中心位置;x 为 X 轴方向的坐标;y 为 Y 轴方向的坐标;z 为 Z 轴方向的坐标。(a)深度图平面坐标系下的抓取姿态示意图(b)相机坐标系下的抓取姿态示意图图 2抓取姿态的定义2.1机械臂抓取实验整体网络框架本实验搭建的 SE-GGCNN 的结构图如图 3 所示,其可分为 GGCNN 模块和通道注意力模块两大部分。网络的输入为 300 300 pixels 的深度图像,
14、网络的输出为生成抓取姿态,其包括:深度图平面坐标系下的抓取框,包含在每个像素点处执行抓取的抓取角度?(取值范围为/2,/2),每个点执行抓取的抓取器的宽度?w,取值范围为 0,150,抓取中心点的坐标 s=(u,v);描述在每个像素点处执行抓取的质量Q,该值是 0,1 范围内的标量,其接近 1 表明抓取质量越高,抓取的成功率越高。通过 SE-GGCNN 网络从深度图中得到深度图平面坐标系下的抓取姿态?g,而机器人坐标系中的抓取2第 2 期辛菁,等:基于深度学习的机械臂抓取姿态估计实验设计姿态g=tC tCI?()g(1)式中:tCI为从深度图平面坐标系到相机坐标系的转换矩阵(相机内参标定);t
15、C为从相机坐标系到机器人坐标系的转换矩阵(手眼标定可得)。2.2生成抓取卷积神经网络模块如图 3 所示,SE-GGCNN 中的 GGCNN 模型结构是一个完全卷积的拓扑结构,与卷积网络不同的是,完全卷积网络以卷积层代替全连接层,可以适应任意尺寸的输入。在本实验中,GGCNN 共包含 6 个卷积层,具体的网络结构见表 1 所示。利用 GGCNN 来逼近抓取姿态生成函数 M:IG,通过一组输入的训练集 IT和对应输出的一组 GT可以学习得到 M(I)=(Q,?,?w)M(I)。其中,M表示网络权重为 的神经网络。训练过程中使用的损失函数=arg minL GT,MI()()T(2)图 3SE-GG
16、CNN 框架表 1GGCNN 的网络参数类型卷积核个数卷积核尺寸滑动步长conv 119*92conv 2325*52conv 3163*32convt 183*32convt 285*52convt 3169*93该 GGCNN 可以从输入的深度图像中估计出每个像素点处的抓取姿态,包括抓取质量 Q,抓取角度?,抓取宽度?w,抓取中心点在像素平面的坐标 s=(u,v)。2.3通道注意力模块考虑到每个卷积层都是作用于输入的对应层最后相加,在这个过程中每层之间的信息交流极少,因此本实验考虑引入通道注意力机制,即在 GGCNN 的最后 1个卷积层后面加上了通道注意力模块 SE,SE 架构的原理如图
17、4 所示,该模块包含 1 个挤压模块和激励模块。通过加入挤压和激励模块完成对特征的重新校准,使得网络根据输入自适应地调整各个通道的权重,从高级特征中强调出本任务更关注的特征信息,从而增加抓取姿态估计的准确率。图 4SE 原理示意图由图4 可知,X 表示输入特征;Ftr表示的是对 X 进行卷积运算,也就是对特征进行一系列的操作之后的结果,表示为 U;Fsq()表示的是对 U 进行压缩;Fex(,W)表示的是对 U 进行激活;Fscale(,)表示的是对 U 进行放大。SE 的架构简单描述为:对于1 个输入 X,其经过卷积之后得到 1 个特征图 U,对于该特征图即可接上一个通道注意力模块 SE,来
18、附加上通道注意力。其中 SE 块的实现主要分为如下2 个步骤:挤压操作,使用全局平均池化(或其他方式)生成通道信息统计,将各通道的全局特征作为该通道的表示,形成 1 个通道描述符;激励操作,使用 sigmoid 激活函数使权重在(0,1)上,再通过 1 个 scale 的操作将所求的权重乘以原来每个通道的二维特征,训练全连接网络学习到每个特征通道的权重,权重可以显示出建模特征通道间的依赖程度,并根据依赖程度的不同对特征图进行调整,调整后的特征图就是注意力机制模块的输出。总而言之,SE 就是对每个通道上的权重进行了显式建模,然后再对原特征图加权,使其每个通道具有不同的重要程度,也即有了通道注意力
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 深度 学习 机械 抓取 姿态 估计 实验设计 辛菁
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。