基于深度学习的机械臂抓取姿态估计实验设计_辛菁.pdf

书书书ISSN 1006 7167CN 31 1707/TESEACH AND EXPLOATION IN LABOATOY第 42 卷 第 2 期Vol42 No22023 年 2 月Feb 2023实验技术DOI:10 19927/j cnki syyt 2023 02 001基于深度学习的机械臂抓取姿态估计实验设计辛菁，龚爱玲，赵永红，穆凌霞，弋英民，张晓晖(西安理工大学 自动化与信息工程学院，西安 710048)摘要:为高效准确估计出机械臂对未知物体抓取姿态，提出了一种基于深度学习的机械臂抓取姿态估计方法，并设计了相关实验。该方法将生成抓取卷积网络GGCNN 与挤压激励(SE)网络模块相结合，提出基于注意力机制的生成抓取卷积网络 SE-GGCNN 模 型，提 高 抓 取 姿 态 估 计 的 准 确 率。在 Cornell 数 据 集 和JACQUAD 数据集上进行了比较性实验。结果表明，相比于基本的 GGCNN 模型，SE-GGCNN 模型在保证实时性的同时，将 IoU 指标值由原先的76%提升至82%;对于数据集中未出现过的新对象具备很好的鲁棒性和自适应性;单张图片 115 ms 的检测用时表明所提出的方法适合实时应用，提升了未知物体抓取姿态估计的准确率。关键词:机械臂;深度学习;最优抓取姿态估计;注意力机制中图分类号:TP 241.2文献标志码:A文章编号:1006 7167(2023)02 0001 04Experimental Design of Grasping Pose Estimation ofManipulator Based on Deep LearningXIN Jing，GONG Ailing，ZHAO Yonghong，MU Lingxia，YI Yingmin，ZHANG Xiaohui(School of Automation and Information Engineering，Xi an University of Technology，Xi an 710048，China)Abstract:In the paper，a method of grasping pose estimation of manipulator based on deep learning is proposed，andrelated experiments are designed The proposed method combines the generative grasping convolutional neural networkwith squeeze-and-excitation networks，and proposes the improved SE-GGCNN network model based on attentionmechanism The model can improve the accuracy of grasping pose estimation The comparative experimental results onCornell dataset and JACQUAD dataset show that compared with the basic GGCNN model，the proposed SE-GGCNNmodel increases the intersection overunion(IoU)index value from the original 76%to 82%while ensuring the real-timeperformance The SE-GGCNN model has good robustness and adaptability for new objects that have not appeared in thedataset The detection time is 115 ms for a single image which shows that the proposed method is suitable for real-timeapplications，and further improves the accuracy of unknown object grasping pose estimationKey words:robotic arm;deep learning;optimal grasping pose estimation;attention mechanism收稿日期:2022-07-04基金项目:国家自然科学基金项目(61873200);西安理工大学教育教学改革重点项目(xjy1904);陕西省高等教育教学改革研究重点攻关项目(21BG022);西安理工大学教改项目(xqj2112)作者简介:辛菁(1975 )，女，甘肃天水人，教授，现主要从事机器人智能感知与自主控制研究。Tel:[phone];E-mail:xinj xaut edu cn0引言近年来，机械臂已广泛应用在仓储物流以及家庭场景等工业和服务业中。在机械臂的众多功能中，抓取是最常用的功能。机械臂抓取可分为 3 个阶段:机械臂抓取姿态估计、轨迹规划以及机械臂控制1。其中机械臂抓取姿态的准确估计是决定抓取成功与否的关键因素。然而由于应用场景的日益复杂、多变，复杂第 42 卷未知场景下准确且快速地获取机械臂抓取姿态仍然是机械臂抓取中的挑战性问题2。基于深度学习的机械臂抓取姿态估计是一种比较好的解决方案3。研究者已经提出了大量的基于深度学习的抓取姿态估计方法4-6，包括已知物体的抓取姿态估计7-8 和未知物体的抓取姿态估计9-11。其中，已知物体是指拥有完整几何模型和抓取姿态库的物体，否则称为未知物体4。虽然深度学习技术在未知物体的抓取上取得一些成果，但大多数方法使用为目标检测技术而设计的卷积神经网络的架构，并且将抓取检测候选框的采样和排序独立开来的，导致计算时间很长，需要几秒或十几秒的时间，难以应用于实时闭环抓取。本文探索将通道注意力机制应用于未知物体抓取姿态的估计，在生成 抓 取 卷 积 神 经 网 络(GenerativeGraspingConvolutional Neural Network，GGCNN)12 最后一个卷积层后加入挤压和激励(Squeeze-and-Excitation，SE)模块，提出基于一种改进的抓取检测模型 SE-GGCNN，自适应地调整各个特征的权重，突出更关注特征的信息，降低对单张图片的检测用时并提高抓取检测的准确率。1实验设计思路本设计以 GGCNN 为基础网络，通过引入注意力机制，添加 SE 模块，得到改进后的基于注意力机制的生成抓取卷积神经网络 SE-GGCNN;然后通过训练数据集训练 SE-GGCNN，得到合适的网络权重，进而预测待抓取目标的在深度图平面的抓取框以及在每个像素点处执行抓取的质量。本文设计的综合实验包含 4 个模块:网络搭建、网络模型的学习与训练、网络模型的性能测试以及可视化显示。网络搭建模块为通过引入注意力机制模块，对基础网络 GGCNN 进行改进;网络模型的学习与训练为利用搭建好的 SE-GGCNN 对训练数据集实现图像特征提取与优选并获得最优的网络模型参数;网络模型的性能测试模块为利用测试数据集对预训练好的SE-GGCNN 抓取姿态估计网络进行定性与定量测试实验;可视化显示模块为输出待抓取目标物体在深度图平面的抓取框以及在每个像素点处执行抓取的质量。通过以上 4 个模块，完整地实现了基于注意力机制的未知物体抓取姿态估计实验设计，其实验流程图如图1 所示。2算法原理目前大部分机械臂最优抓取姿态估计方法13-14 将抓取检测候选框的采样和排序分开进行，导致计算时间很长，需要几秒或十几秒的时间，因此难以应用于图 1基于深度学习的机械臂抓取姿态估计实验流程闭环抓取。本实验受到 GGCNN 模型的启发，通过引入通道注意力机制，搭建了改进的 SE-GGCNN 模型，提升未知物体最优抓取姿态估计的准确率。抓取姿态的定义方式如图 2 所示。使用?g=(s，?，?w，Q)表示深度图平面的抓取姿态 见图 2(a)，其中:?为深度图平面坐标系下抓夹沿 z 轴的偏转角度;?w 为深度图平面坐标系下抓夹所需要张开的宽度;Q为抓取姿态的置信度，描述在每个像素点处执行抓取的质量;s=(u，v)为深度图平面抓取点中心的像素坐标;u 为像素点在图像中所在的行;v 为像素点在图像中所在的列。此外，使用 g=(p，w，Q)表示相机坐标系下的抓取姿态 见图 2(b)，其中:为相机坐标系下抓夹沿 z 轴的偏转角度;w 为相机坐标系下抓夹所需要张开的宽度。机械臂的二指抓夹伸入的方向与X-Y 平面垂直，其中:p=x，y，()z 为抓夹在相机坐标系下的中心位置;x 为 X 轴方向的坐标;y 为 Y 轴方向的坐标;z 为 Z 轴方向的坐标。(a)深度图平面坐标系下的抓取姿态示意图(b)相机坐标系下的抓取姿态示意图图 2抓取姿态的定义2.1机械臂抓取实验整体网络框架本实验搭建的 SE-GGCNN 的结构图如图 3 所示，其可分为 GGCNN 模块和通道注意力模块两大部分。网络的输入为 300 300 pixels 的深度图像，网络的输出为生成抓取姿态，其包括:深度图平面坐标系下的抓取框，包含在每个像素点处执行抓取的抓取角度?(取值范围为/2，/2)，每个点执行抓取的抓取器的宽度?w，取值范围为 0，150，抓取中心点的坐标 s=(u，v);描述在每个像素点处执行抓取的质量Q，该值是 0，1 范围内的标量，其接近 1 表明抓取质量越高，抓取的成功率越高。通过 SE-GGCNN 网络从深度图中得到深度图平面坐标系下的抓取姿态?g，而机器人坐标系中的抓取2第 2 期辛菁，等:基于深度学习的机械臂抓取姿态估计实验设计姿态g=tC tCI?()g(1)式中:tCI为从深度图平面坐标系到相机坐标系的转换矩阵(相机内参标定);tC为从相机坐标系到机器人坐标系的转换矩阵(手眼标定可得)。2.2生成抓取卷积神经网络模块如图 3 所示，SE-GGCNN 中的 GGCNN 模型结构是一个完全卷积的拓扑结构，与卷积网络不同的是，完全卷积网络以卷积层代替全连接层，可以适应任意尺寸的输入。在本实验中，GGCNN 共包含 6 个卷积层，具体的网络结构见表 1 所示。利用 GGCNN 来逼近抓取姿态生成函数 M:IG，通过一组输入的训练集 IT和对应输出的一组 GT可以学习得到 M(I)=(Q，?，?w)M(I)。其中，M表示网络权重为 的神经网络。训练过程中使用的损失函数=arg minL GT，MI()()T(2)图 3SE-GGCNN 框架表 1GGCNN 的网络参数类型卷积核个数卷积核尺寸滑动步长conv 119*92conv 2325*52conv 3163*32convt 183*32convt 285*52convt 3169*93该 GGCNN 可以从输入的深度图像中估计出每个像素点处的抓取姿态，包括抓取质量 Q，抓取角度?，抓取宽度?w，抓取中心点在像素平面的坐标 s=(u，v)。2.3通道注意力模块考虑到每个卷积层都是作用于输入的对应层最后相加，在这个过程中每层之间的信息交流极少，因此本实验考虑引入通道注意力机制，即在 GGCNN 的最后 1个卷积层后面加上了通道注意力模块 SE，SE 架构的原理如图 4 所示，该模块包含 1 个挤压模块和激励模块。通过加入挤压和激励模块完成对特征的重新校准，使得网络根据输入自适应地调整各个通道的权重，从高级特征中强调出本任务更关注的特征信息，从而增加抓取姿态估计的准确率。图 4SE 原理示意图由图4 可知，X 表示输入特征;Ftr表示的是对 X 进行卷积运算，也就是对特征进行一系列的操作之后的结果，表示为 U;Fsq()表示的是对 U 进行压缩;Fex(，W)表示的是对 U 进行激活;Fscale(，)表示的是对 U 进行放大。SE 的架构简单描述为:对于1 个输入 X，其经过卷积之后得到 1 个特征图 U，对于该特征图即可接上一个通道注意力模块 SE，来附加上通道注意力。其中 SE 块的实现主要分为如下2 个步骤:挤压操作，使用全局平均池化(或其他方式)生成通道信息统计，将各通道的全局特征作为该通道的表示，形成 1 个通道描述符;激励操作，使用 sigmoid 激活函数使权重在(0，1)上，再通过 1 个 scale 的操作将所求的权重乘以原来每个通道的二维特征，训练全连接网络学习到每个特征通道的权重，权重可以显示出建模特征通道间的依赖程度，并根据依赖程度的不同对特征图进行调整，调整后的特征图就是注意力机制模块的输出。总而言之，SE 就是对每个通道上的权重进行了显式建模，然后再对原特征图加权，使其每个通道具有不同的重要程度，也即有了通道注意力机制。3实验与分析3 1实验目的本实验在 Ubuntu16.04 系统中利用 Pytorch 深度学习框架完成基于注意力机制的未知物体抓取姿态估计网 络 SE-GGCNN 的 研 究 与 构 建，使 用 配 置 有NVIDIA GeForce GTX 1070 型号显卡的台式机进行网络模型的离线训练工作，并采用 CUDA 并行计算库加速模型离线训练过程中的矩阵运算。网络训练和测试数据均来源于 Cornell 数据集，该数据集是基于 GB-D的未知物体抓取姿态估计标准数据集，包含 240 个物体，每个物体含有 2 4 个不同放置角度下的信息，共计 885 对数据即 885 张 GB 图和对应的 885 张深度图，其中 784 对数据用于训练，101 对数据用于测试。3.2不同放置角度下抓取姿态估计实验及性能分析(1)分布均匀物体。为验证 SE-GGCNN 网络对于分布均匀物体在不同放置角度下抓取姿态估计性能，选择将瓶子作为抓取姿态估计的目标。如图 5 所示为 SE-GGCNN 对于瓶子在不同放置角度下的抓取姿态估计性能，图中 I 为 SE-GGCNN 对任意放置的一种角度情况下(以下简称为角度 1)瓶子的抓取姿态估计结果图;图中 II 为 SE-GGCNN 对另一种角度情况下3第 42 卷(以下简称为角度 2)瓶子的抓取姿态估计结果图。由图 5(a)(c)可知，对于不同放置角度下分布均匀的物体(瓶子)，SE-GGCNN 的表现非常稳定，均成功地检测出分布均匀目标-瓶子的抓取框，并且 SE-GGCNN模型检测到的抓取框在每一个像素点处抓取质量明显更接近标量 1，这说明本文所提出的 SE-GGCNN 模型对于分布均匀物体的抓取姿态估计效果很好。此外，分布均匀物体放置角度的改变也不会影响该模型的抓取姿态估计的性能。III(a)GB 图上的抓取框(b)深度图上的抓取框(c)每一个像素点处的抓取质量图 5SE-GGCNN 对分布均匀的物体不同放置角度下抓取姿态估计结果(2)分布不均匀物体。为验证 SE-GGCNN 对于分布不均匀物体在不同放置角度下抓取姿态估计性能，选择将草帽作为抓取姿态估计的目标。如图 6 所示为 SE-GGCNN 对草帽在不同放置角度下的抓取姿态估计性能，图中 I 为 SE-GGCNN 对于角度 1 下的草帽的抓取姿态估计结果图，图中 II 为 SE-GGCNN 对于角度 2 下的草帽的抓取姿态估计结果图。由图 6(a)(c)可知，对于放置角度分布不均匀物体(草帽)，SE-GGCNN 的表现也非常稳定，均成功地检测出分布不均匀目标(草帽)的抓取框，并且 SE-GGCNN 模型检测到的抓取框在每一个像素点处的抓取质量明显接近标量 1，这说明本文所提出的 SE-GGCNN 模型对于分布不均匀物体也具有较高的抓取姿态估计性能。III(a)GB 图上的抓取框(b)深度图上的抓取框(c)每一个像素点处的抓取质量图 6SE-GGCNN 对分布不均匀的物体不同放置角度下抓取姿态估计结果此外，分布不均匀物体放置角度的改变也不会影响该模型抓取姿态估计的性能。(3)小物体。为验证 SE-GGCNN 网络对于小物体在不同放置角度下抓取姿态估计性能，选择将一把锁作为抓取姿态估计的目标。如图 7 所示为 SE-GGCNN 对锁在不同放置角度下抓取姿态估计性能，图中 I 为 SE-GGCNN 对于角度 1 下的锁的抓取姿态估计结果图，图中 II 为 SE-GGCNN 对于角度 2 下的锁的抓取姿态估计结果图。由图 7(a)(c)可知，尽管抓取姿态估计的目标物体是较小的物体(锁)，SE-GGCNN模型仍能很好地估计出抓取姿态，但是相对于之前的较大目标，抓取姿态估计的性能有一定的下降。同时，也可以看到摆放位置的改变不会影响小目标抓取姿态估计的性能。III(a)GB 图上的抓取框(b)深度图上的抓取框(c)每一个像素点处的抓取质量图 7SE-GGCNN 网络对小物体不同放置角度下的抓取姿态估计结果3 3SE-GGCNN 准确度和用时分析为更好地验证本实验搭建的 SE-GGCNN 性能，进一步利用 Cornell 数据集上的 101 对测试数据(101 张GB 图和对应的 101 张深度图)进行了定量验证实验。定量验证实验主要从两方面对本文所搭建网络的抓取姿态估计性能进行定量评估:在 Cornell 数据集上姿态估计的平均准确率;Cornell 数据集上算法检测单张测试图片的平均用时。经测试，所搭建的网络在 Cornell 数据集上抓取姿态估计的平均准确率为82%，单张图片检测的平均用时为 115 ms。实验结果表明所搭建的网络模型 SE-GGCNN 抓取姿态估计准确度高。此外，当单张图片的检测时间小于 1 s 时，可以用于闭环抓取任务9，本系统单张图片检测平均用时仅为 115 ms，因此适用于闭环需求的机械臂最优抓取姿态估计任务。4结语本文设计并搭建了一种可用于实时闭环抓取的未知物体抓取姿态估计网络模型SE-GGCNN，并在未知(下转第 30 页)4第 42 卷的破损情况。参考文献(eferences):1张爱林，王小青，刘学春，等 北京大兴国际机场航站楼大跨度钢结构整体缩尺模型振动台试验研究J 建筑结构学报，2021，42(3):1-132Finn W D L，Fujita N Piles in liquefiable soils:seismic analysisand design issues J Soil Dynamics and Earthquake Engineering，2002，22(9-12):731-7423王安辉，袁春坤，章定文，等 桩筏连接形式对劲芯复合桩地震响应影响试验研究J 中国公路学报，2021，34(5):24-364李尚飞 预应力管桩模型振动台试验研究D 天津:河北工程大学，20125张圆圆 基于振动台模型试验的单桩动力反应分析D 天津:河北工程大学，20136Chau K T，Shen C Y，Guo X Nonlinear seismic soil-pile-structureinteractions:Shaking table tests and FEM analysesJSoilDynamics Earthquake Engineering，2009，29(2):300-3107汪大洋，梁秋河，周云，等 地铁上盖超高层结构竖向振动台模型试验 工程背景与模型验证研究J 建筑结构，2022，52(5):1-88周恩全，王志华，陈国兴 可液化场地端承单桩振动台模型试验 J 南京工业大学学报(自然科学版)，2013，35(6):5-109冯士伦，王建华 海洋平台桩基的振动台模型试验研究J 岩石力学与工程学报，2006，25(S1):3229-3234 10罗东雨，孙建刚，柳春光，等 桩-土-LNG 储罐振动台试验与数值仿真分析J 振动工程学报，2021，34(3):515-527 11凌贤长，王东升，王志强，等 液化场地桩-土-桥梁结构动力相互作用大型振动台模型试验研究 J 土木工程学报，2004，37(11):67-72 12谢文，孙利民 桩-土-斜拉桥动力相互作用体系振动反应特性试验研究J 岩土工程学报，2019，41(7):1319-1328 13李荣建，于玉贞，吕禾，等 动力离心模型试验中微混凝土抗滑模型桩的设计J 清华大学学报(自然科学版)，2009，49(9):1498-1502 14李平，刘应慈，周楷，等 振动台模型试验相似设计综述 J 防灾科技学院学报，2020，22(4):29-35 15史小萌，刘保国，肖杰 水泥和石膏胶结相似材料配比的确定方法J 岩土力学，2015，36(5):1357-1362 16亢景富，张镜剑，冯乃谦 结构模型试验中模型混凝土配合比研究 J 土木工程学报，1998，31(4):53-58(上接第 4 页)物体抓取姿态估计的标准数据集上进行了网络模型的定性和定量评估实验，结果表明:SE-GGCNN 模型具备对于不同对象的鲁棒性和自适应性;对于未知物体的抓取姿态估计的平均准确率可达 82%，单张图片平均用时为 115 ms，具备实时性，满足闭环抓取的需求。因此，本实验所搭建的未知物体 SE-GGCNN 可应用于基于深度学习的机械臂闭环抓取中，从而显著提高未知物体抓取的鲁棒性和准确率。该实验内容融合了计算机视觉、机器学习、机器人操作系统、机器人系统综合实践等多方面的知识和技术，体现了机器人工程专业不同课程的融合性、学习内容的高阶性。该实验项目可使学生将机器人工程专业多门相关课程知识有机融合，对于培养学生的创新思维，提高学生解决实际智能机器人系统设计和开发的综合能力具有良好的支撑与促进作用。参考文献(eferences):1Du G，Wang K，Lian S，et al Vision-based robotic grasping fromobject localization，object pose estimation to grasp estimation forparallel grippers:a review J Artificial Intelligence eview，2021，54(3):1677-17342Wang Z，Li Z，Wang B，et alobot grasp detection usingmultimodal deep convolutional neural networksJAdvances inMechanical Engineering，2016，8(9):743-7583Bohg J，Morales A，Asfour T，et al Data-driven grasp synthesis-asurveyJ IEEE Transactions on obotics，2014，30(2):289-3094刘亚欣，王斯瑶，姚玉峰，等 机器人抓取检测技术的研究现状 J 控制与决策，2020，35(12):2817-28285Te J，Kouskouridas，Doumanoglou A，et al Latent-class houghforests for 6 DoF object pose estimationJ IEEE Transactions onPattern Analysis and Machine Intelligence，2017，40(1):119-1326Peng S，Zhou X，Liu Y，et al Pvnet:pixel-wise voting network for 6dof object pose estimation J IEEE Transactions on Pattern Analysisand Machine Intelligence，2020:98-1057Ten P A，Gualtieri M，Saenko K，et al Grasp Pose Detection inPoint CloudsJ The International Journal of obotics esearch，2017，36(13-14):1455-14738夏晶，钱堃，马旭东，等 基于级联卷积神经网络的机器人平面抓取位姿快速检测 J 机器人，2018，40(6):794-8029Caldera S，assau A，Chai D eview of deep learning methods inroboticgraspdetection JMultimodalTechnologiesandInteraction，2018，2(3):57 10 Chu F J，Xu，Patricio V eal-world multiobject，multigraspdetectionJ IEEE obotics and Automation Letters，2018，3(4):3355-3362 11Lu Q，Van der Merwe M，Sundaralingam B，et al Multifingeredgrasp planning via inference in deep neural networks:Outperformingsampling by learning differentiable modelsJ IEEE obotics Automation Magazine，2020，27(2):55-65 12Morrison D，Corke P，Leitner JClosing the loop for roboticgrasping:a real-time，generative grasp synthesis approachJobotics:Science and Systems，2018，21(2):430-440 13Lenz I，Lee H，Saxena A Deep learning for detecting robotic grasps J International Journal of obotics esearch，2016，34(4-5):705-724 14喻群超，尚伟伟，张驰 基于三级卷积神经网络的物体抓取检测 J 机器人，2018，40(5):762-76803