基于骨骼关节点和物体属性的动作指令学习方法.pdf
《基于骨骼关节点和物体属性的动作指令学习方法.pdf》由会员分享,可在线阅读,更多相关《基于骨骼关节点和物体属性的动作指令学习方法.pdf(7页珍藏版)》请在咨信网上搜索。
1、第 卷第 期计算机应用与软件 年 月 基于骨骼关节点和物体属性的动作指令学习方法钟经谋陈俊洪黄可思刘文印(广东工业大学计算机学院广东 广州 )收稿日期:。国家自然科学基金项目(,);广东省引进创新科研团队计划项目();广东省科技创新战略专项资金项目()。钟经谋,本科生,主研领域:计算机视觉和自然语言处理。陈俊洪,硕士生。黄可思,本科生。刘文印,教授。摘要为了从视频中学习动作指令,提出一种基于骨骼关节点和物体属性的动作技能学习方法,该方法使用 算法提取视频中人体骨骼关节点,根据人体骨架和手部骨架特征构建无向时空图,并使用时空图卷积网络识别演示者的操作动作。通过 识别操作物体,并根据识别的动作采用
2、两个 分类器将操作物体分为主体物体和受体物体。使用原子命令(三元组)表示机器人学习到的技能。在 上进行实验,该方法动作识别的精确率达到 ,操作物体分类总准确率达到 ,能够从演示视频中学习操作技能的准确率到达 ,有效地验证了该方法。关键词人体骨架手部骨架物体属性操作技能中图分类号 文献标志码 :(,),引言近年来,机器人在各行各业的应用变得越来越广泛,例如制造业、医疗服务、家庭服务等,然而现有的机器人工作模式大多为预编程模型,无法自主学习操作。对此近年来人们提出从视频中学习动作指令的学习方法,该方法不仅可以免除人工编程时间,而且能够抑制外界环境的干扰。其中视频学习的关键是对视频中演示者动作的准确
3、识别,动作识别的准确率影响物体分类的准确率。因而动作的准确性和时效性将直接影响机器人的技能学习的效果。计算机应用与软件 年为了达到准确高效的学习效果,人们提出许多视频动作识别方法,例如,等 提出结合时间和空间特征的双流卷积网络,通过在相同像素位置融合空域卷积网络和时域卷积网络,提高动作识别的准确率。等 通过在双流卷积网络的基础上改进卷积神经网络的形式和以更小的学习速率、更高 系数进行训练,提高动作的识别率。然而,由于视频环境变化、人体外貌改变等不确定因素,基于图像视频的动作识别具有一定的局限性。为了解决该问题,人们开始通过对人体骨骼节点运动进行分析,等 首次提出运用时空图卷积网络在人体骨架上进
4、行卷积,它有效地提取了人体骨架序列运动的时空特征,进而识别出动作。等 提出利用强化学习对动作进行识别,该方法通过分析人体骨架的运动信息提取骨架序列中信息量最多的视频帧,并丢弃不明确的帧,最终利用挑选的视频帧进行动作识别,提高了识别效果。虽然这些方法都可以有效地捕捉到人体的操作动作,但是对于一些细微的操作动作,例如切、倒、搅拌等动作却难以进行识别。针对该问题,本文提出一种基于人体骨架、手部骨架和物体属性的动作技能学习方法,该方法包含两个模块。第一个模块是动作识别模块,该模块首先使用 算法识别 视频中每一帧的人体骨架和手部骨架,然后我们基于人体骨架和手部骨架构建自然连接拓扑图,当骨架链接拓扑图构建
5、完毕后,我们使用时空图卷积网络提取人体骨架和手部骨架序列的时空特征,并根据时空特征识别出演示视频中演示者的操作动作类别。第二个操作模块是操作物体识别模块,通过使用 找出所有物体的位置并提取相应特征,再将物体特征与第一个模块所提取的动作特征进行融合,最后输入到两个 分类器将物体分为主体物体和受体物体。当得到动作、主体物体和受体物体后,我们将其进行组合用于表示视频的语义。本文的主要贡献包括:()提出一种基于人体骨架和手部骨架序列的动作识别方法,通过构建人体和手部自然连接拓扑图,使用时空图卷积网络识别操作动作,提高了细微操作动作的识别率。()提出将基于人体骨架和手部骨架所提取到的动作特征与物体属性相
6、结合,进一步细分物体的操作角色,并提高了物体角色的识别准确率。()通过在 烹饪活动数据集 上进行实验,我们有效地将视频转换成指令三元组。相关研究 动作识别对于机器人技能学习来说,动作的正确识别是机器人学习到技能的前提。动作识别的研究大致可以分为两类。第一类是基于 视频的动作识别,例如,等 提出双流卷积网络提取视频的时空特征进行动作分类,等 提出在视频动作识别中使用三维神经网络代替二维的神经网络,以捕获视频中更多的时空信息,等 提出 (),通过稀疏时间采样,降低长视频识别的计算量。第二类是基于人体骨架序列的动作识别,然而由于早期基于 视频的姿态估计算法对背景嘈杂、光照变化和外观变化等因素无法较好
7、地适应,导致其识别效果并不是很好,但随着微软 深度传感器的出现和改进,以及姿势估计算法 的不断优化,对光照变化和场景变化具有鲁棒性的人体骨架被广泛地应用于动作识别。等 提出时空图卷积网络,该网络从视频中提取骨架序列的时空特征并进行动作分类。等 提出动作 结构图卷积,通过 推理模块和自监督算法捕获更丰富的关节信息和动作信息。该算法虽然可以很好地预测人的运动,但由于只包含人体骨架特征,缺少手部骨架特征,导致其对于细微的操作却取得不好的效果。为了解决该问题,在本文中,我们保留了时空图卷积网络,并在此基础上扩展人体和手部的无向时空图,将人体骨架和手部骨架特征用于动作识别。我们更改了时空图卷积网络的大小
8、和配置,并将其重新训练到新的骨架序列数据集上,从而获得了动作识别的高准确率。语义表示为了更好的人机交互,完整的视频语义是必不可少的。关于演示视频的语义表示的研究大致可以分为两类。第一类是基于语义上下文无关的语法规则组合,通过建立语法规则组合出复杂的动作。例如,等 提出树结构语法规则,通过结合手、工具、物体等对演示者的操作过程进行描述。等 提出操作上下文无关语法,该语法分别定义了动作和物体以及手与物体的关系,最后通过语法规则进行链接。第二类是基于语言学的描述,利用语言学表达视频的语义。例如 等 提出使用 和 两个分支网络分别处理抓取方案和视频描述,该方法能产生第 期钟经谋,等:基于骨骼关节点和物
9、体属性的动作指令学习方法 准确的命令和强大的抓取性能。等 提出了 手 动作 物体 的结构语义语法,该方法为端到端的学习方法,将演示视频输入即可得到指令。然而以上方法没有解决多物体操作时的操作方式,对此,我们使用(动作(主体物体,受体物体)的指令三元组对操作过程进行表达,该方式可以解决机器人使用道具的难题,完整地保存了演示者的操作语义。动作指令学习方法本文方法如图 所示。本文方法分别使用基于人体骨架以及手部骨架的时空图卷积网络进行视频动作识别和 识别物体,然后使用两个 分类器将物体分类,最后使用动作三元组表达学习的技能。图 本文方法框架 基于人体骨架及手部骨架的动作识别人体骨架通常以二维或三维人
10、体关节点坐标表示,连续的人体关节点移动可以有效地表达人类的运动。不同于日常的人类运动,人类的操作往往包含有更多手部的细节。为了更好地识别人类的操作,我们提出将手部关节点加入人体骨架序列中进行分析。具体来说,我们首先使用 算法识别演示视频中的人体关节点和手部关节点,在获得 个身体关节点和 个手部关节点后,我们在 帧骨架序列上构造一个无向时空图 (,)。其中,表示点集合,它包含每一帧人体骨架和手部骨架的所有关节点,其表示如下:,()式中:表示视频中第 帧第 个关节点,并且我们使用特征向量 ()表示第 帧第 个关节点的二维坐标向量和估计置信度。表示边集合,它由两个子集组成,其中第一个子集描述了每帧的
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 骨骼 关节点 物体 属性 动作 指令 学习方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。