基于Leap Motion的手语识别算法优化.pdf
《基于Leap Motion的手语识别算法优化.pdf》由会员分享,可在线阅读,更多相关《基于Leap Motion的手语识别算法优化.pdf(6页珍藏版)》请在咨信网上搜索。
1、SOFTWARE2023软 件第 44 卷 第 8期2023 年Vol.44,No.8基金项目:江苏高校“青蓝工程”资助;基于 SAAS 平台的物料管理系统研发作者简介:杜淑颖(1981),女,江苏沛县人,硕士,副教授,研究方向:机器学习、信息安全;何望(1995),男,江苏宝应人,硕士,研究方向:图像识别、云计算。基于 Leap Motion 的手语识别算法优化杜淑颖1,2 何望2(1.徐州生物工程职业技术学院信息管理学院,江苏徐州 221000;2.中国矿业大学计算机科学与技术学院,江苏徐州 221116)摘要:Leap Motion 设备产生的数据在虚拟环境中可以进行手势识别。通过识别和
2、跟踪用户的手来生成虚拟 3D 手部模型,从而获取手势信息。本文设计了一种基于隐马尔可夫模型(Hidden Markov Model,HMM)分类算法来学习从 Leap Motion 中所获取的手势信息的系统,根据手势特征的重要性赋予不同权值,可进一步提高分类准确率,实现手语信息的识别输入。测试结果表明,识别准确率为 86.1%,手语打字输入识别速度为每分钟 13.09 个字符,可显著提高聋哑人与正常人之间沟通的便捷性。关键词:Leap Motion;手势识别;隐马尔可夫模型;手语翻译 中图分类号:TP309 文献标识码:A DOI:10.3969/j.issn.1003-6970.2023.0
3、8.002本文著录格式:杜淑颖,何望.基于Leap Motion的手语识别算法优化J.软件,2023,44(08):009-014Optimization of Sign Language Recognition Algorithm Based on Leap MotionDU Shuying1,2,HE Wang2(1.School of Information Management,Xuzhou Vocational College of Bioengineering,Xuzhou Jiangsu 221000;2.School of Computer Science and Techno
4、logy,China University of Mining and Technology,Xuzhou Jiangsu 221116)【Abstract】:The data generated by the Leap Motion device can be used for gesture recognition in a virtual environment.Gesture information is obtained by recognizing and tracking the users hand to generate a virtual 3D hand model.Thi
5、s paper designs a system based on the Hidden Markov Model(HMM)classification algorithm to learn the gesture information obtained from Leap Motion,and assigns different weights according to the importance of gesture features,which can further improve the classification accuracy.rate to realize the re
6、cognition input of sign language information.The test results show that the recognition accuracy rate is 86.1%,and the sign language typing input recognition speed is 13.09 characters per minute,which can significantly improve the convenience of communication between the deaf-mute and normal people.
7、【Key words】:Leap Motion;gesture recognition;Hidden Markov Model;sign language translation基金项目论文0 引言近年来,手势识别由于在不同领域的广泛应用而受到关注,如人机交互、虚拟人技术、电脑游戏、教育、手语翻译、虚拟手术以及家庭康复等。在工业环境中,手势识别可用于需要高精度的领域1,如控制机器人的触臂实现工业抓取设备等。Leap Motion 控制器可以在虚拟现实(VR)环境中实现手势控制,控制器会跟踪操作员的手以及手指的移动路线并且在所连接的系统上进行对应的识别操作2。Leap Motion 的工作原理类
8、似于电脑鼠标或触摸屏,但其操作是基于视频识别,Leap Motion 使用两个红外摄像头可以识别并模拟人手,并将其数据呈现在三维空间中3。Leap Motion 由于其手势识别模拟的特性也曾被广泛应用于阿拉伯语、印度语、土耳其语、希腊语、泰语、印度尼西亚语以及英语的手语识别4,Ameur 等人使用支持向量机(SVM)在表示指尖与手掌中心坐标的空间特征描述符上进行训练5,实现了约 81%准确率的手语识别。Chuan 等人使用对指尖之间的平均距离、相邻指尖之间的传播距离和两个相邻指尖之间的三重传播区域进行 SVM 训练,实现了 79.83%的识别10软 件第 44 卷 第 8 期SOFTWARE准
9、确率6。Hisham 和 Hamouda 使用手掌和骨骼特征数据集进行动态时间规整计算7,实现动态手势识别,达到了 96.4%的准确率。Lu 等人利用隐条件神经场(HCNF)分类器识别动态手势识别8,在动态手势数据集上实现了 89.5%的准确率。本文在 Leap Motion 设备的基础上建立了一个手语识别的系统,该系统使用 Leap Motion 记录用户的手势动作,并在 VR 环境中识别相应的手势,再对手势数据使用隐马尔可夫模型(Hidden Markov Model,HMM)进行分类8,该分类用于以无监督的方式识别手势序列。该系统最终应用于手语识别以及手语方式打字输入。1 Leap Mo
10、tion 手势特征提取及识别1.1 Leap Motion 介绍Leap Motion 有两个单色红外摄像头和三个红外发光二极管(LED)。这些 LED 会生成一个 3D 点模型,并且 Leap Motion 可以从单色红外摄像机获得 2D 图像来生成用户手的空间模型9。与处理完整人体骨骼的微软 Kinect 不同,Leap Motion 只跟随用户的手,并且可以预测手指、手掌或手腕的位置,以防它们被遮挡。Leap Motion 可以处理 25 600mm 的距离,150宽,让用户在空间中自由地执行手势。使用红外摄像机,可以设置每个手点的坐标。为了识别手势,需要通过确定前臂、手腕、手和手指的部
11、位来处理大量数据10。Leap Motion 软件从 3D 图像中接收 3D 空间骨架,对其进行分析并聚合成某些包含相应手部信息的对象。Leap Motion 控制器具有 3 个主要的手部对象:完整的手臂、手掌和手指。全臂物体提供有关手在空间中的位置、长度和宽度的信息。手对象保存有关手(左或右)位置和那只手的手指列表的信息。手势处理所需的 Leap Motion 最重要的部分是指尖对象,这也会保存每个人的基本骨骼数据。虽然 Leap Motion 设备能够识别人手,但它不能直接识别用户显示的手势,它只能模拟人手的空间模型,但该设备不具备根据这些数据判断用户何时显示单指手势的功能10。如图 1
12、所示,Leap Motion 设备展示了人手的 3D 空间模型。有了这个模型,就可以得到每只手的坐标、转动角度、骨骼或手掌中心等必要信息。如果此设备始终位于用户面前的相同位置并且用户将显示相同的手势,则该设备将可以采集与实际情况几乎相同的数据。Leap Motion 中前臂和空间中每个手指的位置都可以看到不带有任何运动的每个手势。如果设备具有运动手势的指示,并且可以将 Leap Motion 中的数据记录到数据库中,那么可以将其用作识别该手势的模型数据。识别静态手势只需要 3 个自由度(Degrees of Freedom,DoF):偏差、倾斜和俯仰。如果前臂和手指之间的角度相似,则识别出显示
13、的静态手势,这将导致某种运动的动态手势的识别是类似的。手势数据库包含每个手势的典型空间数据。当用户显示动态手势时,算法会检查每个图像帧的空间数据如何变化,如果变化与数据库中的数据相似,则识别出动态手势。1.2 手势识别系统架构连续识别手势所需的数据量会根据手势的数量呈指数增长。对于连续十个或更多的手势,手势识别系统的算法需要较长的时间,平均大约半分钟。然而,实际手语系统中的手势使用量是不确定的,又由于在线上训练需要大量计算资源,因此该系统是使用基于云的网络服务实现的。为了实现相对应的识别系统,本文采用了微服务架构(A Case of the Service-Oriented Architect
14、ure,SOA),SOA 将应用程序定义为一组松散耦合的服务11,如图 2 所示手势识别系统与网络服务的连接使得在多台计算机之间轻松分配系统所需的资源成为可能,所有手势识别数据都存储在远程手势数据库中。通过启动向同一个数据库发送请求的多个服务,可以管理算法训练,同时,还可以记录新手势、开展研究和应用识别新手势的算法。1.Leap Motiondevice2.GestureRecognition App(client)3.GestureRecognition Microservice4.GestureDatabase图 2 系统架构Fig.2 System architecture图 1 Lea
15、p Motion 手部模型Fig.1 Leap Motion hand model11杜淑颖 何望:基于 Leap Motion 的手语识别算法优化网络服务提供了从不同环境轻松访问手势识别系统的途径。Leap Motion 设备可用于使用 Unity 或 Unreal Engine 游戏引擎创建的游戏,并可轻松集成到任何Windows 应用程序或网页中。作为网络服务推出的手势识别系统允许多种不同的系统与其进行通信12。目前,由于安装更简单,使用了简单对象访问协议(Simple Object Access Protocol,SOAP),但系统可以轻松扩展以接受具象状态传输数据请求,此功能将允许从
16、任何环境访问手势识别系统。Leap Motion 设备记录的数据存储在 Microsoft 结构化查询语言(Microsoft Structured Query Language,MS SQL)数据库中,允许创建个性化的手势收集。1.3 手势识别Leap Motion 可以持续显示用户手部轮廓,当我们想要在手势开始时过滤掉这些镜头的序列时,会出现所有数据都发送到手势识别系统上无法很好被识别的问题,这种情况是由于某些手势可能由几种其他类型的手势组成13。比如在切换手势过程中,连续影像中的很多帧是手势切换的过程影像,并不是需要识别的目标内容。为了解决这个问题,将系统的状态作如下定义:(1)开始(S
17、tart):系统正在等待用户开始移动。如果指针开始移动,则不会开始转换到 Waiting 状态。(2)等待状态改变(Waiting Until the State Changes):如果系统没有看到手,则系统返回到开始状态。如果用户不移动手,系统进入静止手势锁定状态。(3)固定手势锁定状态(Stationary Gesture Lock State):用户在两秒钟内没有移动手并且手势是固定的,记录的手部模型数据被保存并转换为手势识别状态;如果用户在两秒钟内移动手,系统状态将更改为运动检测状态。(4)运动检测状态(Motion Detection State):如果设备无法跟随用户的手部,则保存
18、记录的手部模型数据,并将系统状态更改为手势识别状态。(5)手势识别状态(Gesture Recognition State):在此状态下捕获的数据被发送到手势识别子系统。当子系统返回结果时,将结果呈现给用户,系统进入数据清除状态。(6)数据清除状态(Data Clearing State):清除不需要的数据并进入开始状态。1.4 特征提取和预处理Leap Motion 控制器返回以真实世界坐标为单位的数据(以 mm 为单位)来代表 Leap Motion 参考系内的位置14。如图 3 所示,数据表示关键手部特征的 x、y 和 z 坐标(手腕位置、手掌位置、掌骨位置、手指的近端、中间和远端骨骼和
19、指尖位置)。本文介绍的特征提取方法如图 4 所示。提取了 4 种类型的手部特征,即指尖距手形心的 3D 位置、指尖在手掌平面上方的高度、两者之间的夹角、指尖到手掌中心的向量以及指尖角,其中指尖角是表示投射在手掌上的指尖方向的角度。Leap Motion 控制器包括 11 个手指关节的 3D 位置。对于每个手势,我们计算 7 个主要手顶点之间的欧几里得距离,代表拇指、食指、中指、无名指和小指的尖端位置、手掌位置和手腕位置。7 个顶点之间总共有21 个距离。此外,还生成了角度特征,代表 3 个不同顶点中任意一个之间的角度,代表另外 35 个特征。总共提取了 56 个特征(21 个距离和 35 个角
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于Leap Motion的手语识别算法优化 基于 Leap Motion 手语 识别 算法 优化
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。