一种物理判据、数据驱动的新型手势识别算法_原晓楠.pdf
《一种物理判据、数据驱动的新型手势识别算法_原晓楠.pdf》由会员分享,可在线阅读,更多相关《一种物理判据、数据驱动的新型手势识别算法_原晓楠.pdf(4页珍藏版)》请在咨信网上搜索。
1、ISSN 1006 7167CN 31 1707/TESEACH AND EXPLOATION IN LABOATOY第 42 卷 第 1 期Vol 42 No12023 年 1 月Jan 2023DOI:10 19927/j cnki syyt 2023 01 012一种物理判据、数据驱动的新型手势识别算法原晓楠,杨文龙,闫梦寒,汤子仪,王仕鸿(西安交通大学 电气工程学院,西安 710049)摘要:基于智能家居系统应用背景,结合物联网、深度学习等技术对手势识别算法进行了研究,通过比较现有手势识别算法的不同特点,将数据驱动与物理判据相结合建立了手势识别算法,提出了基于 meidapipe 手部
2、关键点识别与物理判据、数据驱动相结合的一种手势识别算法,从而改善现有手势识别算法的计算量与准确性。通过实验分析发现相比其他手势识别算法,提出的手势识别算法不仅计算量小,还具有较高的准确率和较强的鲁棒性。关键词:智能家居系统;手势识别;物理判据;数据驱动;鲁棒性中图分类号:TM 930.2文献标志码:A文章编号:1006 7167(2023)01 0059 04A Physical Judgment and Data Driven Gesture ecognition AlgorithmYUAN Xiaonan,YANG Wenlong,YAN Menghan,TANG Ziyi,WANG Sh
3、ihong(School of Electrical Engineering,Xi an Jiaotong University,Xi an 710049,China)Abstract:Based on the application background of intelligent housing system,this paper combines with the Internet ofThings,deep learning and other technologies to study gesture recognition algorithmIt compares the dif
4、ferentcharacteristics of the existing gesture recognition algorithms This paper studies the algorithm based on data driven,andstudies the algorithm based on the physical criterion Finally,it combines the data driven and physical criterion toestablish the full gesture recognition algorithm It innovat
5、ive proposes a gesture recognition algorithm that is based on themediapipe detection of key points of hand and combined with physical and data driven Thus,the computationalcomplexity and accuracy of the existing gesture recognition algorithms are improved In the meanwhile,compared withother gesture
6、recognition algorithms,it is proved to have lower calculators,higher accuracy and better robustness byexperimentsKey words:intelligent housing system;gesture recognition;physical judgment;data driven;robustness收稿日期:2022-06-17基金项目:中国高等教育学会高等教育科学研究“十三五”规划课题项目(2019SYSZD09);2020 年西安交通大学本科教学改革研究青年项目(2020
7、SJZX05);2021 国 家 级 大 学 生 创 新 创 业 训 练 项 目(GJ202110698053)作者简介:原晓楠(1993 ),女,陕西蒲城人,工程师,现主要从事电工电子技术实验教学研究。Tel:138919419065;E-mail:yxn0002017060 xjtu edu cn0引言人机交互是人与智能设备之间的交互,而手势是人类传递信息的一个重要方式。在计算机技术急速发展的时代,如何利用手势无接触地进行设备控制是人工智能领域非常重要的课题,例如人们可以通过手势控制轮椅、窗户以及多种智能家居设备,从而达到生活便捷化与智能化,大大提升生活幸福感。目前基于视觉的手势识别主要分
8、为基于机器学习的视觉动态手势识别和基于深度学习的视觉动态手势识别1。在相关研究中,文献 2中最先提出了隐马尔可夫算法(Hidden Markov Model,HMM)并在手势识别中取得较为不错的效果。但是 HMM 算法无法处理种类过多、动作较复杂手势的识别问题。随着技术的发展,深度学习技术的出现带动了动态手势识别研究的发展,双流卷积网络3(Two Stream Network)、长短期记忆网第 42 卷络4(Long Sort Term Memory Net-work,LSTM)和 3D卷积神经网络等应用于动态手势识别,识别效果良好5。双流网络主要由空间网络和时序网络构成,空间网络卷积单张图像
9、获取图像主要空间特征;时序网络卷积连续 5 帧光流图像获取识别对象的运动信息,之后将信息融合完成行为识别任务。LSTM 首先使用普通的卷积神经网络提取特征,然后利用特有神经元结构对提取特征序列化,最后在全连接层上实现手势的分类。郑翡6 通过利用设计的三维卷积网络,对手势数据集中的视频内容学习较短的时空特征,然后利用卷积 LSTM 构建长时的时空特征,并在训练时通过运用多模态数据(GB 和 Depth)相互预训练以提升识别率。Molchanov 等7 提出了一种使用三维卷积神经网络(3D CNN)的动态手势识别方法,3D 卷积对连续图像进行特征提取,获取时序信息。并在数据集的预处理及数据增广方面
10、,做出了一定的创新,取得了较好的手势识别结果。通过分析发现,双流卷积网络算法通过单帧图片进行空间信息分析,在发生动作变化较大时,光流图像会容易丢失角点,导致失去跟踪目标,并且,光流信息的运算量较大,识别速率较慢8。3D 卷积算法由于需要学习大量参数,其计算成本和存储成本都较高,尤其是在处理长持续时间序列中并非最佳算法。在主流算法中,均选用了卷积算法作为核心算法,而卷积将会使得计算成本和存储成本较高,不利于手势识别技术的广泛使用9。为改善现有的手势识别算法,本文基于数据驱动和物理模型建立了手势识别算法。针对视频中每 1 帧图像,绘制手部 21 个关键点信息,即将 1 张图片转换成为一个 21 3
11、 的矩阵,用以描述手相对屏幕的绝对坐标10。之后,利用“距离”判断下一刻的手势位置。下面以向右挥手为例进行具体阐述。首先,提前采集多段标准向右挥手视频(蓝色点),计算出中心点位置(红色点),求出最远距离 L。然后将新录制的待判断手势定为绿色点,计算出其与中心点之间距离,若小于 L,则判断为向右挥手,否则不是向右挥手。针对多个手势,假设多个手势中心和距离分散,则针对新数据分辨其到不同手势中心点的距离,根据距离来判断,即距离最小的中心点的手势类别为该手势的类别。由于不同手势中心点与距离可能并不分散,故本模型对距离矩阵进行差分,利用速度对手势进行分类,大大减少了卷积算法所需的计算量和内存,并有较高的
12、准确率11。1算法原理基于上述背景与思路,本文提出了一种识别挥手动作的算法,一方面基于数据驱动;另一方面基于物理判据。录制足够多的标准挥手动作视频,假设每个动作共有 m 个视频,每个视频有 n 帧,通过采集手部 21个关键点的位置信息,得到一个 n 21 2 的三维矩阵,对数据做相应的处理得到正确手势的标准区间,只有当数据驱动和物理判据这两个条件同时满足时才被判断是正确的手势11。1.1基于数据驱动的算法手势具有平移不变性,所以首先对每个视频数据做了 2 次相对化处理,以防止挥手的起始位置不同对判断造成影响。第 1 次相对化是将坐标点向掌心相对:A=x1y1x2y2x20y20 x21y21x
13、1y1x2y2x20y20 x21y21x1y1x2y2x20y20 x21y21=a1a2an(1)A1r=a1r1a1r2a1rn(2)a1ri=x1y1x2 x1y2 y1x20 x1y20 y1x21 x1y21 y1(3)第 2 次相对化是将每个视频的各帧向第 1 帧相对:A2r=a2r1a2r2 a2r1a2rn a2r1(4)式中,A 为一段手势动作的视频数字信息。经过以上 2 种相对化处理后每个视频得到一个新的三维矩阵,将 m 个视频放在一起,求 m n 21 2个数据的中心点,再分别计算这 m 个视频到中心点的距离,找出最远距离并记为 lmax,然后计算要判断的视频与中心点的
14、距离 l,如果 l lmax,则认为该视频中的手势属于这 m 个视频中的动作类型;反之则不属于。理想情况如图 1 所示,但是实际上不同手势点的距离可能并不分散,会出现图 2 中的交叉区域,所以本文提出了第 2 部分基于物理判据的算法来削弱这一影响。图 1理想情况示意06第 1 期原晓楠,等:一种物理判据、数据驱动的新型手势识别算法图 2实际情况示意1.2基于物理判据的算法由于视频每 2 帧之间的时间是一定的,利用差分的思想,将各视频的后 1 帧减去前 1 帧:A=a1a2an(5)Ad=a1a2 a1an a1(6)以差值代表平均速度,求出这 m 个视频的平均速度,找出其中的最大值和最小值,分
15、别记为 vmax和 vmin,计算要判断的视频的平均速度 v。只有当 llmax且 vminvvmax都满足某个动作的标准时,才能认定该视频中的手势属于这个动作;反之不属于。2实验测试与分析2.1单一模型实验结果与分析实验数据来自实验人员,共计挥手 246 次,其中向左 110 次,向右 58 次,向上 38 次,向下 40 次,本实验分别针对单一手势与混合手势均随机抽样进行测试。2 1 1单一手势针对某单一方向的手势,由于数据量较少,实验设置 K-fold 交叉验证,将数据量平均分成 K 份,其中 K1份作为训练集,剩下的一份作为测试集12。实验在不同 k 值下,对不同方向的手势数据进行重复
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 一种 物理 判据 数据 驱动 新型 手势 识别 算法 原晓楠
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。