基于LSA-HRnet网络的人体姿态估计方法在太极拳运动中的应用.pdf
《基于LSA-HRnet网络的人体姿态估计方法在太极拳运动中的应用.pdf》由会员分享,可在线阅读,更多相关《基于LSA-HRnet网络的人体姿态估计方法在太极拳运动中的应用.pdf(7页珍藏版)》请在咨信网上搜索。
1、第 42 卷第 6 期2023年 11 月Vol.42 No.6Nov.2023中南民族大学学报(自然科学版)Journal of South-Central Minzu University(Natural Science Edition)基于LSA-HRnet网络的人体姿态估计方法在太极拳运动中的应用徐广1,吴星辰2*(1 沈阳航空航天大学 体育部综合教研室,沈阳 110136;2 季华实验室 九韶人工智能算法研究院,佛山 528200)摘要 由于专业运动知识的匮乏、动作评估准确度低等问题,导致人们对运动训练的积极性不高,运动水平提升慢以及身体出现不同程度的损伤等,针对以上问题,提出一种基
2、于注意力机制的轻量级采样模块的 HRnet(Lightweight Sampling Attention block HRnet,LSA-HRnet)人体姿态估计模型对运动过程中的动作进行分析和评估,提出的算法采用轻量级采样块网络和融合注意力机制实现模型的轻量化以及模型性能的提升.相比原始HRnet模型及其他的优秀人体姿态估计SCnet模型、轻量级Lite-HRnet,在自制太极拳的实验结果表明提出的模型能够有效的提高预测精度和降低参数量.基于提出方法能丰富混合现实技术在运动领域的发展的技术理论,改进现存运动问题、激发练习兴趣和提升体质健康.关键词 HRnet模型;人体姿态估计;混合现实;太极
3、拳运动中图分类号 TP391.4 文献标志码 A 文章编号 1672-4321(2023)06-0839-07doi:10.20056/ki.ZNMDZK.20230601Application of human pose estimation method in Tai Chi exercise based on LSA-HRnet networkXU Guang1,WU Xingchen2*(1 Sports Department,Shenyang Aerospace University,Shenyang 110136,China;2 Jiushao Institute of AI Al
4、gorithm,Jihua Laboratory,Foshan 528200,China)Abstract Insufficient knowledge of professional sports and low accuracy in motion assessment have led to low motivation in sports training,slow improvement in athletic performance,and various degrees of physical injuries.To address these challenges,a ligh
5、tweight human pose estimation model,namely Lightweight Sampling Attention block HRnet(LSA-HRnet)is proposed,based on an attention mechanism,for analyzing and evaluating during sports activities.The proposed algorithm combines lightweight sampling block networks and fusion attention mechanisms to ach
6、ieve model light weighting and performance enhancement.Comparative experiments with the original HRnet model,as well as other notable human pose estimation models such as SCnet and Lite-HRnet,are conducted using a self-designed Tai Chi dataset.The experimental results demonstrate that the proposed m
7、odel effectively improves prediction accuracy while reducing the parameter count.Moreover,based on the proposed approach,the research enriches the technical theory for the development of mixed reality technology in the field of sports,improves existing sports-related issues,stimulates exercise inter
8、est,and enhances physical fitness and health.Keywords HRnet model;human posture estimation;mixed reality;taichi exercise近年来,人们存在对运动积极性不高、运动水平提升慢等诸多问题1,将混合现实技术的融入到运动可以有效且高质量的学习2.人体姿态估计方法(Human Pose Estimation,HPE)作为混合现实技术收稿日期 2023-04-17*通信作者 吴星辰,研究方向:人工智能算法,E-mail:作者简介 徐广(1971-),男,副教授,博士,研究方向:体育教育训练学
9、,E-mail:基金项目 沈阳航空航天大学教改资助项目(JG2022120)第 42 卷中南民族大学学报(自然科学版)中关键的一环,HPE可以利用传感器、图像和视频来估计人体部位的姿态,通过HPE可以得到人体的几何和运动信息,对混合现实运动领域的发展有着至关重要的作用,因此,探索高精度人体姿态估计算法在混合现实运动中应用具有实际工程意义3-4.人体姿态估计算法在运动领域主要有二维姿态估计算法和三维姿态估计算法两类5.在二维姿态估计算法方面,TOSHEV提出了DeepPose6,它采用级联回归网络实现人体姿态估计,虽然该模型简洁强大,但检测精度较低,直接回归 2D 坐标很困难.WEI等人7提出了
10、卷积姿态估计(CPM)方法,它使用热力图来表示人体骨骼关节点的位置信息,但该方法包含的语义信息较少,容易产生欠分割现象.CAO等人8使用自底向上的思路创新地提出了OpenPose方法,通过对关键点进行聚类分析,得到每个人的骨骼关键点信息,但运行计算量非常大,帧率较低.SUN等研究者9提出的HRnet方法可以始终输出高分辨率的结果,但对硬件设备的要求较高,不利于普遍使用.YU等人10提出了Lite-HRNet网络模型实现了高性能的轻量化HRnet,主要通过通道权重从不同分辨率的特征图中计算出权重,最后采用加权处理融合的方式实现轻量化,但预测精度不高.在三维姿态估计算法方面,还有一些研究者开始利用
11、三维标注数据集来实现人体在三维空间内的姿态估计,例如使用End-to-End方法直接从图像特征获取3D网格参数.还有一些研究者设计了全连接残差网络和使用长短期记忆LSTM网络来学习图像序列中人体姿态的时序信息,以提高三维姿态估计的准确度和稳定性11.然而,这些方法容易受到背景、照明和服装等因素的影响,并且在一个数据集上训练的网络不能很好地推广到其他不同环境的数据集,可能导致结果不稳定12.在三维姿态估计运动领域,人体姿态估计技术被广泛应用于评估运动员的姿势、动作和技术,以改进运动质量13.然而,诸如遮挡、训练数据不足和深度歧义等挑战仍然存在困难14.并且对于复杂场景中的高度遮挡多人 HPE,3
12、D HPE 获得准确的 3D 姿态注释十分困难15.综上所述,虽然HPE的性能有了显著的提高,在运动领域HPE中仍存在一些挑战,需要在未来的研究中进一步解决.首先是在显著遮挡下可靠地检测个体16.第二个挑战是计算效率,大多数HPE算法在资源受限的设备上实现实时计算仍然很困难.另一个挑战在于罕见姿势的数据集有限,数据不平衡可能会导致模型偏差,导致在这些姿势上表现不佳17.针对人体姿态估计存在遮挡、计算效率低,罕见姿态的数据集有限等问题,我们在高分辨率网络的 HRnet模型的基础上提出了一个注意力机制的轻 量 级 采 样 模 块 的 HRnet(Lightweight Sampling Atten
13、tion block HRnet,LSA-HRnet),分别采用轻量级采样模块和注意力机制进行人体姿态估计来克服计算效率低、预测精度不高等问题,并在自制太极拳运动数据集上验证了模型的有效性,与HRnet、SCnet模型以及Lite-HRnet网络模型相比具有更高的精度.本文对人体姿态估计技术应用到太极拳运动中进行研究探索,并在一定程度上扩充了罕见姿势的人体姿态估计算法的数据集,提出的方法可以识别运动过程中不规范动作,在提高竞技水平的同时也能够预防运动损伤,并且可以帮助提高运动质量.1基于注意力机制的轻量级HRnet1.1HRnet在人体姿态评估网络的发展中,检测关键点的效果有了显著的提高.然而
14、,之前的网络模型在运动领域并未充分关注计算机视觉任务,特别是对于人体姿态评估任务中的高空间敏感度.因此,网络模型中使用了过多的上采样操作来提高特征图的分辨率,但是用于填充像素的双线性插值和转置卷积等方法并不能保证填充的像素值有用,因此不能恢复关键点的空间位置.为提高关键点的精确定位,对传统网络结构进行了改进,提出了高分辨率网络HRnet,HRnet网络结构如图1所示.高分辨率网络(HRnet)是由沙漏网络改进而成的多分辨率网络18.HRnet的架构主要包含四个阶段,每个阶段内部都有多个模块.如图 1 所示,HRnet从第一阶段的高分辨率分支开始.在接下来的每个阶段中,一个新的分支被添加到当前分
15、支中,同时添加当前分支中分辨率最低的12个分支.随着网络阶段的增多,它会有更多的并行分支,这些分支具有不同的分辨率,而前一阶段的分辨率都保留在后面的阶段中.一个包含3个并行分支的示例网络结构如图1所示.使用类似HRnet的方式实例化骨干网.该网络从一个茎开始,由两个跨步的840第 6 期徐广,等:基于LSA-HRnet网络的人体姿态估计方法在太极拳运动中的应用3 3卷积组成,将分辨率降低到1/4.第1阶段包含4个剩余单元,其中每个单元由宽度为64的瓶颈组成,然后进行一个3 3卷积,将特征映射的宽度减少到C.第2、3、4阶段分别包含1、4和3个多分辨率块.四种分辨率的卷积宽度分别为C、2C、4C
16、和8C.多分辨率群卷积中的每个分支有4个剩余单元,每个单元在每个分辨率中有两个3 3卷积.HRnet最初设计用于自上而下的姿势估计.得益于高分辨率特征和所有低分辨率分支特征的融合,HRnet在人体姿态估计任务中取得了优异的性能.1.2LSA-HRnet最近的工作表明,HRnet为了实现特征融合,通常需要大量的参数,导致网络变得复杂,模型的运行速度变慢.为了解决这个问题,本文提出了一种基于注意力机制轻量级采样模块的 HRnet 模型LSA-HRnet,其中LSA模块和传统采样模块如图2所示,在保证模型结构简单和推理精度的同时,显著减少了采样过程中的参数量和计算量.具体来说,对于输入大小为Cin
17、Win Hin 的特征图,输出大小为 Cout Wout Hout的特征图,传统的转置卷积计算量计算公式为公式(1):Cin Cout Wout Hout K K,(1)其中,K是传统转置卷积的核大小,为了减小计算量和参数量,同时保持转置卷积的效果,本文在HRnet网络结构上设计的注意力机制的轻量级采样模块.如图 2(b)所示,它由三部分组成:空间转置卷积(Depthwise Transpose Convolution)、1 1 卷积和注意力模块.具体来说,首先通过1 1点卷积将低维度信息扩展为高维信息,并对特征图的每个通道使用空间转置卷积进行空间转换.最后,使用1 1点卷积来融合各通道之间信
18、息,并将高维度信息压缩到原始输入维度.如图2(b)所示,LSA的计算量主要是空间转置卷积和两点卷积计算量的总和,计算公式为公式(2):Cin C*Win Hin 1 1+C*Wout Hout K K+C*Cout Wout Hout 1 1,(2)LSA的参数数量计算公式为公式(3):C*K K+Cin C*1 1+Cout C*1 1,(3)其中,C为高维度特征的通道数.LSA模块和传统采样模块参数量比值和计算量比值分别为公式(4)与公式(5):C*K K+Cin C*1 1+Cout C*1 1Cin Cout K K,(4)特征图 卷积 下采样 上采样 图1 高分辨率HRnet网络结构
19、Fig.1High resolution HRnet network structure图2 传统采样模块和LSA模块Fig.2Traditional sampling module and LSA module841第 42 卷中南民族大学学报(自然科学版)Cin C*Win Hin 1 1+C*Wout Cin Cout Wout Hout K KHout K K+C*Cout Wout Hout 1 1Cin Cout Wout Hout K K.(5)在本文中参数设置为C*=2 Cin,Wout=2 Win,Hout=2 Hin,公式(4)与公式(5)化简后分别为公式(6)与公式(7)
20、.2Cout+2+24 418,(6)24 4 2 2+2Cout+24 4532.(7)LSA 采样模块与传统采样模块相比,减少了84%计算量,参数量减少 75%.在图 2(a)中为传统的转置卷积,它有很大的计算量,图2(b)中展示了本文提出的注意力机制轻量级采样LSA模块,其中包括如何操作空间转置的卷积网络,如何操作点卷积网络以及引入注意力SEnet模块,首先选用1 1点卷积来扩展外层特征图的通道数,使得通道数C变为C*,然后继续选用空间转置卷积逐步形成最高的外层特征高分辨率图,最后,通过采用1 1点卷积将通道数变为C,由于注意力机制轻量级LSA模块将空间如何操作和通道操作分成了两个独立的
21、具体操作步骤,因此转置卷积的效果不是很好,针对这一问题,本文选用注意力机制SENet来增强空间中与通道有所关联的信息的融合,直接使用通道注意力机制(作为通道编码器,动态地调整每个通道的权重,如图2(b)所示.综上所述,假设输入的特征图,通过轻量级上采样模块输出的特征为,作为通道关注机制的输入.通过通道关注机制的特征输出.然后将LSA模块的特征输出和信道注意力机制的特征输出相乘并求和,得到最终的融合信息,即公式(8):Y=X+XXatt.(8)2实验验证与分析2.1构建数据集为了验证本文方法的可行性和有效性,本文设计了太极拳运动人体姿态估计实验,实验采用的计算机硬件环境为 12th Gen In
22、tel(R)Core(TM)i9-12900K 3.20 GHz,64 GB 内 存,NVIDIA GeForce RTX 3070Ti 显卡;软件环境为 Windows 11 操作系统;运行环境为 Python3.7,Pytorch2.1 和 Anaconda3.考虑到人体姿态估计领域目前还没有开源的太极拳人数据集及相关模型,本文建立了一个太极拳站人体姿态估计模型的数据集,该数据集包含了12个一段完整学习太极拳视频序列,针对太极拳数据集,我们首先将捕获的视频序列逐帧输出并进行关键图片筛选,为提高模型的预测性能进行图像预处理,在原有的基础上更进一步提高了在线视频帧的曝光度、色彩饱和度和整体色调
23、,增强了数据质量.最后,将视频帧显示图像全部设置为摄像400 400像素,大小为256 256,并用0和1对太极拳动作数据集上的关节点坐标进行标注(关节点位置标记为1,没有关节点的位置标记为0.构建人体姿态估计模型数据集后,依据7 3的比例划分训练集和测试集.自定义太极拳视频数据集的提取是为了能够更方便的了解太极拳姿势的具体操作步骤,为强化训练集和验证集显示的图像来自志愿者,本文内容采取使用帧差法提取太极拳学习动作,每一个学者的太极拳数据集包含100张关键帧图像,最终存储在一个JSON生成的文件中,其基本结构与 COCO 人体姿态估计模型标注基本一致,标签样式为人体关键点标注,人体关键点标注用
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 LSA HRnet 网络 人体 姿态 估计 方法 太极拳 运动 中的 应用
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。