基于OpenCV MediaPipe实现运动姿态AI检测在体育训练中的应用.pdf

第 18 期2023 年 9 月无线互联科技Wireless Internet TechnologyNo.18September,2023基金项目:2023 年度宁夏工商职业技术学院校级科研项目;项目名称:基于 OpenCV+MediaPipe 的运动姿态AI 训练系统的设计与开发;项目编号:NXGS2023ZR10。作者简介:谢鹏(1975),男,山西临猗人,助教,硕士;研究方向:人工智能与大数据技术。基于 OpenCV+MediaPipe 实现运动姿态 AI 检测在体育训练中的应用谢 鹏(宁夏工商职业技术学院,宁夏 银川 750021)摘要:文章基于 OpenCV 在计算机视觉和 MediaPipe 在机器学习中人体姿态估计中的应用,开发了体育运动 AI 训练系统 V1.0,实现自定义示范动作,用以达到辅助体育训练的目的;实现方法为,通过采集 MediaPipe 检测追踪和捕获在人体运动时姿态各个关节角度数据,作为示范动作的数据集,将训练者动作数据集与示范动作数据集对比,判断动作是否标准;系统经运动员测试使用,动作识别率较高,训练效果良好;运动姿态 AI 检测在体育训练方面应用有效可行。关键词:OpenCV;MediaPipe;人体姿态估计;体育训练中图分类号:TP391 文献标志码:A1 概述 体育训练通常要求运动员身体具备很好的四肢协调性,运动员很多情况下是重复某个动作的训练,训练的动作本身对身体姿态有一定的要求,包括身体四肢和躯干部分起始动作位置的相互夹角和结束动作位置的夹角。基于这种实际需求,经过综合分析并考虑到技术实现的可行性,笔者选择使用基于OpenCV 计算机视觉库1,结合 MediaPipe 机器学习中 Pose 的姿态估计2-4,以及 PyQt5 的 GUI 界面设计的技术,综合运用实现体育运动 AI 训练系统 V1.0 软件的设计和开发。系统通过视频获取的实时动作姿态参数与参考动作参数对比,达到辅助训练的目的,经过测试,使用情况良好,有一定的推广价值。以下介绍 OpenCV、MediaPipe 和 PyQt5 的基本情况。1.1 OpenCV 开源的计算机视觉库 开源计算机视觉库(Open Source Computer Vision Library,OpenCV)是一个基于 Apache2.0 许可(开源)发行的跨平台计算机视觉和机器学习软件库,可以运行在 Linux、Windows、Android 和 Mac OS 操作系统上,其中包含数百种图像处理和计算机视觉算法,已经成为计算机视觉领域最有力的研究工具之一。它轻量级而且高效,由一系列 C 函数和少量 C+类构成,同时提供了 Python、Ruby、MATLAB 等语言的接口,实现了图像处理和计算机视觉方面的很多通用算法,使得开发者可以在不同的平台下使用 OpenCV 计算机设计算法处理问题。应用领域包括:人机互动、物体识别、图像分割、人脸识别、动作识别、运动跟踪、机器人、运动分析、机器视觉和结构分析。1.2 MediaPipe 开源的多媒体处理框架 MediaPipe 为直播和流媒体提供跨平台、可定制的 ML 解决方案。MediaPipe 的 Pose 解决方案中的人体姿态估计在量化的体育运动、手语识别和全身手势控制等各种应用中发挥着极为重要的作用。它可以构成运动、健身、瑜伽和舞蹈应用的基础,甚至还可以在增强现实中将计算机中数字的内容和信息与在现实世界进行实时的交互,Pose 是一种用于身体姿态实时跟踪的 ML 解决方案,BlazePose 通过从 RGB 视频帧中获得身体上的 33 个 3D 特征点(landmark)和背景分割掩码,如图 1 所示。这些特征点会随着动作的动态变化,实时跟踪身体的位置,坐标也实时变化。BlazePose 的应用之一是健身运动方面,主要在姿态分类和重复计数,在 Colabs 的帮助下构建自定义姿态分类器。常见健身的两种练习是俯卧撑和深蹲,选择了 k-最近邻算法(k-NN)作为分类器,为建立一个001第 18 期2023 年 9 月无线互联科技技术应用No.18September,2023较为准确的分类器,训练集需要收集约几百个,适当涵盖不同的相机角度、环境条件、体型和运动变化的样本(俯卧撑的“向上”和“向下”位置)。重复计数,以俯卧撑的“向上”和“向下”终端状态为例:会分别计算“向下”和“向上”姿态类的概率首次超过某个阈值时,认为是“向上”和“向下”2 个动作,并计为 1 次。图 1 33 个姿态特征点1.3 PyQt5 UI 设计工具 PyQt5 是基于 Qt5 的 Python GUI(图形用户界面)框架,能够利用 Python 语言所提供的便捷性和灵活性,在跨平台的程序设计和开发过程中提供高效、可靠和易用的工具和资源。PyQt5 可以在 Windows、Mac OS X、Linux、Android 等多个主流操作系统平台上进行编程开发,同时也支持多种编程语言,例如 C+、Python、Java 等。PyQt5 具有友好易用的 API 和完整的类库,提供了丰富的图形、网络、数据库、多媒体等核心功能组件,同时也涵盖了多种常用控件和界面元素,例如窗口、按钮、文本框、列表框、菜单、工具栏、表格等等。PyQt5 在 GUI 编程方面使用已经越来越普遍,被广泛应用于各种应用程序的开发、测试和发布,具有丰富的社区支持和资料资源库,为 Python 开发者提供了强有力的工具和框架。2 体育运动 AI 训练系统 V1.0 的设计与实现 系统开发 IDE 为 PyCharm 和 QT designer,开发语言为 Python,以及 OpenCV、MediaPipe、PyQt5 等第三方库。系统的 4 大功能:自定义运动姿态、AI 辅助训练、实时姿态数据可视化和视频图像的任意缩放5。本系统可以将运动员自定义的示范动作(主要是四肢与身体的夹角,肘部、膝盖和脚踝的夹角)的数据存储起来,任何需要训练的时候可以选择某个动作数据,点击开始训练,就可以参照示范动作进行训练,左上角的标记,在开始做动作在示范动作的上下 15的范围内时候呈现一种颜色,动作介绍在示范的动作的上下 15的范围内呈现另外一种颜色。两种颜色按顺序变化,则表示动作正确,会有相应的提示。通过反复地在起始位置做动作,颜色相继变化,动作的范围越来越接近参考值,意味着动作越来越接近示范动作,就是接近正确的动作。实现该系统的主要方法为 poseDetector 类的findPose()、findPostion()和 findAngle()方 法,findPostion()可以获得运动姿态的 33 个特征值,findAngle()输入 3 个相邻点的特征值,通过计算获得中间点和两边点的夹角,也就是关节间的夹角。获取运动姿态特征值需要使用的是 mediapipe.solutions.pose.Pose()方法中的 findPosition()方法,获取运动姿态的关节角度需要使用 findAngle()方法,Pose()方法中传递的 5 个重要参数,具体使用如下:class poseDetector():self.pose=self.mpPose.Pose(self.mode,self.upBody,1,self.smooth,self.detectionCon,self.trackCon)101第 18 期2023 年 9 月无线互联科技技术应用No.18September,20232.1 实现方法2.1.1 获取姿态 findPose()findPose()方法实现获得并标记特征值的点。def findPose(self,img,draw=True):self.imgRGB=cv2.cvtColor(img,cv2.COLOR_BGR2RGB)self.results=self.pose.process(self.imgRGB)#判断特征值是否存在if self.results.pose_landmarks:if draw:#标记出运动姿态图像特征值 self.mpDraw.draw_landmarks(img,self.results.pose _ landmarks,self.mpPose.POSE _CONNECTIONS)return img#返回标记特征值的运动姿态图像2.1.2 获取特征值 findPosition()使用 findPosition 方法,能够将运动姿态的 33 个特征值,每个特征值包括序号、x 坐标和 y 坐标 3 项,x和 y 坐标根据图像通过换算转换为实际窗口上的坐标,在每个点上画出圆形进行标注。def findPosition(self,img,draw=True):self.lmList=#判断特征值 if self.results.pose_landmarks:for id,lm in enumerate(self.results.pose_landmarks.landmark):h,w,c=img.shape cx,cy=int(lm.x w),int(lm.y h)self.lmList.append(id,cx,cy)return self.lmList2.1.3 获取关节角度 findAngle()findAngle()获得以 p2 为顶点的以 p1p2、p2p3为边的夹角,也是姿态关节的夹角,笔者就是通过与参考夹角范围对比,来判断某个动作是否符合要求的。def findAngle(self,img,p1,p2,p3,draw=True):#获得特征值 x1,y1=self.lmListp11:x2,y2=self.lmListp21:x3,y3=self.lmListp31:#计算角度 angle=math.degrees(math.atan2(y3-y2,x3-x2)-math.atan2(y1-y2,x1-x2)return angle2.2 自定义运动姿态 以乒乓球正手攻球动作为例,如图 2 所示,示范者先做好开始动作后由操作人员点击“开始动作”按钮,记录开始动作的四肢动作夹角值,然后再做“结束动作”并点击结束按钮。这两步操作之后,系统会分别记录动作开始和结束数据,点击确定“记录按钮”,会在 excel 表中新增加一个工作簿。并且操作人员可以自定义命名动作的名称,如果名称重复,则需要重新录入。然后确定存入 excel 表中新建的工作表,并可以通过选择下拉列表选择当前的数据,便可以在实时显示界面上显示刚刚记录的数据集,如果要开始训练,点击开始训练按钮进行训练。图 2 记录准备与结束动作201第 18 期2023 年 9 月无线互联科技技术应用No.18September,20232.3 AI 辅助训练当运动员选择了要训练的参考动作数据集之后6,就可以开始训练,其原理为通过视频抓取每一帧的姿态动作与系统参考动作数据进行对比,动作范围可以自定义,本系统默认是 15的范围,比如:开始动作参考数据里的连接前臂和上臂的肘关节夹角度数为 120,那么参考标准度数为 120,训练者的动作可以在 105 135,如此则认为符合标准的开始动作,结束动作情况一样。比如收小臂之后,参考数据是 80,训练者的动作在 6595,笔者认为是符合标准的结束动作,如图 3 所示。标准的开始和结束动作,两种状态数据都符合标准,认为这是一个标准的动作。笔者特意设计开始和结束使用两种不同的颜色加以区分,开始和结束动作的状态提示。图 3 AI 辅助训练:自动识别开始与结束动作2.4 实时姿态数据可视化 使用者将从视频中获得的每一帧动作数据,存在一个数组里面,将数据赋值进度条控件,随着每一帧数据变化的不同,进度条的数据也发生变化,这样就有了数据动态变化的数据可视化效果。随着动作的不同,实时数据的变化体现在图形变化上,表现出动作的连续性。2.5 视频图像的任意缩放功能 使用者通过操作界面拉动滑杆获取比例数据后,赋值给控制视频放大倍数的参数,从而实现视频图像的任意变大或是缩小。3 未来研究方向 本系统实现最核心的 AI 辅助训练功能,未来工作方向在如何将收集来的数据进行进一步分析,为训练者提供更多有价值的指导,主要有以下几点。(1)增加分析功能:训练过程中,将训练数据记录存储。比如规定时间内的标准动作的次数,统计正确率。(2)增加纠正动作功能:从智能辅助训练到智能纠正动作过渡,能够通过数据指出哪个动作有问题,问题出在哪里,可以考虑语音播报提示。(3)增加辅助教练:可以根据参考数据,自动产生示范动作的虚拟教练,在屏幕上做动作,起到示范作用。(4)增加数据可视化:从更多维度来展示,训练动作与参考动作数据的可视化对比效果。4 结语 本文较为深入地探讨了基于 OpenCV、MediaPipe的运动姿态检测在体育辅助训练中的应用,通过设计和开发软件来整合辅助训练的功能,并给出了实现代码,详细阐述了主要功能实现的过程,展示采集数据和训练数据的过程,不同运动员做同一动作均可识别,提 高 运 动 者 的 动 作 辅 助 训 练 效 果 显 著。对OpenCV、MediaPipe 的运动姿态检测的研究方向,也进行了一定的讨论,今后会在更为广泛的体育运动或是其他与工作姿态相关的领域得到一定的应用。参考文献1朱文伟,李建英.OpenCV 4.5 计算机视觉开发实战:基于 PythonM.北京:清华大学出版社,2022.2王万良.人工智能应用教程M.北京:清华大学出版社,2023.3张宇,温光照,米思娅,等.基于深度学习的二维人体 姿 态 估 计 综 述 J.软 件 学 报,2022(11):4173-4191.4张国平.深度学习方法在二维人体姿态估计的研301第 18 期2023 年 9 月无线互联科技技术应用No.18September,2023究进展J.计算机科学,2022(12):219-228.5朝乐门.数据科学理论与实践M.北京:清华大学出版社,2017.6朝乐门.Python 编程:从数据分析到数据科学M.北京:电子工业出版社,2019.(编辑 沈 强)Application of AI detection of motion posture based on OpenCV+MediaPipe in sports trainingXie Peng Ningxia Vocational Technical College of Industry and Commerce Yinchuan 750021 China Abstract This article is based on the application of OpenCV in computer vision and MediaPipe in machine learning for human pose estimation.The author has developed Sports Motion AI Training System V1.0 to achieve the goal of assisting sports training by implementing custom demonstration actions.The method involves collecting angle data of various joints poses during human motion using MediaPipe s detection and tracking creating a dataset of demonstration actions.The system compares the dataset of the trainee s actions with the dataset of demonstration actions to determine if the actions are standardized.The system has been tested by athletes and has shown high accuracy in action recognition resulting in good training effectiveness.The application of AI-based motion pose detection in sports training is effective and feasible.Key words OpenCV MediaPipe human posture estimation physical training(上接第 88 页)5樊飞.人脸特征点检测算法的改进与疲劳检测算法的研究D.南京:东南大学,2019.6高婷婷,李航,殷守林.一种基于面部纹理特征融合的人脸表情识别方法J.河北科技大学学报,2021(2):119-126.(编辑 王永超)Application research and improvement measures of face recognition technologyDing Haitao School of Information Engineering Chuzhou Polytechnic Chuzhou 239000 China Abstract Facial features are important biological features of human beings which has the characteristics of non-replicability uniqueness and so on and is widely used.In the article facial features were analyzed the general process of facial recognition was introduced and the principle of face recognition was also introduced by the author.Combined with the Application of facial recognition in attendance check-on attendance facial payment password verification etc.their functional characteristics were studied and analyzed by the author.As biological information human face has the risk of being leaked and maliciously used.Based on actual situations improvement measures and relevant suggestions for protecting and using facial information in a reasonable manner were provided by the author in the article.Key words face recognition check-on attendance facial payment password verification401