运动场景下的多目标人体姿态估计_朱丽萍.pdf
《运动场景下的多目标人体姿态估计_朱丽萍.pdf》由会员分享,可在线阅读,更多相关《运动场景下的多目标人体姿态估计_朱丽萍.pdf(7页珍藏版)》请在咨信网上搜索。
1、 年月第 卷第期计算机工程与设计 运动场景下的多目标人体姿态估计朱丽萍,唐亮,朱凯杰,李昊阳(中国石油大学(北京)信息科学与工程学院,北京 ;中国石油大学(北京)体育与人文艺术学院,北京 ;澳门大学 科技学院,澳门 )摘要:为提高群体活动场景下细粒度人体姿态估计的准确率,优化网路中人体识别及姿态估计算法,在现有研究的基础上,提出一种结合多尺度预测以及改进并行注意力模块的多目标人体姿态估计算法。在充分利用不同尺度特征信息的基础上,实现高质量的人体姿态估计;针对运动场景下多目标人体姿态数据集较少,提出一种数据集 。实验结果表明,该算法在公开基准数据集和自制数据集上分别达到了 和 ,验证了该算法在运
2、动场景下针对多目标的高效性。关键词:深度学习;运动场景;姿态估计;注意力机制;多目标;多尺度;细粒度人体识别中图法分类号:文献标识号:文章编号:():收稿日期:;修订日期:基金项目:国家重点研发计划基金项目();国家自然科学基金项目()作者简介:朱丽萍(),女,山东青岛人,博士,副教授,硕士生导师,研究方向为深度学习与计算机视觉;通讯作者:唐亮(),男,山东威海人,硕士,副教授,研究方向为体育教学与信息技术融合、体育教育训练学;朱凯杰(),男,甘肃庆阳人,硕士研究生,研究方向为深度学习与计算机视觉;李昊阳(),男,河北廊坊人,本科,研究方向为人工智能与大数据。:,(,(),;,(),;,):,
3、:;引言人体姿态估计是面向体育运动的智能分析任务中关键的一环,也是计算机视觉领域中一个研究热点。人体姿态估计旨在对人体各个姿态关键点进行位置估计,从而获得人体姿态。目前的人体姿态研究中采用注意力机制使网络捕获图像中的重要信息,从而来提高方法的准确率,然而单注意力机制在某些任务上会存在一定的局限。在串行注意力模块中,空间注意力加权与通道注意力加权的计算过程是有先后次序的,那么在其实现过程中,势必会出第 卷第期朱丽萍,唐亮,朱凯杰,等:运动场景下的多目标人体姿态估计现特征的扰动,具体表现在经过单次注意力加权后,特征图信息已经被更改,之后的操作是在该更改的基础上进行的,因此模块效果会变得不稳定,甚至
4、出现信息的混乱。本文以人体姿态为出发点,识别实际复杂运动场景中的人体并进行人体姿态估计,提出了一种结合多尺度预测和并行注意力模块的姿态估计网络。多尺度特征融合可以对不同大小的目标进行识别,使用通道注意力机制和空间注意力机制并行处理检测数据,消除传统串行注意力模块的特征扰动,克服其在人体姿态估计上的局限。实验结果表明,本算法能够有效提高多目标姿态估计的精度和速度,通过多尺度识别方法筛选高匹配度的人体候选框,结合改进的并行注意力模块在人数不定的场景中实现高质量人体姿态估计。相关工作随着人体姿态估计算法的不断发展,尤其在评估人体动作的准确性方面有了优秀的表现,使得人体姿态估计应用于体育行业成为了可能
5、。姿态估计算法按照姿态估计的人数可以分为两种,一种是单人姿态估计,一种是多人姿态估计。传统姿态估 计 方 法 更 多 的 是 考 虑 图 结 构,例 如 树 模型和随机森林模型,这两种模型已经被验证在人体姿态估计中较为有效。随着人工智能技术的发展,深度学习在物体与人脸识别方面展现了更为优秀的效果,在人体姿态估计任务中也不例外。在人体姿态估计领域,代表性的工作有 、基于 的模型和基于 的模型。对于单人姿态估计,这些方法只有在人被正确定位时才能表现良好,但是在多人体育运动中,基于单人的姿态估计就很难表现出很好的效果,这就诞生 了 多 人 姿态估计。多人姿态估计主要分为两类方法,一类是自顶向下,另外
6、一类是自底向上,这两类方法如图所示。自底向上的方法是基于关键点的方法,这类方法先检测关键点,然后将关键点进行连接。首先检测所有的身体部位,然后通过整体线性编程对这些部位进行标注和组合。首先 检测出图 像 中所有人 的 关 节(关 键点),然后将检出的关键点分配给每个对应的人,最后将关节点相连。虽然基于部位的方法表现出良好的性能,但由于只考虑小的局部区域,它们的身体部位检测器有时候会失效。为了解决这个问题,基于自顶向下的二阶段的网络框架出现了。这种网络框架使用强大的检测器,特别是,作为一个二阶段姿态估计网络,首先使用 作为人体检测器,再使用 网络预测出人体骨架节点,取得了良好的效果。本研究也遵循
7、二阶段网络框架:在行人检测方面,使用的是一种多尺度的目标检测网络,在姿态估计方面,使图多目标人体姿态估计的两类方法用基于并行多注意力的姿态估计算法。结合多尺度预测与并行注意力模块的多目标姿态估计网络 网络模型设计本文提出的姿态估计网络使用卷积神经网络抽取图片中特定的语义信息,进行基础的特征提取与表示,网络的输出为关键点的种类以及其在图片中的相对位置。本文是基于自顶向下的姿态估计方法,但目前常见的自顶向下方法,一般选用 系列模型,诸如 或 等。这些方法会先进行目标的定位与边界框回归实现初步的 提取,再而对筛选后的边界框进行高精度的人体姿态估计。这种方法虽然能够实现高精度的姿态估计,但是在追求高准
8、确率的同时也在一定程度上抑制了检测效率。因此,本文通过在不同尺度的特征图网格上生成候选框,从而实现对不同尺度人体的捕捉。此外,除了将主干网络更换为简化的跨阶段分层网络之外,还添加了优化的并行注意力模块以解决串行模块出现的特征扰动问题,使网络在完成基本检测任务的同时提高效率。网络的基本结构如图所示。并行注意力模块现有研究结果表明,注意力机制的引入通过增强静态 模型的表示能力,极大程度地提高了这些网络的性能。近年来,很多方法都在讨论将注意力机制应用到各个领域,领域内产生了众多的注意力机制论文研究,且均取得了较好的效果。目前在视觉领域中,应用最为广泛的注意力机制 为 自 注 意 力 机 制()以 及
9、 (),根据具体任务的需求,研究者大多会选取这两者之一作为自己方法的一部分。在本文中选择 的方法,也就是通道注意力与空间注意 力 融 合 的 方 法 进 行 研 究 与 模 型 实 现。但 是,与 实现的不同点在于,本文将通道注意力与空间注意力的支路并行拼接。对于原始的 来说,实现将输入特征图进行通道注意力加权之后再使用新的特征进行空间注意力加权从而得到最终输出特征,也就是串行拼接。这种串行的方法存在一个问题:经过通道注意力加权得到的新特征已经与原始特征的数据分布存在一定的差异,这种差异在一定程度上会影响后续空间注意力加权的特征表达,这种影响会根据任务和网络结构的改变发生变化。因此,计算机工程
10、与设计 年图网络基本架构为了更好应用原始特征,还对原始特征分别进行通道注意力与空间注意力的加权,并将加权结果作为模块的并行输出,施加到原始特征提取流上。此外,本文针对通道注意力与空间注意力的加权方式进行了改进,以增强特征表达和提高特征提取效率,我们将其称为 ()具体操作如图所示。的计算过程可被定义为 ()()()图 模块原始的通道注意力加权方法,仅使用经过 与 操作得到的二重特征进行处理,从而实现对不同通道的加权,但是这种方法并未充分利用到原始特征图的信息,其中大部分特征被忽略了。针对该问题,本文使用二次级联的空洞卷积池化操作进行特征压缩,每次空洞卷积都会在保留一定信息的基础上缩小特征图的尺度
11、,最后通过池化对特征图进行压缩,得到对不同通道的加权结果。此外,我们使用深度可分离卷积进行空间特征的提取,其中,逐通道卷积的每一个卷积核都负责一个通道,一个通道只被一个卷积核卷积,逐点卷积的运算可类比于卷积,它的卷积核维度等于上层通道数,因此逐点卷积会将上一步逐通道卷积的特征图在深度方向上进行加权组合,生成新的特征图。深度可分离卷积的方式可以大幅降低网络参数量。多尺度预测网络提出的方法首先对如图片或视频中的人体目标经进行检测,并对检测框内的人体进行姿态估计。但是对于包含多个人体目标的图像来说,人体目标的尺度不一,对小尺度的对象容易出现误检、漏检等问题。针对该问题,我们使用多尺度特征映射 的方法
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 运动 场景 多目标 人体 姿态 估计 朱丽萍
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。