ECA_SB:一种轻量级人体骨架点提取网络.pdf
《ECA_SB:一种轻量级人体骨架点提取网络.pdf》由会员分享,可在线阅读,更多相关《ECA_SB:一种轻量级人体骨架点提取网络.pdf(6页珍藏版)》请在咨信网上搜索。
1、453第40 卷第6 期2023年6 月真机仿算文章编号:10 0 6-9 348(2 0 2 3)0 6-0 453-0 6ECA_SB:一种轻量级人体骨架点提取网络闫河,刘继红,莫佳迪,刘伦宇(重庆理工大学两江人工智能学院,重庆40 1135)摘要:SB(Si mp l e Ba s e l i n e)网络提取人体骨架点具有较高精度,但SB网络存在参数量和计算量大、学习效率低的问题,限制了其部署和应用。通过设置SB网络中Bottleneck组件的expansion参数为1,在Bottleneck组件的最后一个卷积层后引人一个高效通道注意力(efficientchannel attenti
2、on,ECA)模块,并设置ResNet骨干网络的最后三个Bottleneck的卷积步长为1,采用反卷积组代替ResNet之后的转置卷积,从而提出一种轻量级的人体骨架点提取网络:ECA_SB。在COCO2017数据集上的对比实验结果表明,ECA_SB网络在保留较高人体骨架点提取精度的同时,参数量和计算量均有明显降低。关键词:人体骨架点提取;注意力模块;反卷积中图分类号:TP391.4文献标识码:BECA_SB:A Lightweight Human Skeleton Point Extraction NetworkYAN He,LIU Ji-hong,MO Jia-di,LIU Lun-yu(S
3、chool of Artificial Intelligence,Chongqing University of Technology,Chongqing 401135,China)ABSTRACT:Simple Baseline(SB)network can extract human skeleton points with high accuracy.However,the SBnetworks have some problems such as large number of parameters,large amount of computation and low learnin
4、g effi-ciency,which limit its deployment and application.This paper adjusted the expansion parameter of the Bottleneckcomponent in the SB network to 1,introduced an efficient channel attention(ECA)module after the last convolutionallayer of the Bottleneck component,and set the convolutional stride o
5、f the last three Bottleneck blocks for its ResNetbackbone network to 1.Moreover,the transposed convolution after ResNet was replaced by the deconvolution group.Therefore,a lightweight human skeleton point extraction network,ECA_SB,was proposed.The comparative experimen-tal results on the COCO2017 da
6、ta set show that the ECA_SB network retains a high human skeleton point extractionaccuracy,while the amount of parameters and calculations are significantly reduced.KEYWORDS:Human skeleton point extraction;ECA module;Deconvolution1引言人体骨架点提取是行为识别与人机交互中常涉及的一项子任务,让人体骨架点提取网络保持高精度的同时变得更轻量对于部署和使用就显得尤为重要。当
7、前人体骨架点提取方法中表现较好的有文献1 提出的Alphapose网络架构,该网络由对称空间变换网络SSTN、参数姿势非大值抑制NMS和姿势引导建议发生器PGPG三部分组成,其中SSTN基金项目:国家重点研发计划“智能机器人”重点专项项目(2 0 18 YFB130 8 6 0 2);国家自然科学基金面上项目(6 117 318 4);重庆市自然科学基金项目(cstc2018jcyjAX0694);重庆理工大学研究生创新项目(clgycx20202119)收稿日期:2 0 2 1-10-2 8修回日期:2 0 2 1-11-0 9用于得到高质量的单人人体区域,NMS用以解决同时出现多个检测框的
8、问题,PGPG通过生成相似的训练样本来增强数据,虽然Alphapose已经取得了不错的效果,但是其参数量和计算量都非常庞大。除此之外,还有Face+提出的一种金字塔型的串接模型,即CPN(cascaded pyramidnetwork)2 ,这个模型能够同时兼顾人体全局信息以及关节点的局部信息,在COCO数据集上也取得了不错的准确率,但这个网络结构同样复杂且庞大。文献3 提出的高分辨率网络(HRNet)相比其它人体骨架点提取网络得到了更好的提取精度,HRNet摒弃了以往常规网络所用的串联方式,它采用并联的方式将不同分辨率子网按照分辨率从高到底的方式并行连接,实现了多尺度融合且能有效利用特征信息
9、,但HRNet同样没有顾及到减小参数量和所需的计算量。另外,微软提出的SimpleBaseline(SB)【4 从结构上来说是一种极其简单的人体骨架点提取网络,在一个ResNet后面接上三个转置卷积层,骨架454点提取准确率非常高,但由于其Bottleneck的expansion参数为4,就必须对Bottleneck中的最后一个特征图的通道做扩展,这就使得其参数量和计算量相比在它之前出现的网络来说也并不小。文献5 为了减少SB的参数量与计算量,对其网络进行了重新设计,修改Bottleneck的expansion为1同时添加了CCBlock注意力模块,并将Bottleneck第二层的标准卷积换为
10、深度可分离卷积,使用修改后的Bottleneck替换下采样阶段的基础组件Bottleneck,同时在上采样阶段也选择轻量级的反卷积组替换掉三个转置卷积层,文献5 提出的改进模型,虽然参数量与计算量仅为SB的1/30 左右,但由于网络被过度简化,其在COCO数据集上的精度下降了大约2个百分点。本文致力于探讨如何在保证人体骨架点提取精度的同时有效降低网络模型参数量和计算量。拟通过在Bottleneck基础组件最后一个卷积层之后加人ECA注意力模块,调整Bottleneck基础组件的参数expansion为1,修改ResNet骨干网络倒数第三个Bottleneck基础组件的卷积步长为1,使用反卷积组
11、替换掉原网络后面接着的转置卷积层,以实现减少原SB网络模型的参数量和计算量,并保证较高的人体骨架点提取精度。2ECA_SB:一种轻量级人体骨架点提取网络2.1SimpleBaseline(SB)网络模型SB的网络结构较为简易,如图1,主要由骨干网络和head network两部分组成,其中骨干网络为ResNet6,headnetwork则为一些转置卷积层。在ResNet的基础上,去掉最后的特征输出层;在后面接上3个反卷积模块,每个模块依次为反卷积层、批归一化和relu激活函数,其中反卷积参数为:2 56 通道,44的卷积核,步长为2,填充值为1;最后添加一个1x1的卷积层,以对所有的关键点生成
12、预测热力图。2.2融合ECA注意力模块的网络结构本文在ResNet的Bottleneck最后一层卷积后添加ECAResNetTransposeconvolutionL2Loss图1SB整体网络结构注意力模块,同时修改Bottleneck的expansion为1,修改之后为ECABottleneck,然后在SB网络的基础上,使用ECABottle-neck替换掉ResNet骨干网络中的Bottleneck,再修改倒数第三个Bottleneck组件的卷积步长为1,最后使用文献5 提出的反卷积组替换掉转置卷积层,并仍然采用原论文使用的平方误差损失函数。2.2.1结合ECA注意力模块注意力机制已被证实
13、是一种增强深度卷积神经网络的潜在方法,它在图像分类识别7.8 、目标检测9 等计算机视觉方面10 都取得了非常好的效果。SE-Net!首次提出了一种有效的通道注意力学习机制,并取得了良好的性能。在这之后,人们开发的注意力模块大致可分为两个方向:增强特征聚合;通道注意力与空间注意力相结合。ECA12是一种能有效捕获跨通道交互信息的注意力,在不降低维度的情况下进行逐通道全局平均池化之后,通过考虑每个通道及其k个近邻来捕获本地跨通道信息交互;这种方法可以同时保证效率和有效性。可以通过大小为k的快速一维卷积有效实现ECA模块,其中内核大小k代表本地跨通道交互的覆盖范围,即有多少个相近邻参与一个通道的注
14、意力预测。k值由一种自适应的方法来进行确定,其中交互作用的覆盖范围(即内核大小k)与通道维数成比例。以往的经验表明,避免降维对于学习通道注意力非常重要,并且适当的跨通道信息交互可以在保持性能的同时显著自适应选择内核大小:k=业(C)k=5XCCGAPHHWW1x1xc1x1xc图2ECA注意力模块455降低模型的复杂性。而ECA恰好通过一维卷积有效地实现了局部跨通道交互策略并无需降维,且ECA模块仅包含少量参数,就可以带来明显的性能提升。因此,在网络中加人ECA注意力模块,该模块只给原模型增加了很小的负担,却得到了比较大的精度提升。本文将ECA模块添加到ResNet网络中的bottleneck
15、块中,修改之后的ECABottleneck模块如图3所示,依次经过一个11、33和11卷积核尺寸大小卷积操作之后,再经过ECA注意力模块。2.2.2轻量级ECABottleneckexpansion是一个超参数,用来控制在resnet网络中是否对残差连接的通道做扩展,原论文中expansion取值为4,即是将残差连接的输出通道数扩展为输人通道数的四倍,本文将其修改为1,以不对残差连接的通道做扩展,以此来降低网络的参数量和计算量。expansion=lN-d1x1 conv,Mbn+reluStandard33conv,Mbn+relu1x1conv,NbnECArelu图3ECABottlen
16、eck模块如图3所示,一个bottleneckblock由三个卷积层和一个短路连接组成,一个标准卷积层的参数DkD.Cin Co(1)out其中,Dk是卷积核的大小,C,是输人的通道数,Cout是输出的通道数,由此得出一个标准bottleneckblock的参数为11NM+33MM+11MN(2)一般情况下,对于一个bottleneckblock来说,输人通道数和输出通道数是相等的,也就是说N=Mxexpansion,bottle-neck block默认的expansion值为4,因此,一个bottleneckblock的参数可以简化为17MM(3)为了降低整个人体骨架点提取网络的模型复杂度
17、。受文献5 的启发,本文也将expansion由4调整为1,如图4所示,此时的N=Mxexpansion=M,一个bottleneckblock的参数就为11 MM(4)通过这种方法,有效降低了网络模型的参数量和计算量。3实验结果与分析3.1实验平台所有的实验都是在基于Windows10操作系统的服务器上完成的,该服务器由18 核心36 线程3.0 9 CHz的CPU和2个NVIDIAQuadroRTX8000GPU组成。采用COCO2017人体骨架点提取数据集来训练和测试,并将结果与原论文结果进行对比。全部代码均采用Python编程语言实现,训练的批处理大小(batchsize)设置为32,
18、学习率设为10 4,选择的优化器为Adam,损失函数为均方误差,训练轮数为140。3.2数据准备下载 MS COCO(Microsoft Common Objects in Context)13官网的数据集,MSCOCO数据集是用于多人关键点训练和测试的主流数据集;该数据集标注了17 个人体关键点,包含了2 万多张图像共计2 万5千多个带有标签的个人样本用于人体骨架点提取。其中COCO数据集公开了15万多个实例用于训练和验证,本实验同样在MSCOCO2017公开数据集上进行训练与验证;训练集提供了118 2 8 7 张图片共149813个人体样本,验证集提供了50 0 0 张图像共6 352
19、个人体样本用于人体骨架点提取。MSCOCO数据集的标注数据对应情况为:0-鼻子,1-左眼,2-右眼,3-左耳,4-右耳,5-左肩关节,6-右肩关节,7-左手肘关节,8-右手肘关节,9-左手腕,10-右手腕,11-左臀,12-右臀,13-左膝盖,14-右膝盖,15-左脚踝,16-右脚踝。其中脖子关键点并未标记,可由左肩和右肩的关节点坐标计算得出。3.3验证标准OKS本文的实验验证同样在COCO2017数据集上进行,与文献14 相似,本文也同样采用MSCOCO官方给定的关键点相似性(OKS)进行评估,OKS的计算公式为Ze4/24f(0:0)OKS(5)Z8(0:0)其中是d,标注点和预测关节点位
20、置之间的欧氏距离,sk;为标准差,,是指能否观察到真实的人体关键点,;大于0 表示能观察到,小于0 表示观察不到。每个关节点的相似度都会在落在0,1 之间,完美的预测将会得到OKS=1,预测值与真实值差距太大将会得到OKS无限趋于0。本文采用平均准确率和召回率来呈现人体关键点检测结果,在COCO数据集评价指标中,所有的AP默认为mAP,AP.5表示当OKS=0.50时的检测准确度,AP.75表示当OKS=0.75时的检测准确度,AP是指在OKS分别取0.50、0.55、0.9 0、0.9 5这10 个值的平均检测准确度,AP(M)表示中型尺度目标的平均准确率,AP(L)表示大型尺度目标的平均准
21、确率,AR表示在0 KS分别取0.50 0.55、0.9 0、0.9 5这45610个值的平均召回率3.4实验验证分析本文研究了所提方法每个部分对精度提升的影响,即消融实验15,包括ECA模块和expansion参数的调整。对于ECA模块的验证,本文分别设计了包含ECA模块和不包含ECA模块的网络,分别进行训练,其它参数均保持一致且都未使用预训练模型。对应的网络训练结束后,其对应的精度、参数量和计算量对比如表1,可以看到,ECA模块对骨架点提取精度的提升效果显著,对于以ResNet50、Re s Ne t 10 1和ResNet152为骨干网络的骨架点提取结果中,加人ECA模块使得网络对于人体
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- ECA_SB 一种 轻量级 人体 骨架 提取 网络
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。