密集场景下基于多尺度特征聚合的人群计数方法.pdf
《密集场景下基于多尺度特征聚合的人群计数方法.pdf》由会员分享,可在线阅读,更多相关《密集场景下基于多尺度特征聚合的人群计数方法.pdf(7页珍藏版)》请在咨信网上搜索。
1、h t t p:/ww wj s j k x c o mD O I:/j s j k x 到稿日期:返修日期:基金项目:国家重点研发计划(Y F F );国家自然科学基金();山东省自然科学基金(Z R FM ,Z R FM )T h i sw o r kw a ss u p p o r t e db yt h eN a t i o n a lK e yR&DP r o g r a mo fC h i n a(Y F F ),N a t i o n a lN a t u r a lS c i e n c eF o u n d a t i o no fC h i n a()a n dS h a
2、n d o n gP r o v i n c i a lN a t u r a lS c i e n c eF o u n d a t i o n(Z R FM ,Z R FM )通信作者:刘培刚(d o n g f a n g w y u p c e d u c n)密集场景下基于多尺度特征聚合的人群计数方法刘培刚孙洁杨超智李宗民,中国石油大学(华东)计算机科学与技术学院山东 青岛 中国石油大学胜利学院山东 东营 摘要密集场景下个体尺度存在巨大差异,目标个体尺度不一导致人群计数精度不高.针对这一问题,提出了一种密集场景下基于多尺度特征聚合的人群计数方法.该方法研究不同特征层级对不同尺度个体的
3、特征信息表示能力,通过层级连接充分获取多尺度特征;同时,提出了一个多尺度特征聚合模块,采用多列具有不同扩张率的空洞卷积,通过动态特征选择机制自动调整感受野,以有效提取不同尺度个体的特征.该方法能够在保留小尺度个体特征信息的基础上进一步扩大感受野,增强大尺度个体的检测能力,使其更好地适应人群个体的多尺度变化.在个公共人群计数数据集上进行了实验,实验结果表明,所提模型在计数准确性上有了进一步的提高,其中在S h a n g h a i T e c h数据集P a r t_A上MA E为 ,M S E为 .关键词:密集场景;人群计数;空洞卷积;动态特征选择;点预测中图法分类号T P C r o w
4、dC o u n t i n gB a s e do nM u l t i s c a l eF e a t u r eA g g r e g a t i o n i nD e n s eS c e n e sL I UP e i g a n g,S UNJ i e,YAN GC h a o z h ia n dL IZ o n g m i n,S c h o o l o fC o m p u t e rS c i e n c ea n dT e c h n o l o g y i nC h i n aU n i v e r s i t yo fP e t r o l e u m(E a s
5、tC h i n a),Q i n g d a o,S h a n d o n g ,C h i n aS h e n g l iC o l l e g eo fC h i n aU n i v e r s i t yo fP e t r o l e u m,D o n g y i n g,S h a n d o n g ,C h i n aA b s t r a c t I n d i v i d u a l s c a l e sv a r yg r e a t l y i nd e n s es c e n e s,a n dt h ev a r y i n gs c a l e so
6、f t a r g e t i n d i v i d u a l s l e a dt op o o rc r o w dc o u n t i n ga c c u r a c y T oa d d r e s s t h i sp r o b l e m,t h ec r o w dc o u n t i n gm e t h o db a s e do nm u l t i s c a l ef e a t u r ef u s i o ni nd e n s es c e n e si sp r o p o s e d T h em e t h o d i n v e s t i g
7、 a t e s t h ea b i l i t yo fd i f f e r e n t f e a t u r e l a y e r s t or e p r e s e n t f e a t u r e i n f o r m a t i o nf o r i n d i v i d u a l sa td i f f e r e n t s c a l e s,w i t ha d e q u a t e a c c e s s t om u l t i s c a l e f e a t u r e s t h r o u g h l a y e r c o n n e c
8、t i o n s A t t h e s a m e t i m e,am u l t i s c a l e f e a t u r e a g g r e g a t i o nm o d u l ei sp r o p o s e d,w h i c hu s e sm u l t i p l ec o l u m n so f d i l a t e dc o n v o l u t i o nw i t hd i f f e r e n t e x p a n s i o nr a t e s,a n da u t o m a t i c a l l ya d j u s t s
9、t h ep e r c e p t u a l f i e l dt h r o u g had y n a m i c f e a t u r es e l e c t i o nm e c h a n i s mt oe f f e c t i v e l ye x t r a c t f e a t u r e so f i n d i v i d u a l sa td i f f e r e n ts c a l e s T h em e t h o dc a nf u r t h e re x p a n d t h e f i e l do f p e r c e p t i
10、o nw h i l ep r e s e r v i n g t h e i n f o r m a t i o no f s m a l l s c a l e,a n d i m p r o v i n g t h ed e t e c t i o nc a p a b i l i t yo f l a r g e s c a l e i n d i v i d u a l s,m a k i n g i tb e t t e ra d a p t e dt ot h em u l t i s c a l ec h a n g e so f t h ep o p u l a t i o
11、n E x p e r i m e n t a l r e s u l t so nt h e t h r e ep u b l i cp o p u l a t i o nc o u n t i n gd a t a s e t ss h o wt h a t t h ep r o p o s e dm o d e l h a s f u r t h e r i m p r o v e dt h ec o u n t i n ga c c u r a c y,w i t ha nMA Eo f a n da nM S Eo f o nt h eS h a n g h a i T e c hP
12、 a r tAd a t a s e t K e y w o r d s I n t e n s i v es c e n e s,C r o w dc o u n t i n g,D i l a t e dc o n v o l u t i o n,D y n a m i c f e a t u r es e l e c t i o n,P o i n tp r e d i c t i o n引言近年来,城市人群密集场景越来越多,恐怖事件、踩踏事件也随之增多,新冠疫情期间,人群计数技术发挥了重大作用.例如,智能监控系统在检测到某一区域的人群密度异常时便会发出安全警告,及时通知有关部门进行处理
13、,从而提高公共安全管理的效率.然而,由于受到光线变化、人群之间相互遮挡、透视失真以及人群分布不均匀等因素影响,人群计数任务仍然面临巨大的挑战.人群计数 是 计 算 机 视 觉 中 一 项 重 要 且 具 有 挑 战 性 的任务,目的是估计出给定图像或视频中的人数.现有的人群计数方法大致可以分为类:传统计数方法、基于密度估计的方法和基于点预测的方法.早期大多数传统方法基于手工特征进行行人检测 ,L i等通过检测图片中的行人或人的头部、肩部等局部信息进行人群计数,这类方法不适用于存在严重遮挡的密集场景.年,D a v i e s等发现人群总体密度和前景像素面积近似线性相关,并首次将回归方法引入人群
14、分析,为间接计数提供了灵感.然而,前景分割本身是一项比较困难的任务,对基于回归方法的性能造成了很大影响.近年来,采用深度神经网络进行密度估计成为了人群计数的主流方法,研究者使用C NN从人群图像中提取特征,生成用于人群计数的密度图,通过对预测的密度图进行积分来获得人群计数的结果 .Z h a n g等提 出了 一个 基 于C NN的跨场景计数模型,根据目标场景特点,使用相似的训练数据来微调训练网络,以达到跨场景计数的目的.为了解决图像中个体尺度大规模变化问题,Z h a n g等 提出了一种多列卷积神经网络MC NN,用于捕获多尺度信息,该网络包含个具有不同卷积核大小的分支,分别对应不同的感受
15、野,能适应由于角度不同而造成的个体尺度变化.为了提升多列卷积神经网络的训练速度,S a m等 提出的S w i t c h C NN网络在MC NN的基础上增加了一个选择分类器,能够根据输入的图像块从多个具有不同卷积核的分支中选择其最适合的分支.S i n d a g i等 提出了一种上下文金字塔神经网络(C P C NN),通过结合全局和局部的上下文信息生成高质量的人群计数密度图.此外,由于注意力模型在计算机视觉任务中取得了巨大成功,一些研究 也使用注意力机制引导网络在不同的时期关注不同尺度的部分.J i a n g等 提出了基于注意力机制的神经网络模型A S N e t,利用密度注意网络生
16、成不同密度区域的注意掩码,使每个密度图只关注某一密度级别的区域.以上方法可以有效避免人群遮挡带来的影响,一定程度上解决了个体尺度变化问题,但它们仍然存在一些显著的缺点:首先,基于多列的网络结构更加臃肿,导致训练困难;其次,网络结构近乎相同的不同分支会导致大量信息冗余.为了降低网络的复杂度,L i等 提出将基于C NN的单分支网络与空洞卷积相结合,有效增加网络的感受野,但仅使用相同空洞率的空洞卷积进行堆叠会导致训练过程中的信息不连续,达不到理想的计数效果.近期,一些研究人员开始关注个体的定位问题,L i u等 提出了一种用于人群计数的点监督深度检测网络P S D D N,该网络在训练阶段读取人头
17、的点级标注信息,根据这些点信息首先生成一组初始化伪真值边界框,并在训练期间迭代更新,使其不断地接近真实头部边界框大小.S o n g等 提出了一个点对点网络,用于直接接收一组带标注的头部点用于训练,并在推理过程中直接预测点.这些对个体直接进行预测的模型构造简洁,也带来了不错的性能提升.但以上工作未考虑到人群大规模尺度变化所带来的影响,网络不能同时兼顾尺度过大或过小的个体,尤其当场景包含非常密集的人群时,无法检测和定位每个人,计数结果往往不准确.在密集场景的监控图像中,不仅在不同场景中目标的尺度差异大,而且在同一张图片中由于透视现象也会造成目标尺度不同.例如,同一张图片中大尺度个体头部所占像素数
18、可能是小尺度个体头部的 倍以上,尺度的极端变化一定程度上影响了网络对人群计数的准确性.同时,基于密度估计的方法仅能大体反映出不同区域人群分布的密度情况,不能对个体进行精确定位,简单地给出一个数字远不能支持后续更高层次的人群分析任务的实际需求,不利于人群行为分析、目标追踪 等一些下游任务的实际应用.针对目标个体尺度不一、定位不精确的问题,本文提出了一种新的基于多尺度特征聚合的神经网络模型,在特征提取的基础网络中,研究不同的特征层级所包含的有效信息,并加以充分利用,实现精准的计数和定位效果;此外,提出了多尺度特征聚合模块,引入了一种具有共享权重参数的并行空洞卷积结构.通过学习每两个相邻尺度的相关权
19、重来动态调整感受野,以高效利用多尺度特征表示,解决目标尺度不一的问题.在个公开的人群计数数据集上进行对比实验,验证了本文方法具有更高的计数准确度.本文方法针对当前密集场景人群计数存在的问题,本文设计了一种多尺度特征聚合网络,该网络以个体头部的真值注释点为监督信息,在推理过程中直接预测一组个体头部的坐标点.网络模型主要由部分组成:用于特征提取的主干网络、多尺度特征聚合模块、点预测模块.整体网络架构如图所示.图整体网络架构图F i g O v e r a l l n e t w o r ka r c h i t e c t u r e 特征提取网络神经网络的不同层级特征都包含着丰富的可用信息,因此
20、在目标检测领域F P N 常被用来解决多尺度问题.虽然F P N通过横向连接融合了不同层级之间的特征,但也存在一些缺点:深层特征图虽然含有大尺度个体的语义信息,但丢失了其位置信息,因此深层特征不利于对大尺度个体的定位;深层特征图分辨率较小导致其并不包含小尺度个体的语义特征,因此即使采用t o p d o w n结构,较高分辨率的特征图中仍然无法提取到小尺度个体的语义特征,不利于小尺度个体的分类.为了充分利用不同特征层级中的有用信息,同时避免F P N存在的问题,本文设计了一种能够平衡大尺度个体和小尺度个体的特征提取网络.由于V G G 具有很强的表示能力,本文采用V G G _b n中的前 个
21、卷积层作为前端网络,从输入的人群图像中提取深层特征,具体分为个特征级别,其下采样步长分别为,相应的特征映射表示为V,V,V,V.对于最后输出的特征图V,先使用卷积减少通道数,接着采用最近邻插值进行上采样,使其大小与V一致,然后将上采样得到的结果与V进行横向连接,最后在合并后的特征图上使用卷积和R e L U激活函数,以生成最终的特征图P,如图所示.图特征提取网络F i g F e a t u r ee x t r a c t i o nn e t w o r kC o m p u t e rS c i e n c e计算机科学V o l ,N o ,S e p 多尺度特征聚合对于极度密集的场景
22、,小尺度个体占比较大,通过加深特征层级扩大感受野,会损失小尺度个体的特征信息.为了保证小尺度个体在深层特征图中不丢失信息,需要在保证网络感受野的同时,保持特征图的大尺寸,即不使用下采样这种压缩物体信息的操作,而仅增大感受野.一种高效可行的方法是使用空洞卷积,采用多列具有不同扩张率的空洞卷积来获取多尺度特征,如图所示.图具有不同扩张率的空洞卷积F i g D i l a t e dc o n v o l u t i o nw i t hd i f f e r e n t e x p a n s i o nr a t e s虽然具有不同扩张率的卷积核可以对应不同的感受野,但由于不同的图片中个体尺度
23、差异巨大,同一张图片中不同区域的个体尺度也不尽相同,因此仅使用固定的多列具有不同扩张率的空洞卷积不能高效地处理复杂多变的尺度问题.针对这一 问 题,受 医 学 图 像 分 割 中 处 理 多 尺 度 问 题 的 启发,本文提出的多尺度特征聚合模块包含一个动态特征选择机制,网络能够根据每两个相邻的尺度学习相关权重,自动为不同尺度的个体选择合适的感受野.该模块完整的流程如图所示.具体来说,对于特征提取网络输出的特征图Pi n,首先采用个具有不同扩张率的空洞卷积的并行分支来分别提取不同尺度个体的特征,每个分支的卷积核大小为,扩张率分别设置为,得到个特征图P,P和P;然后分别连接两个相邻尺度的特征图,
24、使其包含更多的尺度信息,考虑到相邻尺度之间的特征相关性,引入动态特征选择机制来自动为特征图选择合适的感受野.以空洞卷积的扩张率为和的两个分支为例,首先在通道维度上拼接P与P,然后使用卷积和R e L U激活函数,接着使用卷积将通道数降低为,生成特征图P.对于P,使 用s o f t m a x函 数 分 别 生 成 两 个 权 重 图Wx和Wy,它能够反映不同尺度下空间信息的重要程度.将得到的Wx和Wy权重图分别与之前的特征图P和P相乘,以此实现感受野的动态选择.最后,将经过加权后得到的特征图进行融合,该过程的表达式为:P (PWx)(PWy)()其中,表示元素对位相乘,表示元素对位相加.该方
25、法可以有效地获取多尺度特征,灵活选择不同尺度特征的感受野,其余分支的实现与上述过程一致.最后将相邻分支融合后的特征图进行进一步融合,为了防止小物体丢失信息,将该模块输入时的特征图Pi n也一并进行融合,得到最终的输出特征图Po u t,该过程的表达式为:Po u tP P Pi n()点预测针对多尺度特征聚合模块输出的特征图,本文设计了两个分支,用于最终的点预测:分类分支和回归分支.分类分支用于预测个体的类别,回归分支用于预测个体的偏移量.首先,在分类分支中,以的卷积核进行次卷积,然后使用S o f t m a x归一化输出置信度分数.对于回归分支,需要预测出点坐标的偏移量,根据卷积层固有的平
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 密集 场景 基于 尺度 特征 聚合 人群 计数 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。