密集场景下基于多尺度特征聚合的人群计数方法.pdf

h t t p:/ww wj s j k x c o mD O I:/j s j k x 到稿日期:返修日期:基金项目:国家重点研发计划(Y F F );国家自然科学基金();山东省自然科学基金(Z R FM ,Z R FM )T h i sw o r kw a ss u p p o r t e db yt h eN a t i o n a lK e yR&DP r o g r a mo fC h i n a(Y F F ),N a t i o n a lN a t u r a lS c i e n c eF o u n d a t i o no fC h i n a()a n dS h a n d o n gP r o v i n c i a lN a t u r a lS c i e n c eF o u n d a t i o n(Z R FM ,Z R FM )通信作者:刘培刚(d o n g f a n g w y u p c e d u c n)密集场景下基于多尺度特征聚合的人群计数方法刘培刚孙洁杨超智李宗民,中国石油大学(华东)计算机科学与技术学院山东 青岛 中国石油大学胜利学院山东 东营 摘要密集场景下个体尺度存在巨大差异,目标个体尺度不一导致人群计数精度不高.针对这一问题,提出了一种密集场景下基于多尺度特征聚合的人群计数方法.该方法研究不同特征层级对不同尺度个体的特征信息表示能力,通过层级连接充分获取多尺度特征;同时,提出了一个多尺度特征聚合模块,采用多列具有不同扩张率的空洞卷积,通过动态特征选择机制自动调整感受野,以有效提取不同尺度个体的特征.该方法能够在保留小尺度个体特征信息的基础上进一步扩大感受野,增强大尺度个体的检测能力,使其更好地适应人群个体的多尺度变化.在个公共人群计数数据集上进行了实验,实验结果表明,所提模型在计数准确性上有了进一步的提高,其中在S h a n g h a i T e c h数据集P a r t_A上MA E为 ,M S E为 .关键词:密集场景;人群计数;空洞卷积;动态特征选择;点预测中图法分类号T P C r o w dC o u n t i n gB a s e do nM u l t i s c a l eF e a t u r eA g g r e g a t i o n i nD e n s eS c e n e sL I UP e i g a n g,S UNJ i e,YAN GC h a o z h ia n dL IZ o n g m i n,S c h o o l o fC o m p u t e rS c i e n c ea n dT e c h n o l o g y i nC h i n aU n i v e r s i t yo fP e t r o l e u m(E a s tC h i n a),Q i n g d a o,S h a n d o n g ,C h i n aS h e n g l iC o l l e g eo fC h i n aU n i v e r s i t yo fP e t r o l e u m,D o n g y i n g,S h a n d o n g ,C h i n aA b s t r a c t I n d i v i d u a l s c a l e sv a r yg r e a t l y i nd e n s es c e n e s,a n dt h ev a r y i n gs c a l e so f t a r g e t i n d i v i d u a l s l e a dt op o o rc r o w dc o u n t i n ga c c u r a c y T oa d d r e s s t h i sp r o b l e m,t h ec r o w dc o u n t i n gm e t h o db a s e do nm u l t i s c a l ef e a t u r ef u s i o ni nd e n s es c e n e si sp r o p o s e d T h em e t h o d i n v e s t i g a t e s t h ea b i l i t yo fd i f f e r e n t f e a t u r e l a y e r s t or e p r e s e n t f e a t u r e i n f o r m a t i o nf o r i n d i v i d u a l sa td i f f e r e n t s c a l e s,w i t ha d e q u a t e a c c e s s t om u l t i s c a l e f e a t u r e s t h r o u g h l a y e r c o n n e c t i o n s A t t h e s a m e t i m e,am u l t i s c a l e f e a t u r e a g g r e g a t i o nm o d u l ei sp r o p o s e d,w h i c hu s e sm u l t i p l ec o l u m n so f d i l a t e dc o n v o l u t i o nw i t hd i f f e r e n t e x p a n s i o nr a t e s,a n da u t o m a t i c a l l ya d j u s t s t h ep e r c e p t u a l f i e l dt h r o u g had y n a m i c f e a t u r es e l e c t i o nm e c h a n i s mt oe f f e c t i v e l ye x t r a c t f e a t u r e so f i n d i v i d u a l sa td i f f e r e n ts c a l e s T h em e t h o dc a nf u r t h e re x p a n d t h e f i e l do f p e r c e p t i o nw h i l ep r e s e r v i n g t h e i n f o r m a t i o no f s m a l l s c a l e,a n d i m p r o v i n g t h ed e t e c t i o nc a p a b i l i t yo f l a r g e s c a l e i n d i v i d u a l s,m a k i n g i tb e t t e ra d a p t e dt ot h em u l t i s c a l ec h a n g e so f t h ep o p u l a t i o n E x p e r i m e n t a l r e s u l t so nt h e t h r e ep u b l i cp o p u l a t i o nc o u n t i n gd a t a s e t ss h o wt h a t t h ep r o p o s e dm o d e l h a s f u r t h e r i m p r o v e dt h ec o u n t i n ga c c u r a c y,w i t ha nMA Eo f a n da nM S Eo f o nt h eS h a n g h a i T e c hP a r tAd a t a s e t K e y w o r d s I n t e n s i v es c e n e s,C r o w dc o u n t i n g,D i l a t e dc o n v o l u t i o n,D y n a m i c f e a t u r es e l e c t i o n,P o i n tp r e d i c t i o n引言近年来,城市人群密集场景越来越多,恐怖事件、踩踏事件也随之增多,新冠疫情期间,人群计数技术发挥了重大作用.例如,智能监控系统在检测到某一区域的人群密度异常时便会发出安全警告,及时通知有关部门进行处理,从而提高公共安全管理的效率.然而,由于受到光线变化、人群之间相互遮挡、透视失真以及人群分布不均匀等因素影响,人群计数任务仍然面临巨大的挑战.人群计数 是 计 算 机 视 觉 中 一 项 重 要 且 具 有 挑 战 性 的任务,目的是估计出给定图像或视频中的人数.现有的人群计数方法大致可以分为类:传统计数方法、基于密度估计的方法和基于点预测的方法.早期大多数传统方法基于手工特征进行行人检测 ,L i等通过检测图片中的行人或人的头部、肩部等局部信息进行人群计数,这类方法不适用于存在严重遮挡的密集场景.年,D a v i e s等发现人群总体密度和前景像素面积近似线性相关,并首次将回归方法引入人群分析,为间接计数提供了灵感.然而,前景分割本身是一项比较困难的任务,对基于回归方法的性能造成了很大影响.近年来,采用深度神经网络进行密度估计成为了人群计数的主流方法,研究者使用C NN从人群图像中提取特征,生成用于人群计数的密度图,通过对预测的密度图进行积分来获得人群计数的结果 .Z h a n g等提 出了 一个 基 于C NN的跨场景计数模型,根据目标场景特点,使用相似的训练数据来微调训练网络,以达到跨场景计数的目的.为了解决图像中个体尺度大规模变化问题,Z h a n g等 提出了一种多列卷积神经网络MC NN,用于捕获多尺度信息,该网络包含个具有不同卷积核大小的分支,分别对应不同的感受野,能适应由于角度不同而造成的个体尺度变化.为了提升多列卷积神经网络的训练速度,S a m等 提出的S w i t c h C NN网络在MC NN的基础上增加了一个选择分类器,能够根据输入的图像块从多个具有不同卷积核的分支中选择其最适合的分支.S i n d a g i等 提出了一种上下文金字塔神经网络(C P C NN),通过结合全局和局部的上下文信息生成高质量的人群计数密度图.此外,由于注意力模型在计算机视觉任务中取得了巨大成功,一些研究 也使用注意力机制引导网络在不同的时期关注不同尺度的部分.J i a n g等 提出了基于注意力机制的神经网络模型A S N e t,利用密度注意网络生成不同密度区域的注意掩码,使每个密度图只关注某一密度级别的区域.以上方法可以有效避免人群遮挡带来的影响,一定程度上解决了个体尺度变化问题,但它们仍然存在一些显著的缺点:首先,基于多列的网络结构更加臃肿,导致训练困难;其次,网络结构近乎相同的不同分支会导致大量信息冗余.为了降低网络的复杂度,L i等 提出将基于C NN的单分支网络与空洞卷积相结合,有效增加网络的感受野,但仅使用相同空洞率的空洞卷积进行堆叠会导致训练过程中的信息不连续,达不到理想的计数效果.近期,一些研究人员开始关注个体的定位问题,L i u等 提出了一种用于人群计数的点监督深度检测网络P S D D N,该网络在训练阶段读取人头的点级标注信息,根据这些点信息首先生成一组初始化伪真值边界框,并在训练期间迭代更新,使其不断地接近真实头部边界框大小.S o n g等 提出了一个点对点网络,用于直接接收一组带标注的头部点用于训练,并在推理过程中直接预测点.这些对个体直接进行预测的模型构造简洁,也带来了不错的性能提升.但以上工作未考虑到人群大规模尺度变化所带来的影响,网络不能同时兼顾尺度过大或过小的个体,尤其当场景包含非常密集的人群时,无法检测和定位每个人,计数结果往往不准确.在密集场景的监控图像中,不仅在不同场景中目标的尺度差异大,而且在同一张图片中由于透视现象也会造成目标尺度不同.例如,同一张图片中大尺度个体头部所占像素数可能是小尺度个体头部的 倍以上,尺度的极端变化一定程度上影响了网络对人群计数的准确性.同时,基于密度估计的方法仅能大体反映出不同区域人群分布的密度情况,不能对个体进行精确定位,简单地给出一个数字远不能支持后续更高层次的人群分析任务的实际需求,不利于人群行为分析、目标追踪 等一些下游任务的实际应用.针对目标个体尺度不一、定位不精确的问题,本文提出了一种新的基于多尺度特征聚合的神经网络模型,在特征提取的基础网络中,研究不同的特征层级所包含的有效信息,并加以充分利用,实现精准的计数和定位效果;此外,提出了多尺度特征聚合模块,引入了一种具有共享权重参数的并行空洞卷积结构.通过学习每两个相邻尺度的相关权重来动态调整感受野,以高效利用多尺度特征表示,解决目标尺度不一的问题.在个公开的人群计数数据集上进行对比实验,验证了本文方法具有更高的计数准确度.本文方法针对当前密集场景人群计数存在的问题,本文设计了一种多尺度特征聚合网络,该网络以个体头部的真值注释点为监督信息,在推理过程中直接预测一组个体头部的坐标点.网络模型主要由部分组成:用于特征提取的主干网络、多尺度特征聚合模块、点预测模块.整体网络架构如图所示.图整体网络架构图F i g O v e r a l l n e t w o r ka r c h i t e c t u r e 特征提取网络神经网络的不同层级特征都包含着丰富的可用信息,因此在目标检测领域F P N 常被用来解决多尺度问题.虽然F P N通过横向连接融合了不同层级之间的特征,但也存在一些缺点:深层特征图虽然含有大尺度个体的语义信息,但丢失了其位置信息,因此深层特征不利于对大尺度个体的定位;深层特征图分辨率较小导致其并不包含小尺度个体的语义特征,因此即使采用t o p d o w n结构,较高分辨率的特征图中仍然无法提取到小尺度个体的语义特征,不利于小尺度个体的分类.为了充分利用不同特征层级中的有用信息,同时避免F P N存在的问题,本文设计了一种能够平衡大尺度个体和小尺度个体的特征提取网络.由于V G G 具有很强的表示能力,本文采用V G G _b n中的前 个卷积层作为前端网络,从输入的人群图像中提取深层特征,具体分为个特征级别,其下采样步长分别为,相应的特征映射表示为V,V,V,V.对于最后输出的特征图V,先使用卷积减少通道数,接着采用最近邻插值进行上采样,使其大小与V一致,然后将上采样得到的结果与V进行横向连接,最后在合并后的特征图上使用卷积和R e L U激活函数,以生成最终的特征图P,如图所示.图特征提取网络F i g F e a t u r ee x t r a c t i o nn e t w o r kC o m p u t e rS c i e n c e计算机科学V o l ,N o ,S e p 多尺度特征聚合对于极度密集的场景,小尺度个体占比较大,通过加深特征层级扩大感受野,会损失小尺度个体的特征信息.为了保证小尺度个体在深层特征图中不丢失信息,需要在保证网络感受野的同时,保持特征图的大尺寸,即不使用下采样这种压缩物体信息的操作,而仅增大感受野.一种高效可行的方法是使用空洞卷积,采用多列具有不同扩张率的空洞卷积来获取多尺度特征,如图所示.图具有不同扩张率的空洞卷积F i g D i l a t e dc o n v o l u t i o nw i t hd i f f e r e n t e x p a n s i o nr a t e s虽然具有不同扩张率的卷积核可以对应不同的感受野,但由于不同的图片中个体尺度差异巨大,同一张图片中不同区域的个体尺度也不尽相同,因此仅使用固定的多列具有不同扩张率的空洞卷积不能高效地处理复杂多变的尺度问题.针对这一 问 题,受 医 学 图 像 分 割 中 处 理 多 尺 度 问 题 的 启发,本文提出的多尺度特征聚合模块包含一个动态特征选择机制,网络能够根据每两个相邻的尺度学习相关权重,自动为不同尺度的个体选择合适的感受野.该模块完整的流程如图所示.具体来说,对于特征提取网络输出的特征图Pi n,首先采用个具有不同扩张率的空洞卷积的并行分支来分别提取不同尺度个体的特征,每个分支的卷积核大小为,扩张率分别设置为,得到个特征图P,P和P;然后分别连接两个相邻尺度的特征图,使其包含更多的尺度信息,考虑到相邻尺度之间的特征相关性,引入动态特征选择机制来自动为特征图选择合适的感受野.以空洞卷积的扩张率为和的两个分支为例,首先在通道维度上拼接P与P,然后使用卷积和R e L U激活函数,接着使用卷积将通道数降低为,生成特征图P.对于P,使 用s o f t m a x函 数 分 别 生 成 两 个 权 重 图Wx和Wy,它能够反映不同尺度下空间信息的重要程度.将得到的Wx和Wy权重图分别与之前的特征图P和P相乘,以此实现感受野的动态选择.最后,将经过加权后得到的特征图进行融合,该过程的表达式为:P (PWx)(PWy)()其中,表示元素对位相乘,表示元素对位相加.该方法可以有效地获取多尺度特征,灵活选择不同尺度特征的感受野,其余分支的实现与上述过程一致.最后将相邻分支融合后的特征图进行进一步融合,为了防止小物体丢失信息,将该模块输入时的特征图Pi n也一并进行融合,得到最终的输出特征图Po u t,该过程的表达式为:Po u tP P Pi n()点预测针对多尺度特征聚合模块输出的特征图,本文设计了两个分支,用于最终的点预测:分类分支和回归分支.分类分支用于预测个体的类别,回归分支用于预测个体的偏移量.首先,在分类分支中,以的卷积核进行次卷积,然后使用S o f t m a x归一化输出置信度分数.对于回归分支,需要预测出点坐标的偏移量,根据卷积层固有的平移不变特性,假设对于一个参考点Rm预测的偏移量为(mj x,mj y),那么该点在原图中坐标的计算式为:xjxm mj xyjym mj y()其中,是一个标准化项,通过缩放偏移量来校正相对较小的预测.图多尺度特征聚合模块F i g M u l t i s c a l e f e a t u r ea g g r e g a t i o nm o d u l e刘培刚,等:密集场景下基于多尺度特征聚合的人群计数方法在得到一组预测的点坐标与其对应的置信度后,参照S o n g等 的设置,本文使用一对一匹配策略将预测点与真值点进行匹配.结合预测点到真值点的距离与该预测点的置信分数来计算每一个预测点与其他真值点的距离,组成匹配代价矩阵.对于成对的代价矩阵,使用匈牙利匹配算法将预测点与真值点进行关联,将那些与真值点匹配成功的预测点视为正样本,将未匹配的点视为负样本.损失函数损失函数设计分为两个部分.首先,使用二分类交叉熵损失Lc l s来训练网络对预测点进行分类,表达式为:Lc l sMNil o gc(i)MiNl o g(c(i)()在训练初期,当预测值与真值差异过大时,L损失函数对预测值的梯度非常大,导致训练不稳定,特别是当有一些离群点或者异常值时,L损失就会在总损失中占据主导位置.在训练后期,如果预测值与真值的差异很小,L损失将在稳定值附近波动,难以继续收敛,无法达到更高的精度.在将预测点与真值点进行匈牙利匹配时,不仅考虑了预测点与真值点之间的距离,还结合了该点的置信度得分.当某一预测点的置信度分数很高时,网络更倾向于将该预测点视为正样本,如果该预测点与真值点的距离较远,则需要预测一个较大的偏移,因为回归的目标没有明确的限制,所以可能会出现这个较大的偏 移 去 主 导 整 个 损 失 函 数 的 情 况.相 比L损 失,S m o o t hL损失对离群点、异常值更不敏感,能一定程度地防止上述情况的发生.因此在监督预测点回归时,本文选择使用更 为 稳 健 的S m o o t hLL o s s.S m o o t hLL o s s的 表 达式为:Ll o cNis m o o t hL(PiP(i)()其中:s m o o t hL(x)x,i f|x|x|,o t h e r w i s e()最终的损失函数L是上述两种损失的总和,表达式为:Lt o t a lLc l sLl o c()其中,为预测为背景的加权因子,为平衡回归损失的权重项.实验结果与分析 实验设置实验 基 于 深 度 学 习 框 架P y T o r c h实 现,并 在 单 个NV I D I A T i t a nG P U上运行.训练过程中使用在I m a g e N e t上预训练好的V G G _b n作为基础网络,采取学习率更新策略,首先使用较小的学习率 ,迭代 轮时将学习率降低为 ,使用A d a m算法优化模型参数,批处理大小为,共训练 个周期.在损失函数中,设置为,设置为 .为了扩大训练样本以得到更加精准的网络模型,本文在数据预处理阶段使用不同的数据增强策略.首先对原始图像进行随机缩放,其缩放因子设置为,并保证图像的最小边不小于 像素.然后,使用随机水平翻转和随机裁剪,从每一张输入图像中随机裁剪出个大小为 的图像块.除此之外,由于数据集中大尺度个体的样本较少,导致先前的方法对大尺度个体的检测精度不高,因此从图像底部裁剪出两个 的包含大尺度个体的固定区域,以进一步增加大尺度个体的样本数量.评价标准根据人群计数最常用的评价指标,本文采用平均绝对误差(MA E)和均方误差(M S E)作为评估指标来评估模型的性能.其定义如下:MA ENjNj|QjQj|()MS ENjNj(QjQj)()其中,N是测试集中的图像数;Qj和Qj分别表示第j张图像中的真实人数和估计人数.实验对比与分析 在个数据集上的效果对比本文分别在S h a n g h a i T e c h数据集、U C F_C C_ 数据集 和U C F QN R F数据集 上进行实验验证,不同数据集的训练集与测试集样本划分详情如表所列.表数据集划分详情T a b l eD a t a s e t s e g m e n t a t i o nd e t a i l sD a t a s e tT o t a ln u m b e ro f i m a g e sT r a i n i n gs e tV a l i d a t i o ns e tS h a n g h a i T e c hP a r t_A S h a n g h a i T e c hP a r t_B U C F_C C_ U C F QN R F S h a n g h a i T e c h数据集由两部分组成,P a r t_A包含 张从互联网上随机抓取的图像,P a r t_B包含 张来自上海大都市繁忙街道的图像,这两个子集之间存在显著的人群密度差异.本文在S h a n g h a i T e c h数据集的两个部分分别与典型方法和最新方法进行了对比实验,结果如表所列.现有的典型方法包括Z h a n g等提 出 的方 法、MC NN、S w i t c h i n g C NN、C P C NN、C S R N e t、A S N e t,它 们 是基 于 密 度 估 计 的;现 有 的 最 新 方 法 为P S D D N 和P P N e t,它们是基于点预测的.本文方法在该数据集P a r t_A上的MA E为 ,MS E为 .与基于密度估计的方法相比,本文方法不仅在计数准确度上有了提升,并且能够对个体进行准确定位.与基于点预测的方法P P N e t相比,本文在此基础上考虑了不同个体的尺度变化问题,并提出了多尺度特征聚合模块,使得计数误差进一步降低,且数据集P a r t_A中单幅图像中个体尺度变化较大,最大尺度和最小尺度个体所占像素数相差 倍之多.这说明本文设计的动态尺度选择机制能在保证小尺度个体特征信息的情况下有效获取大尺度个体的特征信息.对于P a r t_B中的稀疏场景,本文方法虽未取得最优精度,但也优于大多数基于密 度 估计 的方 法,通过对数据集样本及实验结果的深入分析,得出可能有以下原因:P a r t_B数据 集 的场 景范 围更 小,样 本个 体 尺度 变化不大,多尺度特征聚合模块在此数据集上不能更好地发挥优势.C o m p u t e rS c i e n c e计算机科学V o l ,N o ,S e p 表在S h a n g h a i T e c h数据集上与其他方法的结果对比T a b l eR e s u l t sc o m p a r i s o nw i t ho t h e rm e t h o d so nS h a n g h a i T e c hM e t h o dP a r t_AMA EMS EP a r t_BMA EMS EZ h a n ge ta l MC NN S w i t c h i n g C NN C P C NN C S R N e t A S N e t P S D DN P P N e t O u rM e t h o d 注:粗体表示最优值.U C F_C C_ 数据集由 张灰色图像组成,约 条注释,计数范围为 ,平均每张图像有 个个体.选择该数据集中 幅图像作为训练集,其余 幅图像作为测试集,按照I d r e e s等 的标准设置,共进行倍交叉验证,取次的平均值作为该数据集上的最终实验结果,在该数据集上与其他方法的对比实验结果如表所列.该数据集不同图像之间的分辨率和个体数量差异巨大,并且个体尺度很小、密度极高、图片清晰度较低.从检测结果可以看出,本文方法在U C F_C C_ 上有很大的性能提升,MA E下降到 ,MS E下降到 ,这表明该方法充分保留了小尺度个体的特征信息,进一步验证了多尺度特征聚合模块提取小尺度个体特征的有效性.表在U C F_C C_ 数据集上与其他方法的结果对比T a b l eC o m p a r i s o no f r e s u l t sw i t ho t h e rm e t h o d so nt h eU C F_C C_ d a t a s e tM e t h o dMA EMS EZ h a n ge ta l MC NN S w i t c h i n g C NN C P C NN C S RN e t A S N e t P S D DN P P N e t O u rM e t h o d 注:粗体表示最优值.在U C F QN R F数据集上与其他方法的对比结果如表所列.表在U C F QN R f数据集上与其他方法的结果对比T a b l eR e s u l t sc o m p a r i s o nw i t ho t h e rm e t h o d so nU C F QN R fd a t a s e tM e t h o dMA EMS EZ h a n ge ta l MC NN S w i t c h i n g C NN C P C NN C S RN e t A S N e t P P N e t O u rM e t h o d 注:粗体表示最优值.U C F QN R F包含多种场景、多个视角、多种光线及密度变化的大规模已标注个体,此外还包含了建筑、植被、天空和道路等世界各地的户外真实场景,对于人群计数应用真正落地具有重要意义.本文方法在该数据集上的MA E为 ,MS E为 ,优于表中绝大多数的人群计数方法,具有较好的检测效果.该结果表明,采用多尺度特征聚合机制,可以有效地处理由不同相机视角和图像分辨率引起的尺度变化问题,在不同场景以及大规模变化的密集人群中具有较好的准确性与鲁棒性.消融实验本文在S h a n g h a i T e c h数据集的P a r t_A上进行了消融研究,以分析所提出模块的性能,表列出了在该数据集上的实验结果.将本文设计的主干网络作为一个基线模型,P层的预测结果MA E为 ,MS E为 .从表中的第行可以看出,将多尺度特征聚合模块加入到基线模型后,MA E和MS E均 有 不 同 程 度 的 下 降,MA E为 ,MS E为 .该结果表明,多尺度特征聚合模块在获取多尺度特征方面是有效的,进一步说明了多尺度特征聚合模块的必要性.第行展示了加入S m o o t hLL o s s的效果,加入该损失函数后,MS E有了较明显的下降,该结果说明了S m o o t hLL o s s的有效性,结合多尺度特征聚合模块,计数精度达到了最好的效果.表加入不同模块的效果T a b l eR e s u l t so f a d d i n gd i f f e r e n tm o d u l e sB a s e l i n eM u l t i s c a l ef e a t u r eS m o o t hLL o s sMA EMS E 注:表示加入该模块,粗体表示最优值.此项实验研究在多尺度特征聚合模块设置不同扩张率的空洞卷积对计数精度的 影 响,表列 出了 在S h a n g h a i T e c hP a r t_A上的实验结果.将不同分支中空洞卷积的扩张率设置为(,)时,MA E和MS E有较小幅度的下降,设置为(,)时 达 到 了 最 好 的 效 果,MA E为 ,MS E为 .此外,将扩张率设置为(,)时计数误差没有降低,这可能是因为较大的扩张率在获取大尺度个体特征的同时一定程度地丢失了小尺度个体的信息,不利于小尺度个体的检测.表使用不同扩张率的空洞卷积预测的结果T a b l eP r e d i c t e dr e s u l t su s i n gd i l a t e dc o n v o l u t i o nw i t hd i f f e r e n te x p a n s i o nr a t e sd i f f e r e n te x p a n s i o nr a t e sMA EMS EB a s e l i n e B a s e l i n e(,)B a s e l i n e(,)B a s e l i n e(,)注:粗体表示最优值,(m,n,s)表示增加不同扩张率的空洞卷积.可视化效果及分析图给出了本文方法的预测结果与基于点预测的方法(P P N e t)以及真实标注点的比较结果.这幅图像分别来自上述个不同的数据集,真值以及预测值分别在图像的左下角显示.可以观察到,所有预测的图片都可以对个体刘培刚,等:密集场景下基于多尺度特征聚合的人群计数方法进行定位.由S h a n g h a i T e c hP a r t_A和U C F QN R F数据集上的检测结果可以看出,与P P N e t相比,本文方法不仅在计数准确度上优于P P N e t,对于图像底部较大尺度 的个 体,P P N e t并未检测出,而本文方法均可成功检测到,这进一步证明了本文提出的多尺度特征聚合模块在捕获大尺度个体上具有的优异性能.由U C F_C C_ 上的检测结果可以看出,本文方法在高度密集的场景下也能较好地发挥作用,充分提取极小尺度个体的特征信息,未造成信息丢失,且能够较为精准地检测来自不同场景与不同密度分布的图像,这些优异的结果证明了本文方法的有效性和鲁棒性.此外,选取S h a n g h a i T e c hP a r t_A中图片的检测结果与P P N e t模型进行对比,如图所示,真值以及预测值分别在图像的右下角显示.由图中红色框的个体可以看出,在距离摄像机较近的区域,其个体尺度较大,P P N e t未能检测到这部分个体,而本文方法则可以成功检测到.其次,与真值注释相比,P P N e t不仅漏检了较大尺度的个体,对其他小尺度个体也存在误检的情况,导致预测点与真值点人数相差较大,而本文方法不仅能够检测到大尺度个体,对小尺度个体的检测也具有更高的准确度.图在不同数据集上与其他方法的可视化效果对比F i g V i s u a l i z a t i o nr e s u l t sc o m p a r i s o nw i t ho t h e rm e t h o d so nd i f f e r e n td a t a s e t s图与其他方法的可视化效果对比(电子版为彩图)F i g V i s u a l i z a t i o nr e s u l t sc o m p a r i s o nw i t ho t h e rm e t h o d s结束语针对个体尺度不一、定位不准确这一问题,本文提出了一种新的基于多尺度的端到端的人群计数模型.为了有效利用不同特征层级间的多尺度特征,增加特征层级间的融合策略,本文进一步提出多尺度特征聚合模块,使模型对尺度相差很大的个体也能同时兼顾,在个公开的人群计数数据集上进行了实验,证明了本文方法有效且优于其他人群计数相关方法.目前小尺度个体的定位准确度仍有待提高,在未来的工作中,将进一步研究对于不同尺度的个体,包含其语义信息和位置信息最为丰富的特征层级,训练网络自适应地选取最适合的特征层级进行预测,进一步提高计数和定位精度.参 考 文 献D A L A L N,T R I G G SB H i s t o g r a m so fO r i e n t e dG r a d i e n t sf o rH u m a nD e t e c t i o nCI E E EC o m p u t e rS o c i e t yC o n f e r e n c eo nC o m p u t e rV i s i o n&P a t t e r nR e c o g n i t i o n I E E E,E N ZWE I L E RM,GAV R I L ADM M o n o c u l a rP e d e s t r i a nD e t e c t i o n:S u r v e ya n dE x p e r i m e n t sJ I E E ET r a n so nP a t t e r nA n a l y s i s&M a c h i n e I n t e l l i g e n c e,:L E E M H,C HUN GKH,C HO IGK,e t a l M e a s u r e m e n t o f S r i nA q u e o u sS a m p l e sU s i n gL i q u i dS c i n t i l l a t i o nC o u n t i n gw i t hF u l lS p e c t r u m D PM M e t h o dJ A p p l i e d R a d i a t i o na n dI s o t o p e s,():M I NL,Z HANGZ,HUANGK,e t a l E s t i m a t i n g t h eN u m b e r o fP e o p l e i nC r o w d e dS c e n e sb yM I DB a s e dF o r e g r o u n dS e g m e n t a t i o na n dH e a d s h o u l d e rD e t e c t i o nCT h e t hI n t e r n a t i o n a lC o n f e r e n c eo nP a t t e r nR e c o g n i t i o n I E E E,D AV I E S A C,J I A H Y,V E L A S T I N S A C r o w d M o n i t o