基于目标检测和迁移时间序列的教室人员检测.pdf
《基于目标检测和迁移时间序列的教室人员检测.pdf》由会员分享,可在线阅读,更多相关《基于目标检测和迁移时间序列的教室人员检测.pdf(10页珍藏版)》请在咨信网上搜索。
1、近年来,随着国家对教育进行智能重构的不断重视1,人工智能在教育中拥有着巨大的研究空间和发展潜力,其中,教室的使用和分配问题影响着教育场地资源规划和建设等诸多方面.利用现有资源得到一个精准量化参考的方法,能够在节约人力物力的情况下合理布局,高效地进行教育建设.教室的使用和分配通常需要对教室内的人员进行目标检测,相比开放场合下的应用场景,教室内人员的目标检测有环境变化小、人员位置固定时间长的优势,但是也存在着人-人、人-物遮挡,不同教室的光照量差异和由于各种物品存在而导致的教室背景复杂多变,干扰较多的问题.同时,由于不同教室和不同学校之间视频捕获设备存在的图像压缩损耗、噪点等问题,数据来源差异性较
2、大,因此很难单独采用基于运动的目标检测方法对教室人员进行识别和统计.为了更好地进行教室人员目标检测,本文在YO L O算法的基础上进行了改进.一般将目标检测过程分为2个阶段:目标分类和目标位置坐标确定.在深度学习流行并拥有硬件支撑之前,常用的目标检测方法有如文献2 使用的方向梯度直方图算法(h i s t o g r a m o f o r i e n t e d g r a d i e n t,HOG)、文献3 使用的可变形组件模型(d e f o r m a b l e p a r t m o d e l,D PM)、文献4 使用的H a a r算法等,其中HOG利用图像的梯度数据反映目标
3、边缘,并通过梯度大小提取图像的特征,此算法中的不同尺度参数、梯度方向等均会对目标检测结果产生较大影响,抗干扰能力欠佳.D PM算法通过使用不同分辨率的滤波器进行特征提取,相比单一HOG效率有所提高,但其参数设计极为复杂且应对抖动、倾斜等稳定性较差.H a a r提出了积分图的概念,并将图像经过积分计算得到的结构划分为不同种类的基本形态进行识别,但由于其对明暗的敏感性,对于非正面人脸的识别效果较差.随着深度学习算法的不断发展,基于深度学习的行人检测算法取得了极大的进展.该类算法主要可以分为有先验框的两阶段方法和没有先验框的单阶段方法.两阶段方法中经典的算法有:文献5 提出的M a s k-R C
4、 NN算法和文献6 使用的F a s t e r R-C NN算法等.单阶段方法中最流行的则是由文献7 所提出的YO-L O算法,其中,单阶段算法由于其效率高、准确率高、便于训练的特点而处于主流地位.为了克服单阶段方法中不同尺度和不同难度样本偏差的问题,文献8 在YO L O算法思想的基础上提出了使用特征金字塔(f e a t u r e p y r a m i d n e t w o r k,F P N)的多尺度特征提取的改良方案.虽然经过多尺度图像特征融合后该算法明显提升了目标识别的准确率,但是其在处理带有时间序列的数据时忽略了流式数据的时间连续性.于是,本文结合现有的图像处理算法,利用对
5、教室视频捕捉设备能够获取到的流式数据进行时间序列的迁移,改进连续识别的算法规则,针对以监控设备为主的边缘端提出了基于目标检测的高性能教室人员目标检测算法.1 所提算法本文提出的算法由生成对抗网络(s u p e r r e s o l u t i o n GAN,S R GAN)、YO L O、NM S和T S M组成,算法的框架图如图1所示.334图1 基于目标检测和T S M的教室人员检测框架F i g.1 D i a g r a m o f c l a s s r o o m p e r s o n n e l d e t e c t i o n a l g o r i t h m b
6、a s e d o n o b j e c t d e t e c t i o n a n d T S M设在i时刻输入具有不同长宽的图像A,经过目标检测后得到人员位置数据.由图1可知算法的流程如下:首先,对输入图像A进行L e t t e r B o x放缩至模型使用的传入图像尺寸,获得相应的放缩图像A .当图像在放缩时长宽比不满足要求时将空出部分进行纯色填充以便于识别适配.其次,使用S R GAN进行图像清晰化处理得到高清图像A 用于进行后续处理.再次,利用改进后的Y O L O模型进行多尺度特征提取和分类回归,得到3种尺度下的检测结果,合并为W.然后,通过NM S方法对数据进行清洗,得到
7、当前源人数Ci.最终,通过T S M方法,使用之前的时间序列参考值得到修正人数C Ri,并将其存储于内存中,供下一帧使用.下面对所提算法的各个部分进行详细介绍.1.1 S R G A N算法由于在进行教室人员目标识别时,所采集的图像往往会受到光照和灯光等因素的印象,尤其是晚上采集的视频分辨率有所下降,因此本文采用文献9 提出的S R GAN算法对视频数据进行超分辨重建.S R GAN通过GAN来从低分辨率的图像(l o w r e s o l u t i o n,L R)生成高分辨率的图像(h i g h r e s o l u t i o n,HR),其总体效果如图2所示.a.模糊图片;b.
8、高清图片;c.S R G AN结果图2 S R G A N超分辨率效果F i g.2 V i s u a l i z a t i o n o f S R G A N434河北大学学报(自然科学版)第4 3卷第4期丛帅等:基于目标检测和迁移时间序列的教室人员检测 GAN由生成器(g e n e r a t o r,G)和判别器(d i s c r i m i n a t o r,D)2个部分组成.本文将训练GAN网络,从而获得一个最优的生成器用以生成高清图像.由于神经网络可抽象为通过输入得到输出的结构,可以将问题转化为得到一个最优的生成函数得以最好地使超分辨率结果接近真实情况,同时训练过程中需要
9、得到一个最优的判别函数以最好地鉴别出生成的图片质量.在G部分,首先使用双三次插值(b i c u b i c i n t e r p o l a t i o n)将低分辨率图像缩放至目标高分辨率大小,得到低分辨率图像IL R.然后,通过将L R输入卷积神经网络GG进行前向传播,经过数个残差网络提取特征,再通过渐进式上采样最终得到的对应HR图像.设G=W1:L;b1:L为L层的神经网络中对应的权重和偏置值,其受超分辨率结果与真实图像偏差所得到的损失函数约束和优化.设图像输入尺寸为1 2 81 2 83.每个残差结构中卷积核大小为77,步长为1,数量为6 4,其中的激活函数使用P R e L U激
10、活函数.同时,为了提高模型的训练效率,本文对于训练中的多幅图像IHRn(n=1,N)进行训练,从而可以获得G,即 G=a r g m i nG1NNn=1lS R(GG(IL Rn,IHRn).(1)在D部分,本文定义了鉴别器神经网络DD用以完成最大最小博弈过程,如式(2).m i nGm a xDIHRpt r a i n(IHR)l o gDD(IHR)+IL RP G(IHR)l o g(1-DD(G G(IL R),(2)其中,pt r a i n为图片数据的分布.神经网络DD为文献1 0 中给出的VG G网络,其卷积核大小为33,使用全连接网络和L e a k y R e L U激活
11、函数得到样本的真实概率.1.2 改进的Y O L O算法基于卷积神经网络的YO L O算法核心原理是将目标检测的问题转化为回归和分类的问题.不同于滑动窗口和区域划分类型的算法和模型,YO L O算法使用整张图进行训练和预测,因此能够通过更大的视野更好地区分整体和局部,从而避免因为背景(如墙、桌椅等)带来的影响,具有非常高的泛化性能.同时,其单阶段特征提取和识别的结构相比R C NN等两阶段算法省去了第一阶段生成预选框的操作,在效率上有大幅度地提升.模型的核心过程为:模型首先将图像切分为SS(不足使用纯色填充)的正方形图像,为每个小正方形预测B个预测框、置信度和C种分类可能性数值,最终得到SS(
12、B*5+C)个张量数据7.YO L O v 5是YO L O系列算法经过多次改进和迭代后的结果,本文在此基础上添加了注意力块,在目标识别上能够较好地确定目标.本文改进后的YO L O模型结构如图3所示.图3 改进Y O L O网络模型F i g.3 M o d e l o f i m p r o v e d Y O L O534 本文算法的骨干网络采用的是F o c u s+B o t t l e n e c k C S P卷积层,降低卷积维数,有效减少了重复的梯度学习,提升了YO L O网络的学习能力和学习效果.同时为了兼顾复杂背景下识别的准确率和效率问题,本文选用的注意力机制为挤压和激发网
13、络1 1(s q u e e z e a n d e x c i t a t i o n n e t w o r k,S E),其结构如图4所示.图4 S E网络结构F i g.4 A r c h i t e c t u r e o f S E由图4可知,S E网络将输入通过1次平均池化后进行全连接,然后经过R e L U函数进行激活后再次使用S i g m o i d函数进行激活.改进的YO L O算法多层次特征提取层部分使用特征金字塔网络8(f e a t u r e p y r a m i d n e t w o r k,F P N),生成特征金字塔,从而获得高级语义特征图,便于小目标检
14、测的同时保证大目标的检测准度;同时使用路径聚合网络1 2(p a t h a g g r e g a t i o n n e t w o r k,P AN)进行定位信息的补偿避免特征和定位的模糊.该算法预测层(h e a d)使用3个检测器,利用基于网格的锚点在不同尺度的特征图上进行目标检测过程,最终获取结果.YO L O模型中的激活函数使用带有负值的线性激活函数以保留部分特征,其公式为=x,x0,0.1x,o t h e r w i s e.(3)本文设置模型传入图像的大小为6 4 06 4 0,步长S为8.利用YO L O算法,能够快速获得目标检测的结果.在模型的训练过程中,本文标记有候选
15、框的位置为正例,没有候选框的位置为负例.由此定义预测中正例被预测为正例为T P,正例被预测为负例为FN,负例被预测为负例为TN,负例被预测为正例为F P.由此可以得到2个指标:精确度(P r e c i s i o n,P)和召回率(R e c a l l,R),其计算公式如式(4)和式(5).P=T PT P+F P,(4)R=T PT P+FN.(5)1.3 T S M算法对教室人员的计数由于其识别类型单一、基于时间而变化的特点和人员变动行为相对于捕获设备缓慢的特点,当因人员进出而出现运动目标时算法的检测人数会围绕真实值上下波动,然而在人员运动开始前和结束后均能得出准确值.由此可见,能够通
16、过一定区间内的时间序列进行合并迁移从而得出精确的目标检测值.本文基于迁移时间序列概念提出一种T S M算法,通过计算一定时间区间内的统计平均值忽略不必要的上下文信息,做到不消耗额外时间,并且能够有效进一步改善遮挡、运动情况下带来的统计精度不高的情况.T S M算法其计算公式最终的递推公式如式(6),赋值公式为在计算出R Ci后的公式(7).i-1k=0Ck+(b-i)Cib,ib,Ci-1+Ci-Ci-b-1b,ib,(6)Ci=R Ci,(7)其中,R Ci为i时刻经过T S M方法计算得出的修正值,Ck(ki)为第k帧经过重新赋值更新(Ck=R Ck)后的预测值,Ci为第i帧通过YO L
17、O进行目标检测识别得到的元数据,b为批处理帧的大小.本算法通过计634河北大学学报(自然科学版)第4 3卷第4期丛帅等:基于目标检测和迁移时间序列的教室人员检测算不断更新修正值,使用滑动窗口使数据平滑过渡,且不使用额外计算时间和额外的追踪数据.1.4 NM S算法采用改进的YO L O算法对采集到的视频流进行逐帧识别检测,由于模型可接受的图像尺寸常常与实际输入图像不同,且传统放缩将会造成图像畸变,本文采用如文献1 3 提出的L e t t e r B o x放缩.计算总体缩放比例r和长宽各自缩放比例的公式如下:r=m i nwn w wwo r i g i nhn e who r i g i
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 目标 检测 迁移 时间 序列 教室 人员
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。