注意力与特征融合的未来帧预测异常行为检测算法.pdf
《注意力与特征融合的未来帧预测异常行为检测算法.pdf》由会员分享,可在线阅读,更多相关《注意力与特征融合的未来帧预测异常行为检测算法.pdf(7页珍藏版)》请在咨信网上搜索。
1、第 卷 第期 年月探 测 与 控 制 学 报J o u r n a l o fD e t e c t i o n&C o n t r o lV o l N o A u g 收稿日期:作者简介:张瑜玮(),女,河南新乡人,硕士研究生.注意力与特征融合的未来帧预测异常行为检测算法张瑜玮,王燕妮(西安建筑科技大学信息与控制工程学院,陕西 西安 )摘要:针对异常行为检测模型中检测准确度较低,目标异常类型判断不准确等问题,提出注意力与特征融合的未来帧预测异常行为检测算法.该算法采用无监督生成对抗网络模型,通过计算真实帧和预测帧之间的误差来判断当前帧是否为异常帧.在生成网络中,以U N e t网络结构为基
2、础,首先引入S o f t P o o l层,减少池化过程中的信息损失;其次引入即插即用的轻量级注意力机制,增强背景信息和目标信息差,有效提升网络性能的同时不增加网络的复杂性;然后,在U N e t编码器低层构造了一种新的特征融合模块来增强图像全局信息的依赖性;最后,为了融合上下文信息,提取更丰富的特征作为输出图像,构造一种新的特征提取模块添加到网络特征图的输出部分.判别网络以马尔可夫判别器为基础,使网络更加关注图像的细节特征.实验中,采用C UHKA v e n u e数据集和U C S DP e d 数据集对该算法进行验证.实验结果表明,改进后的网络在C UHKA v e n u e数据集
3、上检测精度达到了 ,在U C S DP e d 数据集上检测精度达到了 ,证明了该算法的有效性.关键词:生成对抗网络;人体异常行为检测;未来帧预测;特征融合;轻量级注意力机制中图分类号:T P 文献标志码:A文章编号:()A n o m a l o u sB e h a v i o rF u t u r eF r a m eP r e d i c t i o nA l g o r i t h mw i t hA t t e n t i o na n dF e a t u r eF u s i o nZ HAN GY u w e i,WAN GY a n n i(S c h o o l o f
4、i n f o r m a t i o na n dc o n t r o l e n g i n e e r i n g,X i a nU n i v e r s i t yo f a r c h i t e c t u r ea n dt e c h n o l o g y,X i a n ,C h i n a)A b s t r a c t:I no r d e r t os o l v e t h ep r o b l e m so f l o wd e t e c t i o na c c u r a c ya n d i n a c c u r a t ed e t e r m i
5、 n a t i o no f t a r g e t a b n o r m a l t y p e s i n t h ea b n o r m a l b e h a v i o u rd e t e c t i o nm o d e l,a f u t u r e f r a m ep r e d i c t i o na b n o r m a l b e h a v i o u rd e t e c t i o na l g o r i t h mw i t ha t t e n t i o na n df e a t u r e f u s i o nw a sp r o p o
6、 s e d i nt h i sp a p e r T h ea l g o r i t h mu s e da nu n s u p e r v i s e dg e n e r a t i v ea d v e r s a r i a ln e t w o r km o d e l t od e t e r m i n ew h e t h e r t h e c u r r e n t f r a m ew a sa na n o m a l yb yc a l c u l a t i n gt h ee r r o rb e t w e e nt h er e a l f r a m
7、 ea n dt h ep r e d i c t e df r a m e F i r s t l y,aS o f t P o o l l a y e rw a s i n t r o d u c e di nt h eg e n e r a t i v en e t w o r k,b a s e do nt h eU N e tn e t w o r ks t r u c t u r e,t or e d u c et h e i n f o r m a t i o nl o s sd u r i n gp o o l i n g S e c o n d l y,t h ei n t
8、r o d u c t i o no f a l i g h t w e i g h ta t t e n t i o nm e c h a n i s mt h a te n h a n c e dt h ed i f f e r e n c eb e t w e e nb a c k g r o u n da n dt a r g e ti n f o r m a t i o nc o u l de f f e c t i v e l yi m p r o v en e t w o r kp e r f o r m a n c ew i t h o u t i n c r e a s i
9、n gt h ec o m p l e x i t yo ft h en e t w o r k T h e n,an e wf e a t u r e f u s i o nm o d u l ew a sc o n s t r u c t e da t t h e l o wl e v e l o f t h eU n e t e n c o d e r t oe n h a n c e t h ed e p e n d e n c eo f t h eg l o b a l i n f o r m a t i o no f t h e i m a g e F i n a l l y,i
10、no r d e rt of u s ec o n t e x t u a l i n f o r m a t i o na n de x t r a c tr i c h e rf e a t u r e sa s t h eo u t p u t i m a g e,an e wf e a t u r ee x t r a c t i o nm o d u l ew a s c o n s t r u c t e dt ob ea d d e dt ot h eo u t p u tp a r t o ft h en e t w o r kf e a t u r em a p I no r
11、 d e rt om a k et h em o d e lm o r ef o c u s e do nt h ed e t a i l e df e a t u r e so f t h ei m a g e,t h ed i s c r i m i n a t i v en e t w o r ku s e daP a t c h G ANs t r u c t u r e I nt h ee x p e r i m e n t s,t h eC UHK A v e n u ed a t a s e ta n dt h eU C S DP e d d a t a s e tw e r e
12、u s e d t ov a l i d a t e t h e a l g o r i t h m T h e e x p e r i m e n t a l r e s u l t s s h o w e d t h a t t h e i m p r o v e dn e t w o r ka c h i e v e dad e t e c t i o na c c u r a c yo f o n t h eC UHKA v e n u ed a t a s e t a n d o n t h eU C S DP e d d a t a s e t,p r o v i n gt h e
13、e f f e c t i v e n e s so f t h ep r o p o s e dm e t h o d K e yw o r d s:g e n e r a t i v e a d v e r s a r i a l n e t w o r k;a b n o r m a l h u m a nb e h a v i o u r d e t e c t i o n;f u t u r e f r a m ep r e d i c t i o n;f e a t u r e f u s i o n;l i g h t w e i g h t a t t e n t i o nm
14、 e c h a n i s m 引言异常行为检测是增强监控场所安全的重要科学技术手段,具有重要的社会价值和应用价值.传统的异常行为检测算法特征提取方法包括通过获取物体在运动过程中的位置、长度、速度等信息构造特征的基于轨迹的方法和通过提取底层的空间信息的基于低维特征的方法.虽然这些方法在某些特定的场景下能够取得较好的检测效果,但这些方法是通过人工提取特征,算法对于数据库依赖较大,其异常检测算法不具有客观性,且易受光照变换、视角转换、图像噪声等方面的影响.随着卷积神经网络在行为识别领域研究的逐步深入,基于深度学习的视觉特征逐渐应用到异常行为检测模型中,并取得了较大的进展.目前,基于深度学习的异常
15、行为检测主要有两个方向:一是基于重构的异常行为检测;二是基于预测的异常行为检测.基于重构的异常行为检测是对输入正常行为的视频图像进行特征提取,再解码为重构图像,最终以重构误差作为异常得分判断视频图像中是否含有异常行为.该方法包括以循环卷积网络(R NN)、生成对抗网络(GAN)、D卷积网络 等网络为基础模型进行图像重构.由于基于重构的异常行为检测方法仅在正常数据上进行学习,因此模型不能准确判断出遮挡情况下的异常行为,导致检测效果差.基于预测的异常行为检测,通过提取一段连续帧视频图像的外观特征与运动特征进行建模,生成预测图像,将预测图像与真实图像进行对比得到预测误差来判断.该方法主要应用于异常行
16、为类型定义不准确的检测算法中.针对现实生活中提取到的视频无任何标签信息,异常行为类型不能准确判断等问题,提出一种注意力与特征融合的未来帧预测算法用于异常行为检测.相关理论 生成对抗网络生成对抗网络(GAN)是一种生成式的、对抗的无监督网络模型,是生成网络和判别网络两个神经网络相互竞争的过程.生成器的目的是通过学习真实的图像数据分布尽可能生成让判别器无法区分的逼真样本,而判别器则是尽可能去判别该样本是真实样本还是由生成器生成的假样本.在理想条件下,生成器和判别器会达到纳什均衡状态.图展示了GAN的基本框架.图生成对抗网络原理图F i g S c h e m a t i cd i a g r a
17、mo f g e n e r a t i n ga d v e r s a r i a l n e t w o r k为了使模型更加关注图像的细节特征,提高图像的清晰度,年I s o l a等人提出马尔可夫判别器(P a t c h GAN),将判别器改进成了全卷积网络,输出nn的矩阵作为评价值用来评价生成器的生成图像.U N e t网络基于自身参数较少、易于训练的优点,U N e t网络在图像检测领域得到了广泛的应用.为了解决梯度消失和信息不平衡问题,U N e t网络在编码器与解码器之间引入跳跃连接,将相同分辨率的全局空间信息与局部细节信息进行融合,生成较高质量的图像.文献 提出了一种基于
18、生成对抗网络预测未来帧的异常行为检测方法,该方法以正常样本进行学习,运用以U N e t网络作为生成器的生成对抗网络,通过对比预测帧和未来帧,判断图像是否包含异常行为,但该方法的准确率还需要进一步提升.注意力与特征融合的未来帧预测异常行为检测算法为了对原始算法的不足进行改进,本文采用无监督学习方式进行视频帧预测,利用生成对抗网络作为基础网络,以U N e t网络为基础对生成器进行改进.首先引入了S o f t P o o l层尽可能减少池化过程中带来的信息损失;其次,为了保留更为丰富的上下文信息,突出关键信息部分,引入E C A注意力机制;然后,编码器对输入的连续帧进行下采样提取底层特征,并将
19、最后一层特征图输入B T E N e t模块编张瑜玮等:注意力与特征融合的未来帧预测异常行为检测算法码全局信息,学习特征像素之间的相关信息;最后,在网络特征图的输出部分引入C S E N e t模块,基于注意力机制的特征提取出更加符合要求的通道作为输出.然后将预测图像输入到马尔可夫判别器中,由其判断真假.为了提升模型的预测效果,施加强度和梯度损失函数对空间进行约束,并加入光流损失来加强时间约束,保证运动的一致性.整体网络框架如图所示.图整体网络框架图F i g O v e r a l l n e t w o r kf r a m e w o r kd i a g r a m S o f t P
20、 o o l池化层异常行为检测中所采集到的数据集大多包含大量背景信息,人在图像中所占像素较少且相邻帧图像的相似度较高.原U N e t网络利用最大值池化实现下采样的过程容易损失部分重要信息导致误检.因此,使用S o f t P o o l 池化层替换U N e t中的最大池化层,利用s o f t m a x的加权方法保留输入图像的特征属性,对感受野内的所有像素以加权求和的方式映射到网络的下一层,使得网络在对特征图进行下采样的同时,尽量减少特征信息的丢失,更多保留图中的细粒度信息,适用于异常行为的特征提取网络.高效通道注意力机制考虑到计算性能和模型的复杂度,在特征融合层中引入了一种轻量级注意力
21、机制E C A N e t,其架构图如图所示.该网络在不降低通道维数的情况下进行跨通道信息交互.首先采用全局平均池化操作实现低维嵌入,得到C的特征向量,其次采用大小为K的一维卷积进行局部跨通道连接操作.通道数C和局部跨通道卷积核K对应关系为Kl bCrbro d d,()式()中,r,b,K为计算出来临近的奇数值.图E C A架构图F i g E C Aa r c h i t e c t u r ed i a g r a m B T E N e t模块基于B o T N e t模型 在低层U N e t编码器与探 测 与 控 制 学 报解码器之间添加改进的B o t t l e n e c k
22、T r a n s f o r m e r s模块和E C A模块组合而成的B T E N e t模块,其结构图如图所示.其中B o t t l e n e c kT r a n s f o r m e r s模块借鉴了R e s N e tB o t t l e n e c k模块结构,将R e s N e tB o t t l e n e c k模块中的空间卷积层替换成多头自注意力块MH S A(m u l t i h e a ds e l f a t t e n t i o n),如图所示.添加B T E N e t模块后,提升目标检测的性能,使得网络能够更好地提取图像中有效的局部特征,
23、聚合图像全局信息的同时降低模型参数量,使延迟最小化.图B T EN e t结构图F i g B T EN e t s t r u c t u r ed i a g r a m图MH S A结构图F i g MH S As t r u c t u r ed i a g r a m C S E N e t模块为了更好融合图像的上下文信息,增强特征表示,改进了解码器输出分类层的上采样网络结构,将其命名为C S E N e t.该模块将单一的卷积层替换成残差网络结构,同时考虑到特征通道间重要程度的不同,提高对图像帧关键信息的提取能力,引入S E注意力模块,为后续图像预测过程打基础.C S E N e
24、t模块的结构图如图所示.图C S EN e t结构图F i g C S EN e t s t r u c t u r ed i a g r a m 实验与结果分析 约束条件与评价指标 损失函数在本文实验中,生成器不仅被训练用来欺骗判别器,而且还被要求约束条件中生成的图像和原图像之间的相似性.因此,生成器的损失函数由强度损失、梯度损失、光流损失、对抗损失组成.强度损失用来保证两帧图像的R G B空间中对应像素的相似性;梯度损失可以使生成的图像锐化,更好地保持帧的清晰度;引入光流损失为了约束运动信息,计算预测帧与真实帧之间运动信息.生成对抗网络的训练过程包含训练判别器和训练生成器.判别器和生成器的
25、训练过程的损失函数为LDa(I,I)i,jLM S E(D(I)i,j,)i,jLM S E(D(I)i,j,),()LM S E(Y,Y)(YY),()LGa(I)i,jLM S E(D(I)i,j,),()式中,D(I)为判别器在真实样本工上的判别结果,D(I)为判别器在生成器生成样本I上的判别结果.最终得到生成器的损失函数为LGi(It It)g(i,j Ii,j Ii,j Ii,j Ii,j Ii,j Ii,jIi!,j Ii,j)o(f(It,It)f(It,It)aLGa(It).()判别器的损失函数为LDLDa(It,It),()式()中,i表示强度损失函数的权重,g表示梯度损失
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 注意力 特征 融合 未来 预测 异常 行为 检测 算法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。