基于Resnet18网络的红外图像行人危险动作识别_单巍.pdf

第4 7卷/第3期/2 0 2 3年5月河北师范大学学报/自然科学版/J O U R N A LO FH E B E IN O R M A LU N I V E R S I T Y(N a t u r a lS c i e n c e)V o l.4 7N o.3M a y.2 0 2 3文章编号:1 0 0 0-5 8 5 4(2 0 2 3)0 3-0 2 4 5-0 6收稿日期:2 0 2 2-0 9-1 4;修回日期:2 0 2 2-1 1-1 4基金项目:安徽省高校科学研究项目(2 0 2 2 AH 0 5 0 3 9 2);安徽省教学示范课(2 0 2 0 S J J X S F K 2 1 5 9);安徽省质量工程项目(2 0 2 1 j y x m 1 3 3 6);淮北师范大学质量工程项目(2 0 2 0 x j x y j 0 3 5,2 0 2 1 z l g c 1 3 0);国家级大学生创新训练项目(2 0 2 1 1 0 3 7 3 0 3 2,2 0 2 1 1 0 3 7 3 0 3 6,2 0 2 2 1 0 3 7 3 0 0 4,2 0 2 2 1 0 3 7 3 0 2 8,2 0 2 0 1 0 3 7 3 0 3 9);淮北师范大学党建创新项目(2 0 2 1 d j 0 0 5)作者简介:单 巍(1 9 8 3),男,安徽淮北人,副教授,硕士,研究方向为模式识别.基于R e s n e t 1 8网络的红外图像行人危险动作识别单 巍,董 璇,龚佳佳,王玉娟,董世稳,孔令坤,郭姗姗(淮北师范大学 物理与电子信息学院,安徽 淮北 2 3 5 0 0 0)摘要:对夜间行人危险动作进行有效识别是无人驾驶和智能辅助驾驶系统的一个核心任务,也是保证系统安全性的基本需求.考虑到夜晚的光学条件下摄像机的成像特性,提出一种基于深度卷积网络的红外行人危险动作识别算法对夜间行人动作进行识别.该算法选择残差网络为基本网络结构,首先从红外图像的特性和问题的规模出发确定采用R e s n e t 1 8网络框架,然后对数据集进行预处理使之能够适应网络,最后对网络进行训练与测试以确定网络的识别性能.在实际红外行人危险动作数据集中进行实验的结果表明,所提出方法对6类危险动作识别的平均精确率达到9 8.3%,平均召回率达到9 8.1%,优于传统的识别方法.关键词:危险动作识别;行人检测;卷积神经网络;残差网络;R e s n e t 1 8中图分类号:O4 3 9;T P1 8 3 文献标志码:A d o i:1 0.1 3 7 6 3/j.c n k i.j h e b n u.n s e.2 0 2 3 0 2 0 0 7P e d e s t r i a nD a n g e r o u sA c t i o nR e c o g n i t i o ni nI n f r a r e dI m a g eB a s e do nR e s n e t 1 8N e t w o r kS HAN W e i,D ONGX u a n,GONGJ i a j i a,WANGY u j u a n,D ONGS h i w e n,KONGL i n g k u n,GUOS h a n s h a n(S c h o o l o fP h y s i c sa n dE l e c t r o n i c I n f o r m a t i o n,H u a i b e iN o r m a lU n i v e r s i t y,A n h u iH u a i b e i 2 3 5 0 0 0,C h i n a)A b s t r a c t:R e c o g n i z i n gt h ep e d e s t r i a n su n s a f eb e h a v i o r s e f f i c i e n t l ya t n i g h t i s ak e y t a s k f o r t h eA u t o n-o m o u sv e h i c l e sa n da d v a n c e dd r i v e ra s s i s t a n c es y s t e m,a n di t i sa l s oab a s i cr e q u i r e m e n t f o re n s u r i n gt h es a f e t yo f t h e s e s y s t e m s.C o n s i d e r i n g t h e i m a g i n gc h a r a c t e r i s t i c s o f t h e c a m e r a a t n i g h t,ad e e pc o n v o l u t i o n a ln e u r a ln e t w o r k(C NN)b a s e da l g o r i t h mi sp r o p o s e d t o r e c o g n i z e t h ep e d e s t r i a n su n s a f eb e h a v i o r s i n i n f r a-r e d i m a g e s.I nt h i sa l g o r i t h m,r e s i d u a ln e t w o r ki ss e l e c t e da st h eb a s i cn e t w o r ks t r u c t u r e.F i r s t,R e s n e t 1 8n e t w o r kf r a m e w o r ki sa d o p t e da c c o r d i n gt ot h ec h a r a c t e r i s t i c so fi n f r a r e di m a g e sa n dt h es c a l eo fp r o b l e m s.T h e nt h ed a t as e t i sp r e p r o c e s s e dt oa d a p tt ot h en e t w o r k.F i n a l l y,t h en e t w o r ki st r a i n e da n dt e s t e d t o d e t e r m i n et h er e c o g n i t i o n p e r f o r m a n c e o ft h e n e t w o r k.E x p e r i m e n t a lr e s u l t s o ni n f r a r e dp e d e s t r i a n su n s a f eb e h a v i o rd a t as e t i n d i c a t t h a t t h ep r e s e n t e da l g o r i t h mi m p r o v e d s t h ep a r a m e t e ro fp r e-c i s i o nt o9 8.3%a n dr e c a l l t o9 8.1%o na l l t h es i xt y p e so fu n s a f eb e h a v i o r s,a n d i ss u p e r i o r t ot h et r a d i-t i o n a lm e t h o d s.K e yw o r d s:d a n g e r o u sa c t i o nr e c o g n i t i o n;p e d e s t r i a nd e t e c t i o n;c o n v o l u t i o n a l n e u r a l n e t w o r k;r e s i d u a ln e t w o r k;R e s n e t 1 8近年来以深度学习为代表的人工智能技术逐步深入到车辆辅助驾驶和无人驾驶领域1-3,得益于行人检测技术的快速发展以及各类交通法规的严格执行,交通事故发生率得到一定的抑制.然而由于当前的行人检测研究集中于检测车辆行驶前方范围内直立行走的行人,当行人处于异常行为姿态时检测可靠性将大大下降,特别是在夜间光线不足的情况下,发生事故的概率随之提高.据报道,2 0 1 6年2月6日,河南省平顶山市发生一起将醉卧在行车道内的市民碾压致其当场死亡的事故;2 0 1 8年1 0月1 3日晚,上海市宝山区同样发生一起市民酒后醉卧马路而被碾压身亡的事故;2 0 2 0年1月8日凌晨,相似的惨剧在珠海市香洲区再次上演.上述几起事故中受害人并非站立在道路上,且发生事故时间均为光线不足的夜晚,对夜晚光线不足情况下的危险行人动作进行准确识别,提高车辆夜间行驶的安全性,已成为一个亟待解决的问题.当前行人检测技术已日臻完善,特别是以F a s t e rR-C NN4,YO L O5,S S D6等深度卷积检测网络为代表的行人检测模型均取得了令人满意的检测效果7-8.相对而言,人体行为动作识别领域的研究大多局限于光线充足的实验室环境或者室外规定化环境中.相对传统的行为识别方法需要设计行为动作的表达特征,深度学习可以通过构建相应的识别网络,让网络自主学习最优特征实现端到端的行人动作识别.K u m a r a n等7设计了一种将深度卷积网络和灰狼优化算法(g r e yw o l fo p t i m i z a t i o n)相融合的混合构架实现对视频序列中的人体行为的识别.K h a n等8则将传统的人工特征和深度卷积网络相结合来解决视频动作识别问题,在该方法中他们将传统方法用于行人检测的HOG特征并与深度网络特征融合在一起,然后采用多类支持向量机完成特征识别.上述的人体行为动作识别方法都是针对包含人体动作的视频序列来进行建模的,需要一系列连续的序列图像才能得到识别结果,因此实时性不足.对于车辆行驶安全这样实时性要求很高的应用场景,希望仅通过当前图像即可判断目标行人的行为动作,从而对危险性行为做出及时的预防.针对上述缺点,文献9 对基于单幅图像的红外行人危险行为识别进行了研究,通过设计深度卷积网络来获取目标特征,然后采用提升随机森林进行分类,该方法与C NN-S VM1 0,C NN-ML P1 1,C NN-R F1 2相比精度有一定程度提高,但受限于传统C NN的网络深度和学习能力,算法性能仍不能令人满意.本文中,笔者针对夜间行人危险行为识别问题展开研究,提出一种基于单幅图像的红外危险行人动作识别框架,该框架首先选择残差网络(r e s i d u a ln e t w o r k,r e s n e t)1 3作为基本网络结构,避免传统C NN网络深度加深时产生的梯度消失或梯度爆炸问题,结合数据集特点,选择R e s n e t 1 8作为骨干网络,然后对数据集进行预处理使之能够适应网络,最后对网络进行训练与测试以确定网络的识别性能.1 骨干网络基于深度卷积网络的分类识别系统往往采用类似图1所示的结构框架,输入图像经骨干网络中一系列卷积操作的处理,最后连接到全连接层通过s o f t m a x归一化得到每一类的概率.在该框架中骨干网络通过一系列卷积网络生成图像的特征信息,对分类性能起到关键的作用.经过多年的研究,目前已出现多种通用的卷积网络结构,在这些网络结构中R e s n e t系列以其优越的性能得到广泛的应用.图1 R e s n e t 1 8的网络结构F i g.1 A r c h i t e c t u r eo f t h eR e s n e t 1 8N e t w o r k642由于主要任务是对红外图像中行人的危险动作进行识别,尽管红外成像对外界光线较为鲁棒,但相对可见光图像而言,红外图像的特征信息更加单一.考虑到识别任务的复杂度和训练数据集的规模,选用R e s n e t系列中深度较浅的R e s n e t 1 8模型作为骨干网络执行分类识别任务.R e s n e t 1 8的网络结构如图1所示,不考虑池化、批归一化等无参操作,该网络含有1 7个卷积层和1个全连接层,其中1 7个卷积层由一个独立卷积(c o n v 1)和4个残差模块(c o n v 2_x至c o n v 5_x,其中x=14)组成.该网络的核心结构为4个残差模块,每个残差模块采用跳跃连接将该模块的输入和输出信息进行合并.最后一个残差模块与全连接层相连,然后经过s o f t m a x操作得到类别的概率.由图1可见,残差模块中输入信息通过跳跃连接与经过2次卷积后的输出信息相融合,形成残差结构.假定输入信息为fi n,最终输出为fo u t,则fo u t可以表示为 fo u t=fi n+c2(c1(fi n),s i z e(fi n)=s i z e(fo u t),d o w n s a m p l e(fi n)+c2(c1(fi n),s i z e(fi n)!=s i z e(fo u t),(1)其中c1和c2为输入信息经过的2次卷积.上述的计算过程可以分为2种情况进行,第1种当fi n与fo u t尺度相同时,只需要将fi n与经过2次卷积后的输出进行相加,第2种情况当fi n与fo u t尺度不相同时,需要首先将fi n通过下采样(d o w n s a m p l e函数)将其尺度变换至与fo u t相同,然后执行相加操作.2 实验与分析2.1 数据集预处理实验采用P U B数据集9作为样本训练和测试集,该数据集的所有样本均采用车载红外摄像机在夜间拍摄采集,共包含12 0 0张训练图片和4 8 0张测试 图片.如图2所示,该 数据集共包 含s i t t i n g,r u n n i n g,s t a n d i n g,l o o k i n g-b a c k,w a l k i n g,l y i n g-d o w n等6种不同的危险行为样本,所有图像均为8位单通道灰度图像.考虑到R e s n e t 1 8网络输入的是三通道图像,因此将数据集中所有图像复制到另外2个通道中,构成三通道图像.图2 数据集所包含的6类行人行为F i g.2 S i xT y p e so fP e d e s t r i a nB e h a v i o r s I n c l u d e d i nt h eD a t a s e t2.2 超参数设置与网络训练训练过程中设定学习率为0.0 1,由于研究的目的在于验证所设计网络结构的性能,并没有采用更复杂的调参技巧.训练时将每个b a t c h设置为1 2 8幅图片,共训练3 0个e p o c h,然后选用性能最优的网络模型作为最终模型.由于样本类别数为6,因此s o f t m a x模块中参数是长度为6的1维向量.图3给出了训练过程中的l o s s曲线,从图3红线可以看出误差损失平稳下降,整个训练过程较为稳定.2.3 实验结果图4给出了6类行为识别结果的混淆矩阵.可以看出,测试集中r u n n i n g有9张图像被误分类为w a l k i n g,而其他5类行为s i t t i n g,s t a n d i n g,l o o k i n g-b a c k,w a l k i n g,l y i n g-d o w n的预测结果完全正确,即真实类与预测类相同.742图3 训练过程l o s s曲线F i g.3 L o s sC u r v eo f t h eT r a i nS t a g e图4 混淆矩阵F i g.4 C o n f u s i o nM a t r i x2.4 本算法与其他算法的性能比较为对实验结果进行量化表达,采用精确率P、召回率R和F1分数等3个通用指标来进行性能评估.令T P,F P,FN分别代表实际为正预测也为正、实际为负预测为正、实际为正预测为负的样本数量,则上述指标参数可以表达为 P=T PT P+F P,(2)R=T PT P+FN,(3)F1=2P RP+R.(4)从上述公式可以看出,精确率主要衡量系统的查准性能,召回率主要衡量系统的查全性能,而F1分数则是精确率和召回率的综合评价.为了更加 直 观 地 体 现 本 算 法 的 识 别 性 能,将 本 算 法 与 流 行 的GA-C NN9,C NN-S VM 1 0,C NN-ML P1 1,C NN-R F1 2等4种算法进行实验对比.表13分别给出了5种算法在6类行人行为上的性能指标.表1给出了对各种算法的精确率指标进行对比的结果,纵观该项指标,在所有6种危险行为中有5种行为的最高精确率是由本算法取得的,而且针对平均精确率(m e a np r e c i s i o n)而言,本算法高出排名第2的算法1.8个百分点.842表1 不同算法精确率的对比结果T a b.1 C o m p a r i s o nR e s u l t so fP r e c i s i o nw i t hD i f f e r e n tA l g o r i t h m s%类别PG A-C NN9C NN-S VM1 0C NN-ML P1 1C NN-R F1 2本算法s i t t i n g1 0 0.09 8.79 5.28 7.81 0 0.0r u n n i n g9 7.28 5.99 5.69 5.01 0 0.0s t a n d i n g9 7.59 8.68 9.98 9.91 0 0.0l o o k i n g-b a c k9 7.59 8.79 3.78 1.61 0 0.0w a l k i n g8 6.59 0.69 2.48 9.08 9.9l y i n g-d o w n1 0 0.09 8.79 6.39 6.31 0 0.0m e a np r e c i s i o n9 6.59 5.29 3.98 9.99 8.3 召回率指标由表2给出,该指标中本算法同样在6类危险行为中的5类上达到了最高召回率,平均召回率高出排名第2的算法1.8个百分点.表2 不同算法召回率的对比结果T a b.2 C o m p a r i s o nR e s u l t so fR e c a l lw i t hD i f f e r e n tA l g o r i t h m s%类别RG A-C NN9C NN-S VM1 0C NN-ML P1 1C NN-R F1 2本算法s i t t i n g1 0 0.09 6.31 0 09 7.51 0 0.0r u n n i n g8 6.39 0.78 1.37 0.88 8.8s t a n d i n g9 8.89 0.91 0 08 8.41 0 0.0l o o k i n g-b a c k9 6.39 7.29 2.58 8.51 0 0.0w a l k i n g9 6.39 6.09 1.39 1.01 0 0.0l y i n g-d o w n1 0 0.09 6.29 7.59 8.71 0 0.0m e a nr e c a l l9 6.39 4.69 3.88 9.19 8.1 在准确率和召回率方面,本算法在5类行为都取得了1 0 0%的精度,只有w a l k i n g和r u n n i n g精度相对略低.为进一步检验算法性能,综合衡量前2个指标,表3给出了各类算法在不同行为类别上的F1分数.本算法在每类行为上都取得了最高分数,平均分数超出其他算法0.0 1 8以上,说明本算法整体上更加优异,相对其他算法具有更好的识别性能.表3 不同算法F1分数的对比结果T a b.3 C o m p a r i s o nR e s u l t so fF1w i t hD i f f e r e n tA l g o r i t h m s类别F1分数G A-C NN9C NN-S VM1 0C NN-ML P1 1C NN-R F1 2本算法s i t t i n g1.0 0 00.9 7 50.9 7 50.9 2 41.0 0 0r u n n i n g0.9 1 40.8 8 20.8 7 90.8 1 10.9 4 1s t a n d i n g0.9 8 10.9 4 60.9 4 70.8 9 11.0 0 0l o o k i n g-b a c k0.9 6 90.9 7 90.9 3 10.8 4 91.0 0 0w a l k i n g0.9 1 10.9 3 20.9 1 80.9 0 00.9 4 7l y i n g-d o w n1.0 0 00.9 7 40.9 6 90.9 7 51.0 0 0m e a nF10.9 6 30.9 4 80.9 3 70.8 9 20.9 8 19423 结束语对夜间场景下的红外行人危险行为问题展开研究,力求设计一种端到端的深度卷积网络来实现对红外行人危险动作的有效识别.首先选择使用残差网络作为网络的基本结构,然后根据问题的规模选择R e s n e t 1 8作为骨干网络,在此基础上对数据集进行预处理以适应网络.实验表明,系统识别性能较传统方法有显著提升.在下一步的工作中,将研究如何进一步区分行走与跑步2种动作,并构建规模更大的红外危险行为数据集,为算法的实用性提供规模更大的衡量数据.参考文献:1 庞彦伟,白翔,章国锋.计算机视觉中的深度学习专题简介J.中国科学:信息科学,2 0 1 9,4 9(1 2):1 6 5 9.d o i:1 0.1 3 6 0/S S I-2 0 1 9-0 2 8 0P ANGY a n w e i,B A IX i a n g,Z HAN GG u o f e n g.S p e c i a lF o c u so nD e e pL e a r n i n gf o rC o m p u t e rV i s i o nJ.S c i e n c eC h i n a:I n-f o r m a t i o nS c i e n c e s,2 0 1 9,4 9(1 2):1 6 5 9.2 余伶俐,邵玄雅,龙子威,等.智能车辆深度强化学习的模型迁移轨迹规划方法J.控制理论与应用,2 0 1 9,3 6(9):1 4 0 9-1 4 2 2.d o i:1 0.7 6 4 1/c t a.2 0 1 8.8 0 3 4 1YUL i n g l i,S HAOX u a n y a,L ON GZ i w e i,e ta l.I n t e l l i g e n tL a n dV e h i c l eM o d e lT r a n s f e rT r a j e c t o r yP l a n n i n g M e t h o do fD e e pR e i n f o r c e m e n tL e a r n i n gJ.C o n t r o lT h e o r y&A p p l i c a t i o n s,2 0 1 9,3 6(9):1 4 0 9-1 4 2 2.3 C O S I MOI,AH S ANA,F R AN C E S C OC M,e t a l.AN o v e lS t a t i s t i c a lA n a l y s i sa n dA u t o e n c o d e rD r i v e nI n t e l l i g e n t I n t r u-s i o nD e t e c t i o nA p p r o a c hJ.N e u r o c o m p u t i n g,2 0 1 9,3 8 7:5 1-6 2.d o i:1 0.1 0 1 6/j.n e u c o m.2 0 1 9.1 1.0 1 64 R E NS,H EK,G I R S H I C KR,e ta l.F a s t e rR-C N N:T o w a r d sR e a l-t i m eO b j e c tD e t e c t i o nw i t hR e g i o nP r o p o s a lN e t w o r k sJ.I E E ET r a n s a c t i o n so nP a t t e r nA n a l y s i s&M a c h i n e I n t e l l i g e n c e,2 0 1 7,3 9(6):1 1 3 7-1 1 4 9.d o i:1 0.4 8 5 5 0/a r X i v.1 5 0 6.0 1 4 9 75 R E DMONJ,F A RHA D IA.Y O L O v 3:A nI n c r e m e n t a lI m p r o v e m e n tE B/O L.(2 0 1 8-0 4-0 8)2 0 2 2-0 8-0 6.h t t p s:/a r x i v.o r g/a b s/1 8 0 4.0 2 7 6 7.d o i:1 0.4 8 5 5 0/a r X i v.1 8 0 4.0 2 7 6 76 L I U W,A N G U E L O VD,E R HA ND,e ta l.S S D:S i n g l eS h o tM u l t i B o xD e t e c t o rJ.L e c t u r eN o t e s i nC o m p u t e rS c i e n c e,2 0 1 6,9 9 0 5:2 1-3 7.d o i:1 0.1 0 0 7/9 7 8-3-3 1 9-4 6 4 4 8-0_27 KUMA R ANN,VA D I V E L A,KUMA RSS.R e c o g n i t i o no fH u m a nA c t i o n sU s i n gC NN-GWO:A N o v e lM o d e l i n go fC NNf o rE n h a n c e m e n to fC l a s s i f i c a t i o nP e r f o r m a n c eJ.M u l t i m e d i aT o o l s&A p p l i c a t i o n s,2 0 1 8,7 7:2 3 1 1 5-2 3 1 4 7.d o i:1 0.1 0 0 7/s 1 1 0 4 2-0 1 7-5 5 9 1-z8 KHA N M A,S HA R I FM,A K R AMT,e t a l.H a n d-c r a f t e d a n dD e e pC o n v o l u t i o n a lN e u r a lN e t w o r kF e a t u r e sF u s i o n a n dS e l e c t i o nS t r a t e g y:A nA p p l i c a t i o n t oI n t e l l i g e n tH u m a nA c t i o nR e c o g n i t i o nJ.A p p l i e dS o f tC o m p u t i n g,2 0 1 9,3 0 7 6 7(1 9):1 0 5 9 8 6.d o i:1 0.1 0 1 6/j.a s o c.2 0 1 9.1 0 5 9 8 69 L E EEJ,KO BC,NAMJY.R e c o g n i z i n gP e d e s t r i a n sU n s a f eB e h a v i o r si nF a r-i n f r a r e dI m a g e r ya tN i g h tJ.I n f r a r e dP h y s i c s&T e c h n o l o g y,2 0 1 6,7 6:2 6 1-2 7 0.d o i:1 0.1 0 1 6/j.i n f r a r e d.2 0 1 6.0 3.0 0 61 0 N I UX X,S U E N C Y.A N o v e lH y b r i dC N N-S VM C l a s s i f i e rf o rR e c o g n i z i n gH a n d w r i t t e nD i g i t sJ.P a t t e r nR e c o g n i t i o n,2 0 1 2,4 5(4):1 3 1 8-1 3 2 5.d o i:1 0.1 0 1 6/j.p a t c o g.2 0 1 1.0 9.0 2 11 1 L E C UN Y,B O T T OUL,B E N G I OY,e t a l.G r a d i e n t-b a s e dL e a r n i n gA p p l i e d t oD o c u m e n tR e c o g n i t i o nJ.P r o c e e d i n g so ft h e I E E E,1 9 9 8,8 6(1 1):2 2 7 8-2 3 2 4.d o i:1 0.1 1 0 9/5.7 2 6 7 9 11 2 C AOG,WAN GS,WE IB,e t a l.A H y b r i dC n n-R fM e t h o df o rE l e c t r o nM i c r o s c o p yI m a g e sS e g m e n t a t i o nJ.J o u r n a lo fB i o m a t e r i a l sa n dT i s s u eE n g i n e e r i n g,2 0 1 3,1 8(2):1-6.d o i:1 0.4 1 7 2/1 6 6 2-1 0 0 x.1 0 0 0 1 1 41 3 H EK,Z HA N GX,R E NS,e t a l.D e e pR e s i d u a lL e a r n i n g f o r I m a g eR e c o g n i t i o nCP r o c e e d i n g so f 2 9 t hI E E EC o n f e r e n c eo nC o m p u t e rV i s i o na n dP a t t e r nR e c o g n i t i o n(C V P R).L a sV e g a s,N e v a d a:I E E E,2 0 1 6:7 7 0-7 7 8.d o i:1 0.1 1 0 9/c v p r.2 0 1 6.9 0(责任编辑 刘新喜)052