基于Resnet18网络的红外图像行人危险动作识别_单巍.pdf
《基于Resnet18网络的红外图像行人危险动作识别_单巍.pdf》由会员分享,可在线阅读,更多相关《基于Resnet18网络的红外图像行人危险动作识别_单巍.pdf(6页珍藏版)》请在咨信网上搜索。
1、第4 7卷/第3期/2 0 2 3年5月河北师范大学学报/自然科学版/J O U R N A LO FH E B E IN O R M A LU N I V E R S I T Y(N a t u r a lS c i e n c e)V o l.4 7N o.3M a y.2 0 2 3文章编号:1 0 0 0-5 8 5 4(2 0 2 3)0 3-0 2 4 5-0 6收稿日期:2 0 2 2-0 9-1 4;修回日期:2 0 2 2-1 1-1 4基金项目:安徽省高校科学研究项目(2 0 2 2 AH 0 5 0 3 9 2);安徽省教学示范课(2 0 2 0 S J J X S F
2、K 2 1 5 9);安徽省质量工程项目(2 0 2 1 j y x m 1 3 3 6);淮北师范大学质量工程项目(2 0 2 0 x j x y j 0 3 5,2 0 2 1 z l g c 1 3 0);国家级大学生创新训练项目(2 0 2 1 1 0 3 7 3 0 3 2,2 0 2 1 1 0 3 7 3 0 3 6,2 0 2 2 1 0 3 7 3 0 0 4,2 0 2 2 1 0 3 7 3 0 2 8,2 0 2 0 1 0 3 7 3 0 3 9);淮北师范大学党建创新项目(2 0 2 1 d j 0 0 5)作者简介:单 巍(1 9 8 3),男,安徽淮北人,副教授
3、,硕士,研究方向为模式识别.基于R e s n e t 1 8网络的红外图像行人危险动作识别单 巍,董 璇,龚佳佳,王玉娟,董世稳,孔令坤,郭姗姗(淮北师范大学 物理与电子信息学院,安徽 淮北 2 3 5 0 0 0)摘要:对夜间行人危险动作进行有效识别是无人驾驶和智能辅助驾驶系统的一个核心任务,也是保证系统安全性的基本需求.考虑到夜晚的光学条件下摄像机的成像特性,提出一种基于深度卷积网络的红外行人危险动作识别算法对夜间行人动作进行识别.该算法选择残差网络为基本网络结构,首先从红外图像的特性和问题的规模出发确定采用R e s n e t 1 8网络框架,然后对数据集进行预处理使之能够适应网络,
4、最后对网络进行训练与测试以确定网络的识别性能.在实际红外行人危险动作数据集中进行实验的结果表明,所提出方法对6类危险动作识别的平均精确率达到9 8.3%,平均召回率达到9 8.1%,优于传统的识别方法.关键词:危险动作识别;行人检测;卷积神经网络;残差网络;R e s n e t 1 8中图分类号:O4 3 9;T P1 8 3 文献标志码:A d o i:1 0.1 3 7 6 3/j.c n k i.j h e b n u.n s e.2 0 2 3 0 2 0 0 7P e d e s t r i a nD a n g e r o u sA c t i o nR e c o g n i
5、t i o ni nI n f r a r e dI m a g eB a s e do nR e s n e t 1 8N e t w o r kS HAN W e i,D ONGX u a n,GONGJ i a j i a,WANGY u j u a n,D ONGS h i w e n,KONGL i n g k u n,GUOS h a n s h a n(S c h o o l o fP h y s i c sa n dE l e c t r o n i c I n f o r m a t i o n,H u a i b e iN o r m a lU n i v e r s i
6、t y,A n h u iH u a i b e i 2 3 5 0 0 0,C h i n a)A b s t r a c t:R e c o g n i z i n gt h ep e d e s t r i a n su n s a f eb e h a v i o r s e f f i c i e n t l ya t n i g h t i s ak e y t a s k f o r t h eA u t o n-o m o u sv e h i c l e sa n da d v a n c e dd r i v e ra s s i s t a n c es y s t e
7、m,a n di t i sa l s oab a s i cr e q u i r e m e n t f o re n s u r i n gt h es a f e t yo f t h e s e s y s t e m s.C o n s i d e r i n g t h e i m a g i n gc h a r a c t e r i s t i c s o f t h e c a m e r a a t n i g h t,ad e e pc o n v o l u t i o n a ln e u r a ln e t w o r k(C NN)b a s e da l
8、g o r i t h mi sp r o p o s e d t o r e c o g n i z e t h ep e d e s t r i a n su n s a f eb e h a v i o r s i n i n f r a-r e d i m a g e s.I nt h i sa l g o r i t h m,r e s i d u a ln e t w o r ki ss e l e c t e da st h eb a s i cn e t w o r ks t r u c t u r e.F i r s t,R e s n e t 1 8n e t w o r
9、kf r a m e w o r ki sa d o p t e da c c o r d i n gt ot h ec h a r a c t e r i s t i c so fi n f r a r e di m a g e sa n dt h es c a l eo fp r o b l e m s.T h e nt h ed a t as e t i sp r e p r o c e s s e dt oa d a p tt ot h en e t w o r k.F i n a l l y,t h en e t w o r ki st r a i n e da n dt e s t
10、 e d t o d e t e r m i n et h er e c o g n i t i o n p e r f o r m a n c e o ft h e n e t w o r k.E x p e r i m e n t a lr e s u l t s o ni n f r a r e dp e d e s t r i a n su n s a f eb e h a v i o rd a t as e t i n d i c a t t h a t t h ep r e s e n t e da l g o r i t h mi m p r o v e d s t h ep a
11、 r a m e t e ro fp r e-c i s i o nt o9 8.3%a n dr e c a l l t o9 8.1%o na l l t h es i xt y p e so fu n s a f eb e h a v i o r s,a n d i ss u p e r i o r t ot h et r a d i-t i o n a lm e t h o d s.K e yw o r d s:d a n g e r o u sa c t i o nr e c o g n i t i o n;p e d e s t r i a nd e t e c t i o n;c
12、 o n v o l u t i o n a l n e u r a l n e t w o r k;r e s i d u a ln e t w o r k;R e s n e t 1 8近年来以深度学习为代表的人工智能技术逐步深入到车辆辅助驾驶和无人驾驶领域1-3,得益于行人检测技术的快速发展以及各类交通法规的严格执行,交通事故发生率得到一定的抑制.然而由于当前的行人检测研究集中于检测车辆行驶前方范围内直立行走的行人,当行人处于异常行为姿态时检测可靠性将大大下降,特别是在夜间光线不足的情况下,发生事故的概率随之提高.据报道,2 0 1 6年2月6日,河南省平顶山市发生一起将醉卧在行车道内的
13、市民碾压致其当场死亡的事故;2 0 1 8年1 0月1 3日晚,上海市宝山区同样发生一起市民酒后醉卧马路而被碾压身亡的事故;2 0 2 0年1月8日凌晨,相似的惨剧在珠海市香洲区再次上演.上述几起事故中受害人并非站立在道路上,且发生事故时间均为光线不足的夜晚,对夜晚光线不足情况下的危险行人动作进行准确识别,提高车辆夜间行驶的安全性,已成为一个亟待解决的问题.当前行人检测技术已日臻完善,特别是以F a s t e rR-C NN4,YO L O5,S S D6等深度卷积检测网络为代表的行人检测模型均取得了令人满意的检测效果7-8.相对而言,人体行为动作识别领域的研究大多局限于光线充足的实验室环境
14、或者室外规定化环境中.相对传统的行为识别方法需要设计行为动作的表达特征,深度学习可以通过构建相应的识别网络,让网络自主学习最优特征实现端到端的行人动作识别.K u m a r a n等7设计了一种将深度卷积网络和灰狼优化算法(g r e yw o l fo p t i m i z a t i o n)相融合的混合构架实现对视频序列中的人体行为的识别.K h a n等8则将传统的人工特征和深度卷积网络相结合来解决视频动作识别问题,在该方法中他们将传统方法用于行人检测的HOG特征并与深度网络特征融合在一起,然后采用多类支持向量机完成特征识别.上述的人体行为动作识别方法都是针对包含人体动作的视频序列
15、来进行建模的,需要一系列连续的序列图像才能得到识别结果,因此实时性不足.对于车辆行驶安全这样实时性要求很高的应用场景,希望仅通过当前图像即可判断目标行人的行为动作,从而对危险性行为做出及时的预防.针对上述缺点,文献9 对基于单幅图像的红外行人危险行为识别进行了研究,通过设计深度卷积网络来获取目标特征,然后采用提升随机森林进行分类,该方法与C NN-S VM1 0,C NN-ML P1 1,C NN-R F1 2相比精度有一定程度提高,但受限于传统C NN的网络深度和学习能力,算法性能仍不能令人满意.本文中,笔者针对夜间行人危险行为识别问题展开研究,提出一种基于单幅图像的红外危险行人动作识别框架
16、,该框架首先选择残差网络(r e s i d u a ln e t w o r k,r e s n e t)1 3作为基本网络结构,避免传统C NN网络深度加深时产生的梯度消失或梯度爆炸问题,结合数据集特点,选择R e s n e t 1 8作为骨干网络,然后对数据集进行预处理使之能够适应网络,最后对网络进行训练与测试以确定网络的识别性能.1 骨干网络基于深度卷积网络的分类识别系统往往采用类似图1所示的结构框架,输入图像经骨干网络中一系列卷积操作的处理,最后连接到全连接层通过s o f t m a x归一化得到每一类的概率.在该框架中骨干网络通过一系列卷积网络生成图像的特征信息,对分类性能起到
17、关键的作用.经过多年的研究,目前已出现多种通用的卷积网络结构,在这些网络结构中R e s n e t系列以其优越的性能得到广泛的应用.图1 R e s n e t 1 8的网络结构F i g.1 A r c h i t e c t u r eo f t h eR e s n e t 1 8N e t w o r k642由于主要任务是对红外图像中行人的危险动作进行识别,尽管红外成像对外界光线较为鲁棒,但相对可见光图像而言,红外图像的特征信息更加单一.考虑到识别任务的复杂度和训练数据集的规模,选用R e s n e t系列中深度较浅的R e s n e t 1 8模型作为骨干网络执行分类识别任务
18、.R e s n e t 1 8的网络结构如图1所示,不考虑池化、批归一化等无参操作,该网络含有1 7个卷积层和1个全连接层,其中1 7个卷积层由一个独立卷积(c o n v 1)和4个残差模块(c o n v 2_x至c o n v 5_x,其中x=14)组成.该网络的核心结构为4个残差模块,每个残差模块采用跳跃连接将该模块的输入和输出信息进行合并.最后一个残差模块与全连接层相连,然后经过s o f t m a x操作得到类别的概率.由图1可见,残差模块中输入信息通过跳跃连接与经过2次卷积后的输出信息相融合,形成残差结构.假定输入信息为fi n,最终输出为fo u t,则fo u t可以表示
19、为 fo u t=fi n+c2(c1(fi n),s i z e(fi n)=s i z e(fo u t),d o w n s a m p l e(fi n)+c2(c1(fi n),s i z e(fi n)!=s i z e(fo u t),(1)其中c1和c2为输入信息经过的2次卷积.上述的计算过程可以分为2种情况进行,第1种当fi n与fo u t尺度相同时,只需要将fi n与经过2次卷积后的输出进行相加,第2种情况当fi n与fo u t尺度不相同时,需要首先将fi n通过下采样(d o w n s a m p l e函数)将其尺度变换至与fo u t相同,然后执行相加操作.2
20、实验与分析2.1 数据集预处理实验采用P U B数据集9作为样本训练和测试集,该数据集的所有样本均采用车载红外摄像机在夜间拍摄采集,共包含12 0 0张训练图片和4 8 0张测试 图片.如图2所示,该 数据集共包 含s i t t i n g,r u n n i n g,s t a n d i n g,l o o k i n g-b a c k,w a l k i n g,l y i n g-d o w n等6种不同的危险行为样本,所有图像均为8位单通道灰度图像.考虑到R e s n e t 1 8网络输入的是三通道图像,因此将数据集中所有图像复制到另外2个通道中,构成三通道图像.图2 数据集
21、所包含的6类行人行为F i g.2 S i xT y p e so fP e d e s t r i a nB e h a v i o r s I n c l u d e d i nt h eD a t a s e t2.2 超参数设置与网络训练训练过程中设定学习率为0.0 1,由于研究的目的在于验证所设计网络结构的性能,并没有采用更复杂的调参技巧.训练时将每个b a t c h设置为1 2 8幅图片,共训练3 0个e p o c h,然后选用性能最优的网络模型作为最终模型.由于样本类别数为6,因此s o f t m a x模块中参数是长度为6的1维向量.图3给出了训练过程中的l o s s曲
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 Resnet18 网络 红外 图像 行人 危险 动作 识别
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。