改进YOLOv5的轻量级不规范驾驶行为实时检测_邹鹏.pdf
《改进YOLOv5的轻量级不规范驾驶行为实时检测_邹鹏.pdf》由会员分享,可在线阅读,更多相关《改进YOLOv5的轻量级不规范驾驶行为实时检测_邹鹏.pdf(8页珍藏版)》请在咨信网上搜索。
1、Computer Engineering and Applications计算机工程与应用2023,59(13)近年来,随着社会的不断发展以及科学技术的巨大进步,机动车作为主要的交通工具已经慢慢成为人们出行的首选,为人们的日常生活带来了极大的便利,但是交通车辆的过度使用也对人们的安全有着极大的隐患,每年的交通事故发生率都在逐渐上升,且大多数交通事故的原因都是源于机动车驾驶员的不规范驾驶行为。研究表明,交通事故的发生原因90%以上是驾驶员的人为因素,包括醉酒驾驶、疲劳驾驶、未遵循交通规则以及不规范驾驶行为等1,故检测机动车车辆司机的不规范驾驶行为对交通安全方面具有重要的意义。国内外的部分学者将深
2、度学习的算法应用到不规范驾驶行为的检测领域,李光东等2运用卷积神经网络进行驾驶行为检测识别并且组建检测系统安装在机动车上。张志威3用VGG194网络结合迁移学习的方法来提取不规范驾驶行为的特征,以此实现不规范驾驶行为的检测。Yan等5利用R-CNN6网络来分析驾驶员的驾驶行为,从而作出相应驾驶行为的判断。田文洪等7利用类似于LeNet的CNN网络对驾驶员的不安全行为进改进YOLOv5的轻量级不规范驾驶行为实时检测邹鹏,杨凯军,梁晨陕西科技大学 电气与控制工程学院,西安 710021摘要:针对现有的不规范驾驶行为检测算法占用内存多、计算量大、难以在边缘设备部署且在昏暗条件下对检测目标有干扰等问题
3、,提出了一种改进YOLOv5模型的轻量级不规范驾驶行为实时检测算法。将SE注意力机制引入到YOLOv5模型的Backbone网络部分,再将Backbone网络里的CSP模块替换为轻量化的GhostBottleNeck网络模块,从而减少模型的参数量;将原网络中的激活函数改进成SiLU函数,可提高模型检测的准确率,增强模型的鲁棒性;对改进的模型以及原网络进行相关的测试,验证所修改方法的有效性以及实时性。实验结果表明,改进后的YOLOv5-GS算法提高了对不规范驾驶行为的检测精度,参数量降低20.75%,检测速度提升75%,极大地降低了所需的硬件成本,适用于在小型边缘设备上部署。关键词:不规范驾驶行
4、为检测;轻量化;注意力机制;YOLOv5;GhostBottleNeck文献标志码:A中图分类号:TP391doi:10.3778/j.issn.1002-8331.2211-0188Improved YOLOv5 Algorithm for Real-Time Detection of Irregular Driving BehaviorZOU Peng,YANG Kaijun,LIANG ChenSchool of Electrical and Control Engineering,Shaanxi University of Science&Technology,Xi an 710021
5、,ChinaAbstract:Aiming at the problems of existing irregular driving behavior detection algorithms,such as occupying toomuch memory,large amount of calculation,being difficult to deploy on edge devices and interfering with detection targetsin dim conditions,a lightweight irregular driving behavior re
6、al-time detection algorithm with improved YOLOv5 model isproposed.Firstly,the SE attention mechanism is introduced in the Backbone network of the YOLOv5 model,and thenthe CSP module of the Backbone network is replaced by a lightweight GhostBottleNeck network module,which tendsto reduce the number of
7、 model references.Next,the activation function in the original network is modified into SiLUfunction,which can improve the accuracy of model detection and enhance the robustness of the model.Finally,the improvedmodel and the original network are tested to verify the effectiveness and real-time perfo
8、rmance of the modified method.Experimental results show that the improved YOLOv5-GS algorithm can improve the detection accuracy of irregular drivingbehavior,the number of parameters is reduced by 20.75%,the detection speed is increased by 75%,and the required hard-ware cost is greatly reduced,which
9、 is suitable for deployment on small edge equipment.Key words:non-standard driving behavior detection;lightweight;attention mechanism;YOLOv5;GhostBottleNeck基金项目:国家自然科学基金(62003201);陕西省自然科学基金(2021JQ-527)。作者简介:邹鹏(1998),男,硕士研究生,CCF学生会员,研究方向为目标检测与人工智能;杨凯军(1986),通信作者,男,博士,副教授,研究方向为人工智能与物体识别;梁晨(1999),男,硕士研
10、究生,研究方向为人工智能。收稿日期:2022-11-14修回日期:2023-01-12文章编号:1002-8331(2023)13-0186-081862023,59(13)行识别。王丹8在车内外安装双重摄像头结合脸部以及手部特征运用SVM算法来判断驾驶员的驾驶行为。文献9利用Faster R-CNN10来分析检测驾驶员手的放置部分以及面部的图像进行驾驶行为的识别。文献11通过监督下降法来定位驾驶员脸部的特征来判断其是否有不规范驾驶行为。文献12通过研究对眼部目光的相关监测,来判断驾驶员的驾驶行为。在不规范驾驶行为的检测领域,YOLO13-16算法因其出色的性能而备受关注,其中YOLOv5算法
11、的性能最佳,检测效果最好,适合在实际工程中进行使用。目前,很多学者以及相关交通检测领域的专家对YOLO算法进行改进以及创新,并将其应用到智能交通检测识别领域。由于机动车驾驶的特殊性,司机的驾驶行为不适合用人力进行实时检测,而嵌入式设备进行实时检测可有效解决该问题。但是边缘设备算力较小,需要将算法进行轻量化处理。文献17将CBAM18注意力机制的方法引入到YOLOv4算法中,大大提升了目标车辆检测的准确率。文献19将YOLOv5算法轻量化,并将其部署至嵌入式设备树莓派中进行智慧交通信号灯的实时监测,为智能交通领域提供了一种新的设计思路。文献20提出TL-YOLOv5s的网络用于小目标的交通信号灯
12、的识别与检测。文献21提出一种基于改进 YOLOv5算法的多层特征融合算法 M-YOLO 用于自动驾驶下的目标识别。文献22将YOLO算法与极限学习机结合起来进行驾驶员安全带的检测。文献23提出 Deep-YOLOv4-tiny轻量化算法,将算法的相关计算参数进行降低,大大提升其检测速度,并将其应用在交通标志的检测方面。上述方法虽对YOLO算法进行了一些改进与优化,但是模型的参数量以及相关计算量仍然比较大,且轻量化后的算法检测准确率会有不同程度的降低,故针对现有技术的不足,本文提出一种轻量级不规范驾驶行为检测算法 YOLOv5-GS,选用 GhostBottleNeck24模块替换YOLOv5
13、s基准主干网络的CSP1_X模块,大幅度减少模型的参数量,降低模型的大小;其次,为了提高模型的检测准确率,修改原 YOLOv5 的激活函数,用 SiLU 替代Leaky ReLU;在模型保持轻量化以及较高准确率的同时,为了抑制无关或关联较小的特征信息,将 SENet25的SE注意力机制26模块加入到网络的Backbone末端,加强对不规范驾驶行为的关注。通过实验验证了YOLOv5-GS模型的有效性,提高了对不规范驾驶行为的检测精度,大大降低了参数量,满足在小型边缘设备上的部署。1YOLOv5网络模型YOLOv5算法是一种检测速度、准确率都很高的不规范驾驶行为检测算法,其一共分为4种网络深度大小
14、不一的版本,分别为 YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x,由于检测不规范驾驶行为的方法要求实时检测的速度快,延时小,故选择检测速度最快的YOLOv5s27模型。网络一共由4个部分组成,分别为输入部分(input)、基准主干网络(backbone)、颈部网络(neck)、检测推理部分(prediction)。1.1Input网络的输入端运用了 Mosaic数据增强、自适应锚框计算以及自适应图片缩放,将输入的图像大小转化为6406403的张量输入到基准网络中,有效的增加了小目标检测的准确性,提升了检测的速度。1.2Backbone基准主干网络由 Focus、CSP、SPP
15、28结构模块所构成。Focus结构模块减少了卷积,增加了通道维数;CSP模块有两种结构,CSP1_X应用于backbone,具有残差组件,而 CSP2_X应用于 neck网络;SPP模块采用最大池化的方式,进行多尺度信息特征的融合,极大地提高了信息的采集程度。1.3Neck颈部网络中包含 FPN+PAN29-30结构,在接受来自Backbone网络的下采样测试图像后,FPN层通过上采样的方式自顶向下传达语义信息,对整个金字塔结构进行了增强,同时PAN层又通过下采样由下而上传递目标的定位信息,进行检测目标的多尺度融合,提升目标特征的多样性以及鲁棒性;CSP2_X结构替代了原YOLOv4中的CBL
16、模块,加强了网络的特征融合能力。1.4Prediction网络输出推理端采用CIOU31作为Bounding box的损失函数,采用非极大值抑制(NMS)对检测的目标框进行筛选,增强对目标的检测能力。2改进后的YOLOv5-GS网络模型YOLOv5算法对在光线弱以及相关驾驶行为较为相似的情况下,检测准确度会降低且会出现难以检测的问题,如若副驾驶或者车后排也坐乘客会导致对乘客的误检,从而对检测进行干扰。图片一些背景信息,例如窗外的行人以及一些其他目标当作司机所检测出来,因此造成了检测的准确率以及速度降低。本文将SENet中的SE注意力机制模块引入YOLOv5s网络的Backbone的末端,改变通
17、道的注意力,抑制无关的信息,突出有用的特征,使无效或效果较小的特征占比大大降低,从而提升模型检测的准确率;并且用文献24中所提出的GhostBottleNeck网络替换基准网路中的CSP1_X模块,使检测模型的更加轻量化,从而来提取更多的细节信息,提高模型检测的精度以及速度。改进后的YOLOv5-GS的网络结构模型如图1所示。邹鹏,等:改进YOLOv5的轻量级不规范驾驶行为实时检测187Computer Engineering and Applications计算机工程与应用2023,59(13)2.1轻量化网络模块Ghost以及GhostBottle NeckGhost轻量化模块是由华为诺亚
18、方舟实验室所提出的GhostNet网络的主要模块,其主要分为三个步骤:卷积部分、Ghost特征生成和特征部分拼接。首先使用常规卷积得到特征映射。然后对每个通道的固有特征映射进行运算,生成Ghost特征映射,运算类似于33卷积。最后,将第一步获得的内部特征映射和第二步获得的Ghost特征映射连接起来,以获得最终的结果输出。其模块图例如图2所示。假设输入特征的尺寸为HW,其通道数为C,输出特征的尺寸为HW,卷积核的大小为kk,数量为n,则该卷积过程中的数据量为nHWCkk。对于Ghost模块,其第一部分的卷积过程假设会生成m个特征图,且该过程均为一次卷积生成,为了补全剩余的特征图,对输出的每一个特
19、征进行线性变换,即如式(1)所示:yij=ij()yi,i=1,2,m;j=1,2,s(1)式中yi表示第i个输入特征图,经过运算得到第i个输出特征图yij,即可得到n个 Ghost模块的输出特征图,且n=ms,从图2中可以得到在运算上,计算量小于普通的卷积。Ghost 模块具有 1 个卷积和m()s-1个运算。对普通卷积以及Ghost模块的运算量进行参数的计算量之比如式(2)所示:nHWCkkmHWCkk+()s-1 HWkk=nHWCkknsHWCkk+()s-1 HWkk=Ckk1sCkk+()s-1skksCs+C-1s(2)故由式(2)可得普通卷积的计算量约是 Ghost 模块计算量
20、的s倍,则经过Ghost模块运算可以大大减小其计算量。GhostBottleNeck 是由 2 个 Ghost 模块所堆叠而成的,第1个Ghost模块被用于通道扩展,增加通道数,第2个Ghost模块进行减少通道数,且第2个Ghost后不使用图1YOLOv5-GS的网络结构模型Fig.1Network structure model of YOLOv5-GSFocusCBSCBSCBSCBSSPPGhostBottleneckCBSResizeCSP2_1CSP2_1CSP2_1CBSCSP2_1CONVCONVCONVCBS=CONVBNSiLUConcatConcatConcatConcat
21、ResizeCBSCBSCSP2_XCBSCBSCBSConcat=CBSResunitCBS CBSAdd=FocusConcatCBS=slicesliceslicesliceConcatCBS=MaxPoolMaxPoolMaxPoolSPPCBSGhostBottleneckGhostBottleneckGhostBottleneckSEPredictionNeckBackboneInput4040255202025580802556406403图2Ghost模块Fig.2Ghost moduleInputCONVOutputIdentity12k1882023,59(13)ReLU激
22、活函数,但其他层均应用BN与ReLU。其结构如图3所示。本 文 将 步 长 为 1 的 GhostBottleNeck 模 块 替 换YOLOv5基准主干网络的CSP1_X模块,在可以提取图片的有效特征同时,降低改进后的基准主干网络模型的大小,减少其参数量,从而提高不规范驾驶行为网络的检测速度。2.2SE注意力机制SE注意力机制模块的具体实现方式如图 4所示。首先对输入的特征图进行宽度W和高度H的全局平均池化,将一个通道的上整个空间特征编码为一个全局特征,使空间特征降到11,如式(3)所示:zc=Fsq()uc=1HWi=1Hj=1Wuc()i,j,zRC(3)再用两个全连接层和非线性激活层对
23、所得到的全局特征建立通道间的连接,如式(4)所示:s=Fex()z,W=()g()z,W=()W2ReLU()W1z(4)其中W1RCrC,W2RCCr。这里采用2个FC层的结构,第1个FC层用来降低维度,用来降维的系数r是超参数,之后用ReLU激活函数进行激活,第2个FC层将降维后的维度恢复到初始的维度。最后将学习到各通道的Sigmoid激活函数进行归一化,并且乘以原始特征,如式(5)所示:x?c=Fsacle()uc,sc=scuc(5)整个SE注意力机制的操作可看成学习各通道的权重,使得有效的特征占比更大,在不规范驾驶检测的行为中,存在一些副驾驶或者后排的乘客会使检测过程中存在干扰的误差
24、,通过该注意力机制的强特征提取,使模型对各个通道具有很强的辨别能力。因YOLOv5网络主要在backbone网络部分进行特征的提取,故将 SE 注意力机制模块加入到改进后的backbone 网络的末端,即 backbone 网络与 neck 网络的二者连接部分,具体如图1所示。加入SE注意力机制可以提高模型检测的准确率,同时可以提取到连接通道上更多的特征。2.3修改YOLOv5的激活函数原始的YOLOv5中的激活函数为Leaky ReLU,现将其进行替换为 SiLU(sigmoid-weighted linear unit),与卷积层以及一个批量归一化层组成一个CBS模块,具体如图1所示。其中
25、SiLU激活函数的表达式如式(6)所示:SiLU()x=xsigmoid()x(6)通过实验对比可发现,使用SiLU激活函数的总体准确率高于LeakyReLU。3实验与相关结果的分析为了验证不规范驾驶行为实时检测的原YOLOv5算法与改进后YOLOv5-GS算法之间的差别,以及相关算法的有效性和实时性,本次实验在不规范驾驶行为的公开数据集上,利用深度学习Pytorch框架进行改进后相关算法的训练以及测试推理。3.1不规范驾驶行为的数据集不规范驾驶行为的数据集大多都集中在一些有限的干扰因素上,其中很多都不公开。2016年8月2日,State Farm 保 险 公 司 在 Kaggle 上 举 办
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 改进 YOLOv5 轻量级 规范 驾驶 行为 实时 检测 邹鹏
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。