融合迁移学习与YOLOv5的安全帽佩戴检测算法.pdf
《融合迁移学习与YOLOv5的安全帽佩戴检测算法.pdf》由会员分享,可在线阅读,更多相关《融合迁移学习与YOLOv5的安全帽佩戴检测算法.pdf(10页珍藏版)》请在咨信网上搜索。
1、doi:10.12052/gdutxb.220139融合迁移学习与YOLOv5的安全帽佩戴检测算法曹智雄1,吴晓鸰1,骆晓伟2,凌捷1(1.广东工业大学计算机学院,广东广州510006;2.香港城市大学建筑及土木系,香港999077)摘要:针对现有安全帽佩戴检测算法在检测小目标和密集目标时出现漏检、检测准确度低下等问题,本文提出一种基于改进YOLOv5和迁移学习的安全帽佩戴检测新方法。使用K-means算法聚类出更适合检测任务的先验框尺寸以解决默认先验框不适应任务的问题;在特征提取网络后段引入空间通道混合注意力模块,使模型加强对目标权重的学习,抑制无关背景的权重;改进YOLOv5后处理阶段的非
2、极大值抑制(Non-Maximum-Suppression,NMS)算法的判断度量,减少预测框误删和缺失的现象;采用迁移学习的策略对网络进行训练,克服现有数据集不足的缺陷并提升模型泛化能力;最后提出一种适用于视觉传感网络的安全帽佩戴级联判断框架。实验结果表明改进模型的平均准确率(IOU=0.5)达到了93.6%,与原始模型相比提高了5%,性能优于其他同类算法,提高了施工场景下对安全帽佩戴检测的准确率。关键词:安全帽佩戴检测;YOLOv5;迁移学习;注意力机制;视觉传感器网络中图分类号:TP391.41文献标志码:A文章编号:10077162(2023)04006710Helmet Wearin
3、g Detection Algorithm Intergrating Transfer Learningand YOLOv5CaoZhi-xiong1,WuXiao-ling1,LuoXiao-wei2,LingJie1(1.SchoolofComputerScienceandTechnology,GuangdongUniversityofTechnology,Guangzhou510006,China;2.DepartmentofArchitectureandCivilEngineering,CityUniversityofHongKong,HongKong999077,China)Abst
4、ract:Toaddresstheproblemsofmissingdetectionandlowdetectionaccuracyoftheexistinghelmetwearingdetectionalgorithmsforsmallandcrowdedtargetsdetection,thispaperproposesahelmetwearingdetectionmethodbasedonimprovedYOLOv5andtransferlearning.First,differentfromthedefaultprioriframethatisnotsuitableforthetask
5、,weusetheK-meansalgorithmtoclusterthesuitableprioriframesizeforthedetectiontask.Then,inthebackofthefeatureextractionnetwork,weintroduceaspatialchannelmixedattentionmoduletostrengthenthelearningofrelevantweightsandsuppresstheweightsofirrelevantbackgrounds,respectively.Further,weimprovethejudgmentmetr
6、icofthenon-maximum-suppression(NMS)algorithminthepost-processingstageofYOLOv5toreducethephenomenonoffalsedeletionandmissingofpredictionboxes.Afterthat,theproposednetworkistrainedbasedonthestrategyoftransferlearning,whichcanovercomethescarcityoflimitedexistingdatasetsandimprovethegeneralizationabilit
7、yofthemodel.Finally,webuildacascadejudgmentframeworkforhelmetwearingdeployedinvisualsensornetworks.Theexperimentalresultsshowthatourproposedmethodimprovestheaverageaccuracy(IOU=0.5)to93.6%,whichis5%higherthantheoriginalmodelinthehelmetwearingdataset.Theproposedmodelalsooutperformsotherstate-of-the-a
8、rtalgorithmsbyobviouslyimprovingtheaccuracyofhelmetwearingdetectionintheconstructionscenarios.Key words:helmetwearingdetection;YOLOv5;transferlearning;attentionmodule;visualsensornetwork在建筑施工的过程中,施工人员的人身安全饱受不同类型的意外事件的侵害。例如,高处坠落、物体打击、坍塌、起重伤害、其他伤害等。据统计,我国建筑行业发生的安全事故中有约60%的伤亡者没有第40卷第4期广东工业大学学报Vol.40No.
9、42023年7月Journal of Guangdong University of TechnologyJuly2023收稿日期:2022-09-13基金项目:教育部重点实验室开放课题(2021-1EQBD-02);广东省国际科技合作领域项目(2019A050513010)作者简介:曹智雄(1997),男,硕士研究生,主要研究方向为智慧城市、图像处理与模式识别通信作者:吴晓鸰(1979),女,副教授,博士,主要研究方向为物联网、网络安全,E-mail:正确佩戴安全帽。安全帽对于高空坠物等伤害可以起到关键的缓冲作用,降低事故的伤亡和损失。因此,监督工人正确佩戴安全帽已经成为实现安全生产施工的必
10、要措施1。目前对于安全帽佩戴的检测主要依靠施工现场管理人员的监督,这种靠人力监管的方式由于施工场所的不确定性和复杂性变得繁琐而耗时,拉长了工地的生产周期2。在建筑领域,利用机器学习和深度学习等技术可以提升施工过程的自动化程度。其中,基于深度学习的目标检测算法是解决安全帽佩戴情况检测问题的主流做法。目标检测算法可以分为双阶段法(two-stage)和单阶段法(one-stage)。双阶段算法在检测时先对候选区域进行预处理提议,然后对提议的区域进行分类和回归并输出分类结果。经典的双阶段算法有R-CNN3和FasterR-CNN4算法等。Redmon等在前者的基础上提出了YOLOv15算法,使用单个
11、卷积网络一次性完成特征提取和候选框预测,相较于FasterR-CNN检测速度有了大幅提升。后续的YOLOv26、YOLOv37算法,增加了预测框的数量,并缓解了中小目标和超大目标丢失的问题。Bochkovskiy等8借鉴跨阶段局部网络(CrossStagePartialNetwork,CSPNet)改进了主干网络和颈部的特征金字塔(FeaturePyramidNetworks,FPN)结构,构建出YOLOv4算法。单阶段目标检算法检测速度更快,适合部署在施工相关的场景中,被许多学者用于安全帽佩戴检测研究。林俊等9在安全帽检测中引入YOLOv1算法,检测结果实时性较好,但识别性能较差。方明等10
12、利用密集块加强了多层特征的融合和语义信息,缓解了YOLOv2模型在识别远距离小目标时准确率低的问题。Cheng等11通过在YOLOv3算法中引入深度可分卷积和残差块,并改进了SPP模块,减少了模型的参数量并提升了特征提取能力和回归精度。Chen等12为了改善小目标检测的效果,基于YOLOv4引入群卷积和CSP结构,提高模型特征聚合能力并降低冗余量。以上方法虽然提升了算法性能,但依然存在以下弊端:单阶段算法的泛化能力较弱,只适用于通用场景,对于远距离小目标与密集目标仍然有较高的漏检率与错检率,同时无法获取更多的上下文信息;安全帽检测领域目前存在的数据集质量不高,数据量不大,直接用于训练容易使模型
13、出现过拟合问题,难以直接运用于真实场景中;在施工实际部署时,多个角度的视觉传感器节点获得的同一目标的检测信息没有得到充分利用。基于此,本文在YOLOv5算法的基础上使用K-means聚类算法先验地得到更合适于安全帽检测的初始候选框数据;加入空间通道混合注意力模块,强化模型对感兴趣区域的捕捉,并对比不同的添加方式和模块组合方式对检测结果的影响;改进YOLOv5后处理阶段算法,使用DIOU_nms解决普通非极大值抑制(Non-MaximumSuppression,NMS)算法在目标重叠度过高时丢失预测框的问题;引入迁移学习的思想对YOLOv5进行训练,降低训练成本,增强模型提取特征能力,减少过拟合
14、现象,进一步提升了模型在通用场景的检测性能,而且改善了模型在密集目标以及小目标场景下的检测效果。最后,探讨本文模型部署在多个方向的视觉传感器节点上时如何利用级联网络更高效利用特征信息的问题。1 算法设计 1.1 先验框模块YOLOv5算法使用锚框(Anchor)机制来辅助目标框坐标的预测,针对不同数据集,都会有初始设定长宽的先验锚框。在模型训练时和真实框(GroundTruth,GT)进行对比,通过两者的差距反向迭代网络参数。因此,一个更贴合数据集的锚框能够节省模型训练时间,提升模型检测效果。YOLOv5算法中的先验框通过K-means聚类算法在COCO(CommonObjectsinCont
15、ext)数据集上计算得出,但由于COCO数据集一共有80个类别,在本文场景下,这组先验框并不能完全适用于安全帽佩戴检测,需要重新使用K-means聚类算法分析得到新的先验框。本文选取K=9,计算得到新的先验锚框,输入640640图片时结果如表1所示。其中,特征图尺度表示模型预测网络检测头最终获得的用于判别的特征图尺寸,先验框尺寸为不同预测分支初次回归时默认的锚框数值。表1聚类后先验框分布Table1Distributionofprioriboxafterclustering特征图尺度先验框尺寸锚框(小)锚框(中)锚框(大)808024,2434,4046,60404066,7382,95150
16、,1662020112,129185,216335,395 1.2 注意力模块随着深度学习的发展,在目标检测中引入注意力机制被证实可以提高模型的识别能力13。注意力机制可以通过额外权重让卷积层更聚焦关键位置,产生的特征会更有分辨性,使网络能够获取更多的68广东工业大学学报第40卷上下文信息。本文对YOLOv5模型采用空间通道混合注意力机制(ConvolutionalBlockAttentionModule,CBAM)进行改进,该注意力机制分为2个部分14:空间注意力模块(SpatialAttentionModule,SAM)和通道注意力模块(ChannelAttentionModule,CAM
17、),通过对2个模块的组合使用可以将神经网络特征图中的安全帽特征分配较高的权重,抑制无关的背景特征权重,从而提高YOLOv5神经网络对安全帽的关注度,改善检测任务中安全帽因为密集、遮挡、光线暗淡等场景因素识别率较低的问题。YOLOv5在进行特征提取时,卷积层负责计算所有特征图邻近位置的特征信息,通道信息通常可以反映图像间特征的映射关系,普通卷积层并不会考虑通道信息所隐含的相关映射性。因此,可以通过对模型加入通道注意力机制,对通道路径进行打分和筛选。为实现选择通道的功能,本文采用上述所提及的通道注意力模块15,其结构如图1所示。该模块的部署方式为即插即用,加在卷积模块之后。CHW最大池化层平均池化
18、层sigmoidF全连接层ReLu 激活多层感知机全连接层FavgFmaxMc图1通道注意力模块结构图Fig.1StructurediagramofthechannelattentionmoduleF RCHWRFcmaxFcavgMc RC11通道注意力模块分为3个部分:并行池化层、多层感知机和激活函数。模型送入一张特征图,为特征图集合,并行地经过全局平均池化和全局最大池化,得到2个均为C11的带有上下文信息的池化特征图和。这两张特征图通过一个2层大小的多层感知机(MultilayerPerceptron,MLP),其中第1层的神经元个数为C/r,激活函数为Relu,第2层的神经元个数为C。
19、得到的结果特征图经过逐元素(Element-wise)加和操作后送入激励函数sigmoid进行激活操作,最后得到通道注意力特征,其定义如式(1)所示。Mc(F)=(W1(W0(Fcavg)+W1(W0(Fcmax)(1)McFF式中:为sigmod函数,W0跟随在激活函数RELU后,W0和W1为MLP对2张特征图的共享权重。最后,将和最初送入的特征 做逐元素乘法操作得到用于打分的特征。通过上述通道注意力模块,在不过多增加参数的情况下,网络学习到了丰富的上下文信息,抑制了非小目标的通道间权重,改善了模型检测远距离小目标的性能。相比通道注意力机制,空间注意力机制主要用于解决待识别目标大致方位的问题
20、,并对通道注意力进行补充,可以使模型的识别能力进一步提升。本文在通道注意力模块后串行1个空间注意力模块16,即空间注意力的输入部分来自通道注意力的输出。空间注意力机制的结构如图2所示。McFFFsavg R1HWFsmax R1HWMsF空间注意力模块的输入为通道注意力的输出与最初输入的特征 做逐元素相乘得到的,首先做1个基于通道轴的全局平均池化和全局最大池化操作,得到2个池化特征和,将这2个特征图基于通道轴做张量拼接(concat)操作。然后将得到的2D特征经过一个77大小的卷积,降维为一个通道。再将得到的特征图送入sigmoid生成空间注意力特征。同样地,得到的空间通道特征也要和特征进行逐
21、元素相乘。空间注意力模块的定义如式(2)所示。Ms(F)=(f77(Fsavg;Fsmax)(2)第4期曹智雄,等:融合迁移学习与YOLOv5的安全帽佩戴检测算法69CHW平均池化层最大池化层维度拼接sigmoidF降维卷积FmaxFavgMs图2空间注意力模块结构图Fig.2Structurediagramofthespartialattentionmodulef77式中:为sigmoid激活函数,为滤波器大小为77的卷积运算。则整个空间通道注意力机制可由式(3)表示。F=Mc(F)F,F=Ms(F)F(3)通道注意力模块CAM和空间注意力模块SAM可以以并行或串行顺序的方式组合在一起,共有
22、3种方案可供选择。文献14指出以先通道后空间的串行部署能够取得最好的效果,本文选择在网络模型中采用同样的部署方式。CBAM模块可以引入在颈部网络末端的C3模块后,也可以引入在主干网络中SPPF模块与邻近C3模块之间。分别在原始YOLOv5网络中加入这2种改进并进行实验,具体性能对比见下文消融实验部分。其中主干+CBAM在主干网络中引入,颈部+CBAM在颈部网络中引入。实验数据表明,在主干网络加入CBAM模块,精确度(Precision,P)获得了更大的提升,比原始模型提高了0.9%,与在颈部引入相比提升了0.2%,但召回率(Recall,R)和平均精确率(meanAveragePrecisio
23、n,mAP)比在颈部引入降低了0.4%和0.3%。经过综合对比,本文选择在YOLOv5颈部网络引入CBAM模块,用于提升模型检测小目标的性能。1.3 后处理模块目标检测模型在输出推理结果之后通常要进行后处理,通过和GT框的对比进行打分,优选分数最高的目标框,筛除重复的目标框。在后处理阶段,YOLOv5模型使用NMS算法,只要冗余的预测框和分数最高的预测框的交并比(IntersectionOverUnion,IOU)超过预设的阈值,就将该冗余框移除,迭代以上过程后就可以达到去除冗余框的效果。IOU的定义如式(4)所示。IOU(M,B)=|MB|MB|(4)式中:M为最优预测框,B为待重新打分的预
24、测框,即IOU为2个预测框交集与并集的比例。以IOU为基础的损失函数可以表示为式(5)。IOU_Loss=1IOU(5)在最原始的NMS算法中,使用IOU作为抑制冗余检测框的度量。然而IOU设计时只考虑到了重叠区域的因素,算法经常在密集目标检测的过程中产生对遮挡情况的错误筛选,即对于属于同一类的不同目标的预测框将只会保留置信度最高的一个,出现误删除现象。为了解决IOU存在的不足,有研究提出DIOU17,在考虑重叠区域之外,额外考量框间中心点距离,当对比的2个框存在包含关系时,DIOU_Loss仍可以进行高速回归,损失函数的定义如式(6)所示。DIOU_Loss=1DIOU=1IOU(D2)2(
25、Dc)2(6)DcD2RDIOU(M,Bi)Bi式中:为2个预测框最小外接矩形的对角线长度,为2个预测框中心点的欧氏距离。两者平方后相除结果可定义为DIOU惩罚项。鉴于DIOU相较于IOU的性能更加优秀,本文使用DIOU作为NMS算法的新度量,以此提升模型在密集目标检测时的性能。基于得分最高的预测框M,每个待后处理的预测框 的置信度用式(7)更新。si=si,IOURDIOU(M,Bi)0,IOURDIOU(M,Bi)(7)si式中:为预测框置信度,为预设阈值。70广东工业大学学报第40卷 1.4 迁移学习迁移学习是一种在机器学习领域广泛运用的方法。具体在目标检测任务中,就是使用一个经过大型数
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 融合 迁移 学习 YOLOv5 安全帽 佩戴 检测 算法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。