基于改进YOLOv5的煤矿井下目标检测研究.pdf
《基于改进YOLOv5的煤矿井下目标检测研究.pdf》由会员分享,可在线阅读,更多相关《基于改进YOLOv5的煤矿井下目标检测研究.pdf(8页珍藏版)》请在咨信网上搜索。
1、基于改进YOLOv5的煤矿井下目标检测研究寇发荣*肖伟何海洋陈若晨(西安科技大学机械工程学院西安710054)摘要:针对煤矿井下环境多利用红外相机感知周边环境温度成像,但形成的图像存在纹理信息少、噪声多、图像模糊等问题,该文提出一种可用于煤矿井下实时检测的多尺度卷积神经网络(Ucm-YOLOv5)。该网络是在YOLOv5的基础上进行改进,首先使用PP-LCNet作为主干网络,用于加强CPU端的推理速度;其次取消Focus模块,使用shuffle_block模块替代C3模块,在去除冗余操作的同时减少了计算量;最后优化Anchor同时引入H-swish作为激活函数。实验结果表明,Ucm-YOLOv
2、5比YOLOv5的模型参数量减少了41%,模型缩小了86%,该算法在煤矿井下具有更高的检测精度,同时在CPU端的检测速度达到实时检测标准,满足煤矿井下目标检测的工作要求。关键词:煤矿井下目标检测;深度学习;YOLOv5中图分类号:TN911.73;TP391文献标识码:A文章编号:1009-5896(2023)07-2642-08DOI:10.11999/JEIT220725Research on Target Detection in Underground Coal MinesBased on Improved YOLOv5KOUFarongXIAOWeiHEHaiyangCHENRuoc
3、hen(College of Mechanical Engineering,Xian University of Science and Technology,Xian 710054,China)Abstract:Inviewoftheundergroundcoalmineenvironment,whichusesmostlyinfraredcamerastosensethesurroundingenvironmentstemperature,theimagesformedhavetheproblemsoflesstextureinformation,morenoise,andblurredi
4、mages.ThedetectionofUndergroundtargetsincoalminesusingYOLOv5(Ucm-YOLOv5),aneuralnetworkforreal-timedetectionofcoalmines,issuggestedinthisdocument.ThisnetworkisanimprovementonYOLOv5.Firstly,PP-LCNetisusedasthebackbonenetworkforenhancingtheinferencespeedontheCPUside.Secondly,theFocusmoduleiseliminated
5、,andtheshuffle_blockmoduleisusedtoreplacetheC3moduleinYOLOv5,whichreducesthecomputationwhileremovingredundantoperations.Finally,theAnchorisoptimizedwhileintroducingH-swishastheactivationfunction.TheexperimentalresultsshowthatUcm-YOLOv5has41%fewermodelparametersandan86%smallermodelthanYOLOv5.Thealgor
6、ithmhashigherdetectionaccuracyinundergroundcoalmines,whilethedetectionspeedattheCPUsidereachesthereal-timedetectionstandard,whichmeetstheworkingrequirementsfortargetdetectioninundergroundcoalmines.Key words:Coalmineundergroundtargetdetection;Deeplearning;YOLOv51 引言目前我国煤矿开采正由综合机械化开采向智能化开采过渡,煤炭智能化理论体系
7、逐步形成1,2。Zhang等人2提出智能化煤矿系统架构,认为高速高可靠的通信内容是煤炭智能化的关键。井下目标检测作为煤矿智能化高速通信与信息获取的基础环节,主要任务以人员检测为主,机器设备为次要。大部分煤矿需要深部开采,全天使用人工光源,且有粉尘等因素的影响,因此井下的视频图像具有环境昏暗、地理环境复杂、曝光不均、细节模糊、缺乏色彩特征的特点。在煤矿井下开采活动中,采矿工人进入煤矿后,人员的实际位置、工作情况等不能及时传到控制室,因此井下作业有很大的危险性。人员、设备的安全有效管理对煤矿的安全生产,以及事故发生后的人员救援具有十分重要的意义。收稿日期:2022-06-02;改回日期:2022-
8、11-14;网络出版:2022-11-19*通信作者:寇发荣基金项目:国家自然科学基金(51775426),陕西省科技计划(2019JQ-795)FoundationItems:TheNationalNaturalScienceFoundationofChina(51775426),ShaanxiProvinceScienceandTechnologyPro-gramProject(2019JQ-795)第45卷第7期电子与信息学报Vol.45No.72023年7月JournalofElectronics&InformationTechnologyJul.2023基于红外成像的机器视觉可用于煤
9、矿井下的目标检测。文献3,4利用红外技术来实现井下人员的检测,这种利用单个红外探测器的检测技术可以实现井下人数的统计,但在多人并行或工人走动混乱时难以真正检测与计数。近些年来,深度学习和计算机视觉得到了快速发展,其相关技术已在多个领域被广泛使用57。Li等人8利用YOLOv4处理红外图像进行煤矿井下的人员检测,将迁移学习的策略应用于YOLOv4的训练,加强了网络的泛化能力,提高了YOLOv4的检测性能。但YOLOv4网络计算量与模型参数量庞大,加上超分辨率卷积神经网络对红外图像进行预处理,进一步加大了网络计算量,使得井下硬件设施无法提供充足的计算量。Jiang等人9提出一种尺度不变特征变换和均
10、值偏移的改进算法,利用特征提取的尺度不变化,建立了特征目标检测与跟踪模型。但这种模型在移动物体时会导致前景与背景混淆,分辨率降低。Du等人10提出一种基于Retinex理论和小波多尺度的边缘检测算法,利用低光度矿井图像获得边缘图像,能够为矿用机器人提供环境信息,该方法虽具有实时性,但稳定性差,容易被外部振动干扰,可靠性低。Qiu等人11通过改进YOLOv5的网络结构、增加注意力机制、数据增强等方法用来改善探地雷达误检率高的问题。但探地雷达的图像判读很大程度上依赖于研究人员的工作经验,无法解决检测效率低的问题。上述方法专注于改进特征提取网络,适应井下图像特点,得到高精度的检测效果。但除了图像上的
11、难点,煤矿井下易燃易爆的环境特点,对电子产品提出了严苛的要求与限制,比如计算机功率、内存大小等。基于深度学习的目标检测器大多数对计算机性能有极高的要求,这是限制其广泛运用的重要原因。因此在没有高性能GPU的支持下,使深度学习目标检测器在煤矿井下有效、高效发挥是重点问题。针对上述问题,本文基于YOLOv5,提出一种可用于煤矿井下实时检测的模型Ucm-YOLOv5(ThedetectionofUndergroundtargetsincoalminesusingYOLOv5,Ucm-YOLOv5)。使用PP-LCNet12作为YOLOv5的主干网络,用于加强CPU端的推理速度;取消Focus模块,使
12、用shuffle_block模块替代YOLOv5中的C3模块;优化Anchor同时引入H-swish作为激活函数。在保证模型精度和推理延迟几乎保证不变的前提下,使得检测网络变得轻量化,参数量极大地减少。满足煤矿井下目标检测的工作需求,具有实际工程意义。2 煤矿井下目标检测模型2.1 YOLOv5目标检测模型目前R-CNN(RegionwithCNNfeatures)13、SSD(SingleShotDetection)14、YOLO(YouOnlyLookOnce)1518等目标检测模型常被用于各行各业,与R-CNN和SSD模型相比较,YOLOv5利用自适应锚框计算和多语义融合检测机制,能使丰
13、富的高层语义信息与低层级的位置信息快速有效融合,从而实现目标的快速检测。YOLOv5能一次性完成目标定位与目标分类两个任务。主要由输入端、主干网、多尺度特征融合网络和检测头组成。输入端使用Mosaic数据增强、自适应初始锚框计算、图片缩放等对图像预处理;其次使用CSPDarknet53作为主干网络,在主干网络中使用Focus下采样、CSP(CrossStagePartial)结构、SPP(SpatialPyramidPooling)池化金字塔结构提取图片的特征信息;多尺度特征融合网络主要采用FNP+PAN的特征金字塔结构,该结构对高层级特征图中丰富的语义信息以及低层级特征图中丰富的位置信息进行
14、有效融合,实现了不同尺寸目标特征信息的传递,可以提高网络的多尺度预测能力,CSP结构同时用于Neck网络中,最后送入YOLO检测头进行类别和位置的回归。2.2 基于改进YOLOv5的煤矿井下目标检测模型本研究通过对YOLOv5目标检测模型进行改进,提出一种可用于煤矿井下目标检测模型,Ucm-YOLOv5。主要改进工作如下:(1)使用轻量级网络PP-LCNet作为YOLOv5的主干网络,同时剪除一些冗余操作,让整个网络轻量化。(2)优化Anchorboxes并改进其分配原则。(3)使用H-swish函数为YOLOv5的激活函数。2.2.1 Ucm-YOLOv5神经网络结构井下图像的特点是细节模糊
15、,缺乏色彩特征,曝光不均;此外由于煤矿井下特殊情况要求,没有高性能GPU,需要改进后的网络在CPU端也有优秀的检测性能。因此特征提取网络改进的主要思路是压缩特征提取网络深度,减少冗余操作,充分利用浅层卷积层的特征。浅层的卷积特征背景噪声小,对于井下非高清图像更适合提取低分辨率下的语义特征,对于井下图像具有更好的表征能力。因此在Ucm-YOLOv5神经网络中,以轻量级PP-LCNet为主干网络,去掉了Focus模块,使用shuffle_block模块代替YOLOv5中的C3模块。网络结构的改进主要包括以下3个方面:(1)使用PP-LCNet为主干网络。PP-LCNet是一种基于MKLDNN加速策
16、略下的轻量级CPU网第7期寇发荣等:基于改进YOLOv5的煤矿井下目标检测研究2643络,这是一款专门为CPU设计的网络,PP-LCNet在同样精度下,速度远超其他轻量级骨架网络。优秀的目标检测能力加上CPU端远超其他轻量级骨架网络检测速度让PP-LCNet契合在煤矿井下工作要求。PP-LCNet神经网络结构使用DepthSep-Conv作为基本块。该模块没有额外的连接和逐元素相加之类的操作,这些操作不仅会降低模型的推理速度,而且不会提高轻量级小模型的精度。(2)取消Focus结构。Ucm-YOLOv5网络中,取消了YOLOv5的Focus模块,Focus模块在YOLOv5中是进入backbo
17、ne前,对图片进行切片操作,使图片在下采样的过程中,不带来信息丢失。在不考虑偏置参数的情况下,相对比普通下采样,Focus操作的计算量和参数量是普通卷积的4倍,而将Focus换成普通卷积下采样并不会对模型结果产生大的影响,因此取消Focus结构。(3)使用shuffleblock模块代替YOLOv5中的C3模块。YOLOv5中的C3模块在增强整个卷积神经网络学习性能的同时减少了计算量。但相同顺序的数据会让网络模型过拟合或欠拟合,这对于数据量小的自制数据集会有较大影响,shuffleblock模块可以随机打乱数据,让每一轮训练数据投入顺序不同,增加了随机性,提高了网络的泛化能力,可以避免数据有规
18、律地重复出现,避免了最终模型过拟合或欠拟合。网络改进后共21个残差层,比原YOLOv5网络少了3层,达到了压缩网络深度的目的。其中在14,17,20层上生成目标检测框。Ucm-YOLOv5神经网络结构如图1所示。2.2.2 优化Anchor不同尺寸的特征对不同的Anchorboxes有不同的敏感程度,因此需要优化Anchorboxes,让优化后的Anchorboxes的尺寸范围适合新的数据集。与YOLOv5相同,通过K-means聚类算法确定Anchor个数,并生成新的Anchor尺寸。依据YOLOv5的Anchor个数,依旧指定质心数为9,即采用9个Anchor,通过K-means聚类算法得
19、到相应的尺寸。Anchors参数里面共9个数值,一共3行6列,每一行的先后顺序可以打乱,不代表任何意义。Anchor由宽高组成,用的是原图的像素尺寸,表示数据样本中样本的大概形状,同时聚类生成3组尺度,每组尺度有3种长宽比分别为:1:1,1:2,2:1,共9个Anchor。表1是原始Anchor参数和重构Anchor参数。2.2.3 YOLOv5激活函数优化激活函数的好坏往往决定着网络的性能,激活函数帮助网络学习数据中的复杂模式。引入激活函数的同时也会给神经元引入非线性因素,使得神经网络可以逼近其他任何非线性函数,这可以使神经网络运用到众多的非线性模型中。当EfficientNet19使用Sw
20、ish激活函数表现出更好的性能后,Mobile-NetV320网络将其升级为H-swish,从而避免了大量的指数运算。因此本文将主干网络中的激活函数图1Ucm-YOLOv5神经网络结构图2644电子与信息学报第45卷从ReLU替换为H-swish。可减少大量的指数运算,性能有了很大提高,而推理时间几乎没有改变。H-swish激活函数表达式和sigmoid激活函数的表达式如式(1)、式(2)所示f(x)=x sigmoid(x)(1)sigmoid(x)=11+ex(2)但是由于sigmoid函数计算复杂,于是改用近似函数来逼近Swish,选用ReLU6作为近似函数。主要有两个原因:(1)在几乎
21、所有的软件和硬件框架上都可以使用ReLU6的优化实现;(2)ReLU6能在特定模式下消除近似sigmoid的不同实现而带来的潜在的数值精度损失。H-swish函数的表达式如式(3)、式(4)所示H swish(x)=xReLU6(x+3)6(3)ReLU6(x)=min(max(0,x),6)(4)3 实验设计实验采用PyTorch深度学习框架,计算机配置为IntelCorei5-8300HCPU,2.30GHz,16GByte内存,显卡为GeForceGTX1050Ti,操作系统为Windows10,CUDA为10.1版本,CUDNN神经网络加速库版本为7.6.5。网络训练采用的动量项为0.
22、9的异步随机梯度下降,权值的初始学习效率为0.001,衰减系数设置为0.000 5。batch-size=16,共701批次,进行1 400次迭代。本文实验使用的数据集为自制的煤矿井下数据集,数据来源于某煤业井下监控视频,数据共2 336幅图像。数据集图像主要包括8个类别,包括人(Person)、轨道(Rail)、提示牌(Tipcards)、车(Truck)、机器(Machine)、管道(Pipe)、灯(Lamp)和支撑柱(Columns)共8 689个标签。本文中采用平移、水平翻转、椒盐噪声、高斯噪声和亮度增强等方式增强扩充数据集,部分图像合成结果如图2所示。经过上述数据增强处理将2 336
23、张图片扩充至14 016张,按照8:1:1的比例随机划分为训练集、验证集和测试集,各数据集中分别有11 213张、1 402张和1 401张图像。实验过程中保证训练集和测试集相互独立。扩充后训练集11 213张图像中各类别标签数如表2所示。4 实验结果与分析4.1 评价指标本文采用查准率(Precision,P)、平均精确率(AveragePrecision,AP)和所有类别AP值的平均值(meanAveragePrecision,mAP)来评估模型的性能。各指标计算公式为P=TPTP+FP 100%(5)AP=nPn(6)mAP=Ni=1APN(7)TPFPFNnN其中,是真正例,是假真例,
24、是模型所漏检的个数,是样本总数,是类别数。以召回率为横轴,查准率为纵轴,可以得到一条曲线,在该曲线下的面积即为AP值。4.2 实验1:井下目标检测效果对比实验实验1分为两个阶段,第1阶段将改进后的Ucm-YOLOv5网络与原YOLOv5网络进行对比,分析两种网络的检测性能。第2阶段,为更直观验证本文算法的有效性与先进性,考虑不同网络在不表 1 Anchor参数原始Anchor重构Anchor10,13,16,30,55,22030,61,62,45,59,119116,90,156,198,373,32630,27,53,78,172,35128,115,90,225,101,327222,1
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 改进 YOLOv5 煤矿 井下 目标 检测 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。