改进YOLOv7的沥青路面病害检测_倪昌双.pdf
《改进YOLOv7的沥青路面病害检测_倪昌双.pdf》由会员分享,可在线阅读,更多相关《改进YOLOv7的沥青路面病害检测_倪昌双.pdf(12页珍藏版)》请在咨信网上搜索。
1、2023,59(13)改进YOLOv7的沥青路面病害检测倪昌双1,李林2,罗文婷2,秦勇3,4,杨振1,傅幼华11.福建农林大学,交通与土木工程学院,福州 3501002.南京工业大学,交通运输工程学院,南京 2118163.北京交通大学 轨道交通控制与安全国家重点实验室,北京 1000844.北京交通大学 交通运输学院,北京 100084摘要:针对传统卷积网络对沥青路面病害检测时存在的检测精度低、定位不准等问题,提出一种基于改进YOLOv7的沥青路面病害检测算法。针对激光图像的成像特征,使用组合滤波-三直方图均衡化算法弱化背景环境干扰;使用K-means+聚类算法进行初始锚框设置来加快模型收
2、敛速度;然后将多头自注意力机制与最大池化层结合代替模型主干框架中部分卷积层,提高卷积网络对于目标物全局特征学习能力;使用漏斗激活函数F-ReLU作为主干网络中的激活函数以扩大卷积层的感受野范围;最后使用A-SIOU损失函数优化模型边界框回归,加快模型收敛的同时提高训练精度。实验结果表明,改进后的检测算法对病害检测的平均精度均值、精确率和召回率相较原网络提升了7.7、9.4与5.8个百分点,具有较好的识别精度。在实际工程应用中,对各路段的路面状况指数的计算偏差均小于1%,对推进路面病害的智能化检测具有重要意义。关键词:路面病害检测;深度学习;激光图像;多头自注意力机制;损失函数;激活函数文献标志
3、码:A中图分类号:TP391.4doi:10.3778/j.issn.1002-8331.2301-0098Disease Detection of Asphalt Pavement Based on Improved YOLOv7NI Changshuang1,LI Lin2,LUO Wenting2,QIN Yong3,4,YANG Zhen1,FU Youhua11.School of Communications and Civil Engineering,Fujian Agriculture and Forestry University,Fuzhou 350100,China2.S
4、chool of Transportation Engineering,Nanjing Tech University,Nanjing 211816,China3.State Key Laboratory of Rail Transit Control and Safety,Beijing Jiaotong University,Beijing 100084,China4.School of Traffic and Transportation,Beijing Jiaotong University,Beijing 100084,ChinaAbstract:Aiming at the prob
5、lems of low detection accuracy and inaccurate positioning in the detection of asphalt pave-ment diseases by traditional convolution network,an asphalt pavement disease detection algorithm based on improvedYOLOv7 is proposed.Firstly,according to the imaging characteristics of the laser image,the comb
6、ined filter-three histo-gram equalization algorithm is used to weaken the background environment interference.The K-means+clustering algo-rithm is used to set the initial anchor frame to speed up the convergence of the model.Then,the multi-head self-attentionmechanism is combined with the maximum po
7、oling layer to replace part of the convolution layer in the model backboneframework to improve the ability of the convolution network to learn the global features of the target.The funnel activa-tion function F-ReLU is used as the activation function in the backbone network to expand the receptive f
8、ield of the con-volution layer.Finally,the A-SIOU loss function is used to optimize the model boundary box regression to accelerate themodel convergence and improve the training accuracy.The experimental results show that the average precision,precisionand recall rate of the improved detection algor
9、ithm for disease detection are 7.7,9.4 and 5.8 percentage points higher thanthat of the original network,with better recognition accuracy.In practical engineering applications,the calculation devia-tion of the pavement condition index of each section is less than 1%,which is of great significance fo
10、r promoting the intel-基金项目:国家重点研发计划项目(2021YFB3202901);福建省高校产学合作重大项目(2020H6009);轨道交通控制与安全国家重点实验室(北京交通大学)开放课题(RCS2020K004)。作者简介:倪昌双(1997),男,硕士研究生,研究方向为基于图像数据与深度学习的道路病害检测与分类;李林(1983),通信作者,男,博士,副教授,研究方向为多传感器融合、机器视觉及AI技术在道路交通智能检测的应用,E-mail:。收稿日期:2023-01-09修回日期:2023-04-03文章编号:1002-8331(2023)13-0305-12Comp
11、uter Engineering and Applications计算机工程与应用305Computer Engineering and Applications计算机工程与应用2023,59(13)随着我国经济的不断发展,公路通车总里程不断增加,截至2020年末已达510万公里。与此同时,汽车数量飞速增长,公路使用频度日渐增加,最终导致高速公路出现多尺度、多类型1的路面病害。若这些病害初期没有及时处理,轻则影响公路美观、减少公路使用寿命。重则引发交通事故、造成严重的经济损失和人员伤亡。因此需要定期地对路面进行科学检测,及时发现病害。传统的路面病害检测方法为人工实地调查法,该方法不仅效率低且具
12、有危险性。随着摄影技术的进步,为路面病害图像的采集提供了技术上的支持。如今主要的路面病害检测方法为基于图像的人工判别法,该方法保证了检测人员的安全,但仍存在效率低下、主观性较强、准确率较低等缺点。近年来,基于深度学习的智能检测方法由于具有检测精度高、速度快等优点,得到广泛应用。侯越等2采用WGAN-GP与泊松迁移算法相融合的数据深度增强方法,对车载手机拍摄的高清路面图像进行增强处理,解决了模型训练样本不均衡等问题;朱平哲3针对裂缝信息与背景对比度较低的现象,将形态学与局部对比度增强进行结合,提出一种基于top-hat的多尺度局部图像增强算法,有效提高了路面裂缝图像的对比度;王青宁4提出一种改进
13、的 Lucy-Richardson算法,通过在模糊角度估计时采用加窗取优算法提高每次随机估计角度时的准确性,以及将高斯滤波与加权函数进行结合用于噪声自适应平滑,解决了数据图像因车速过快造成的模糊现象;邓砚学等5针对数据采集过程中,由于光照不均匀、天气变化等造成的图像质量低下的现象,通过引入多尺度网膜(multi-scale retinex,MSR)增强了图像质量及病害特征。以上文献通过对图像进行数据增强来提高模型检测精度,但所采用的图像数据为前景图像数据,与本文所采用数据有所不同。石丽等6提出一种基于改进RetinaNet模型的检测算法,通过引入SE Net及对特征金字塔网络进行改进,大大提高
14、了对水泥露骨病害检测的检测精度;Seo7提出了一种基于热RGB融合图像的路面损伤检测模型,其中融合的RGB热图像通过多源传感器信息形成,以实现包括复杂路面条件在内的快速准确的缺陷检测;许慧青等8根据细长路面病害的弱语义、多尺度特征,提出一个二阶段细长路面病害检测模型Epd R-CNN。包括能够对不同阶段特征进行融合的主干框架及由空间注意力模块及可变形感兴趣区域池化和组成的候选区域特征改良模块,具有良好的检测性能及鲁棒性。以上文献是基于两阶段模型的路面病害检测方法,具有较高的检测精度,但检测速度较慢。在实际应用中无法实时处理庞大的路面病害数据。Mandal 等人9基于 YOLOv2 模型,并与遇
15、险分析仪结合,建立实时的自动路面破损分析系统;贾晨10基于YOLOv4网络模型,使用深度可分离卷积代替普通卷积,并引入 FPG 结构,以及将 CSP Block 模块替换为 ResBlock-D模块,最终实现了对公路路面病害的高精度及高速度检测;罗晖等11将深度可分离卷积及中心损害函数引入YOLOv4模型,并借助迁移学习的思想对模型进行预训练,从而提高对路面病害的识别精度。以上文献基于单阶段模型的路面病害检测方法,具有较高的检测速度及不错的检测精度。但在解决路面病害特征信息弱、与背景差异不明显、尺度变换大及模型特征学习不彻底等问题上,还需进一步研究。YOLOv7目标检测算法12作为 YOLO
16、系列的最新成果,相较于以往模型具有更高的检测精度和更快的检测速度。并且针对不同目标检测任务,具有YOLOv7-w6、YOLOv7-d6等7种大小不同的模型。因此,本文基于YOLOv7模型进行改进,并针对以上文献存在问题以及基于激光图像的沥青路面病害检测任务的特点提出一种基于激光图像的沥青路面病害检测算法。改进主要有以下5点:(1)提出基于组合滤波和改进直方图均衡化的图像增强算法,解决激光图像中路面病害与背景差异不明显的问题;(2)使用K-means+算法生成更合适的初始锚框尺寸,加快模型训练速度;(3)在模型特征提取阶段将多头自注意力机制与最大池化层结构进行结合,提高了模型的特征学习能力,解决
17、了传统深度卷积网络全局信息丢失的现象;(4)使用 F-ReLU函数替换主干网络的激活函数,提高卷积层的感受野范围;(5)基于路面病害的特征,使用A-SIOU损失函数优化边界框回归,解决模型训练时简单样本主导梯度更新的问题。1图像预处理以RGB前景相机搭建而成的道路信息采集装置,存在有高数据重复量、易受外界光线变换干扰、异物遮挡等缺点,如图1所示。而随着激光技术的不断发展,单色性好、功率密度高的应用激光13为高速工业相机提供了高光通量和高稳定性的光源。由激光技术与高速工业相机共同搭建14的道路信息采集装置,则有效解决了前景相机存在ligent detection of pavement dise
18、ases.Key words:pavement diseases detection;deep learning;dimensional laser image;multi-head self-attention mechanism;loss function;activation function3062023,59(13)的问题。因此,本文即基于高速CMOS工业相机与高功率激光发射器搭建的激光路面采集系统进行数据图像采集,采集系统组成如图2所示。该路面采集系统更适合高速公路路面的图像采集。但也随之带来了另一个问题,即由于激光图像存在大量不规则噪声及亮度过低而导致的路面病害与路面背景差异不明
19、显的问题。因此本文提出组合滤波-三直方图均衡化(combined filtering-three histogram equali-zation,CF-THE)算法来优化图像质量,加强病害特征。算法流程图如图3所示。(1)激光相机所采集的激光图像往往存在大量混合噪声,以脉冲噪声和椒盐噪声为主。因此使用双边滤波与自适应中值滤波的组合滤波对图像进行初步去噪。双边滤波将图像的空间邻近性和像素相似性结合起来,并考虑空间、信息和灰度的相似性,以达到保边去噪的目的15。待双边滤波器去噪后,仍有部分强噪声由于与中心像素灰度值的差异较大,被当成边缘保留了下来。因此本文使用自适应中值滤波器对图像进行二次去噪。该
20、滤波器通过自适应地改变图像窗口大小,对噪声点进行过滤,同时更好地保留了图像信息。步骤如下所示:步骤1 若ZmaxZmedZmin,则进行步骤2,反之增大Sxy窗口的大小,若SxySmax,则重复步骤1,否则输出Zmed。步骤2 若ZminZxyZmax,则输出Zxy,反之输出Zmed。其中,Sxy为中心为(x,y)的矩形窗口,Zmin、Zmed、Zmax为Sxy中最小灰度值、中值灰度值与最大灰度值,Smax为允许的最大窗口尺寸,Zxy为点(x,y)的灰度值。(2)对去噪后图像的亮度进行判断,当小于阈值时,进行改进直方图均衡化,反之直接输出图像。(3)绘制直方图X,并去除直方图分布中小于阈值a或
21、大于255-a的灰度值,从而降低端部灰度值对图像的影响,如式(1)所示:X=Xa+1,Xa+2,X254-a(1)(4)根据1/3值Xs与2/3值Xm,将图像直方图分解成低灰度直方图X1、中灰度直方图X2及高灰度直方图X3。(5)定义子图像X1的概率密度公式P1(Xk)及转化函数f1(Xk),如式(2)和(3)所示:P1()Xk=nk1n1,k=0,1,s(2)f1()Xk=X0+()Xs-X0j=0kP1()Xj(3)式中,nk1代表Xk在X1中的数量,n1代表X1的样本总数。(6)基于转换函数对分解后的X1进行动态拉伸,并重复步骤5对X2,X3进行操作,最终输出图像即为三者拼接而成。CF-
22、THE算法与其他算法相比,在保持高处理速率的同时,仍具有较高的图像增强效果,更适用于处理海量的路面病害图像数据。对激光图像的图像增强效果如图4所示。图1前景相机缺点Fig.1Disadvantages of foreground camera(c)遮挡干扰(a)光线过暗干扰(b)光线过亮干扰图2图像采集系统Fig.2Image acquisition system高功率激光发射器高功率激光电源(15 W)高速CMOS相机变压器散热风扇图3算法流程图Fig.3Flow chart of algorithm亮度过低改进直方图均衡化是否输入图像双边滤波中值滤波输出图像倪昌双,等:改进YOLOv7的沥
23、青路面病害检测307Computer Engineering and Applications计算机工程与应用2023,59(13)2检测算法2.1YOLOv7算法概述YOLOv7算法通过引入扩展高效长程注意力网络(E-ELAN)16以及基于级联模型(concatenation-basedmodels)的模型缩放17、卷积重参数化等策略,在检测速度与精度之间取得了非常好的平衡。其模型结构如图5所示,由输入端、主干架构、头部架构及预测端组成。输入端将输入图像缩放至同一尺寸,以便满足主干网络的训练要求。主干架构由若干CBS卷积模块、ELAN模块及MP模块组成。CBS模块由卷积层、批量标准化层和Si
24、LU激活函数组成。ELAN模块由若干个卷积模块组成,通过控制最短最长的梯度路径,从而更有效地学习和收敛。MP模块由一个最大池化层与若干个卷积模块组成,具有上下两个分支,分别对特征图进行下采样,使图像的长宽与通道数减半,最后再进行特征融合,提高了模型的特征提取能力,各模块结构如图6所示。YOLOv7的头部架构,通过路径聚合特征金字塔网络(path aggregation feature pyramid network,PAFPN)结构进行多尺度的特征融合。自上而下,将深层的强语义特征传递下来。对整个金字塔进行特征加强;自下而图4图像增强效果Fig.4Image enhancement effec
25、ts(a)原图(b)直方图均衡(c)BF-THE算法图5YOLOv7结构图Fig.5YOLOv7 structure diagram输入端CBSCBSCBSCBSELANMP1ELANMP1ELANMP1ELANSPPCSPCCBSUPCBSCatCatELAN-HUPELAN-HREPConvCatELAN-HREPREPConvCatELAN-HMP2Conv头部架构CBSCBSCBSCBSCBS6406403CBSCBSCBS主干架构Feature mapFeature mapFeature map预测端MP2图6各模块结构图Fig.6Structure diagram of each
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 改进 YOLOv7 沥青路面 病害 检测 倪昌双
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。