改进YOLOv7的沥青路面病害检测_倪昌双.pdf

2023，59（13）改进YOLOv7的沥青路面病害检测倪昌双1，李林2，罗文婷2，秦勇3，4，杨振1，傅幼华11.福建农林大学，交通与土木工程学院，福州 3501002.南京工业大学，交通运输工程学院，南京 2118163.北京交通大学 轨道交通控制与安全国家重点实验室，北京 1000844.北京交通大学 交通运输学院，北京 100084摘要：针对传统卷积网络对沥青路面病害检测时存在的检测精度低、定位不准等问题，提出一种基于改进YOLOv7的沥青路面病害检测算法。针对激光图像的成像特征，使用组合滤波-三直方图均衡化算法弱化背景环境干扰；使用K-means+聚类算法进行初始锚框设置来加快模型收敛速度；然后将多头自注意力机制与最大池化层结合代替模型主干框架中部分卷积层，提高卷积网络对于目标物全局特征学习能力；使用漏斗激活函数F-ReLU作为主干网络中的激活函数以扩大卷积层的感受野范围；最后使用A-SIOU损失函数优化模型边界框回归，加快模型收敛的同时提高训练精度。实验结果表明，改进后的检测算法对病害检测的平均精度均值、精确率和召回率相较原网络提升了7.7、9.4与5.8个百分点，具有较好的识别精度。在实际工程应用中，对各路段的路面状况指数的计算偏差均小于1%，对推进路面病害的智能化检测具有重要意义。关键词：路面病害检测；深度学习；激光图像；多头自注意力机制；损失函数；激活函数文献标志码：A中图分类号：TP391.4doi：10.3778/j.issn.1002-8331.2301-0098Disease Detection of Asphalt Pavement Based on Improved YOLOv7NI Changshuang1,LI Lin2,LUO Wenting2,QIN Yong3，4,YANG Zhen1,FU Youhua11.School of Communications and Civil Engineering,Fujian Agriculture and Forestry University,Fuzhou 350100,China2.School of Transportation Engineering,Nanjing Tech University,Nanjing 211816,China3.State Key Laboratory of Rail Transit Control and Safety,Beijing Jiaotong University,Beijing 100084,China4.School of Traffic and Transportation,Beijing Jiaotong University,Beijing 100084,ChinaAbstract：Aiming at the problems of low detection accuracy and inaccurate positioning in the detection of asphalt pave-ment diseases by traditional convolution network,an asphalt pavement disease detection algorithm based on improvedYOLOv7 is proposed.Firstly,according to the imaging characteristics of the laser image,the combined filter-three histo-gram equalization algorithm is used to weaken the background environment interference.The K-means+clustering algo-rithm is used to set the initial anchor frame to speed up the convergence of the model.Then,the multi-head self-attentionmechanism is combined with the maximum pooling layer to replace part of the convolution layer in the model backboneframework to improve the ability of the convolution network to learn the global features of the target.The funnel activa-tion function F-ReLU is used as the activation function in the backbone network to expand the receptive field of the con-volution layer.Finally,the A-SIOU loss function is used to optimize the model boundary box regression to accelerate themodel convergence and improve the training accuracy.The experimental results show that the average precision,precisionand recall rate of the improved detection algorithm for disease detection are 7.7,9.4 and 5.8 percentage points higher thanthat of the original network,with better recognition accuracy.In practical engineering applications,the calculation devia-tion of the pavement condition index of each section is less than 1%,which is of great significance for promoting the intel-基金项目：国家重点研发计划项目（2021YFB3202901）；福建省高校产学合作重大项目（2020H6009）；轨道交通控制与安全国家重点实验室（北京交通大学）开放课题（RCS2020K004）。作者简介：倪昌双（1997），男，硕士研究生，研究方向为基于图像数据与深度学习的道路病害检测与分类；李林（1983），通信作者，男，博士，副教授，研究方向为多传感器融合、机器视觉及AI技术在道路交通智能检测的应用，E-mail：。收稿日期：2023-01-09修回日期：2023-04-03文章编号：1002-8331（2023）13-0305-12Computer Engineering and Applications计算机工程与应用305Computer Engineering and Applications计算机工程与应用2023，59（13）随着我国经济的不断发展，公路通车总里程不断增加，截至2020年末已达510万公里。与此同时，汽车数量飞速增长，公路使用频度日渐增加，最终导致高速公路出现多尺度、多类型1的路面病害。若这些病害初期没有及时处理，轻则影响公路美观、减少公路使用寿命。重则引发交通事故、造成严重的经济损失和人员伤亡。因此需要定期地对路面进行科学检测，及时发现病害。传统的路面病害检测方法为人工实地调查法，该方法不仅效率低且具有危险性。随着摄影技术的进步，为路面病害图像的采集提供了技术上的支持。如今主要的路面病害检测方法为基于图像的人工判别法，该方法保证了检测人员的安全，但仍存在效率低下、主观性较强、准确率较低等缺点。近年来，基于深度学习的智能检测方法由于具有检测精度高、速度快等优点，得到广泛应用。侯越等2采用WGAN-GP与泊松迁移算法相融合的数据深度增强方法，对车载手机拍摄的高清路面图像进行增强处理，解决了模型训练样本不均衡等问题；朱平哲3针对裂缝信息与背景对比度较低的现象，将形态学与局部对比度增强进行结合，提出一种基于top-hat的多尺度局部图像增强算法，有效提高了路面裂缝图像的对比度；王青宁4提出一种改进的 Lucy-Richardson算法，通过在模糊角度估计时采用加窗取优算法提高每次随机估计角度时的准确性，以及将高斯滤波与加权函数进行结合用于噪声自适应平滑，解决了数据图像因车速过快造成的模糊现象；邓砚学等5针对数据采集过程中，由于光照不均匀、天气变化等造成的图像质量低下的现象，通过引入多尺度网膜（multi-scale retinex，MSR）增强了图像质量及病害特征。以上文献通过对图像进行数据增强来提高模型检测精度，但所采用的图像数据为前景图像数据，与本文所采用数据有所不同。石丽等6提出一种基于改进RetinaNet模型的检测算法，通过引入SE Net及对特征金字塔网络进行改进，大大提高了对水泥露骨病害检测的检测精度；Seo7提出了一种基于热RGB融合图像的路面损伤检测模型，其中融合的RGB热图像通过多源传感器信息形成，以实现包括复杂路面条件在内的快速准确的缺陷检测；许慧青等8根据细长路面病害的弱语义、多尺度特征，提出一个二阶段细长路面病害检测模型Epd R-CNN。包括能够对不同阶段特征进行融合的主干框架及由空间注意力模块及可变形感兴趣区域池化和组成的候选区域特征改良模块，具有良好的检测性能及鲁棒性。以上文献是基于两阶段模型的路面病害检测方法，具有较高的检测精度，但检测速度较慢。在实际应用中无法实时处理庞大的路面病害数据。Mandal 等人9基于 YOLOv2 模型，并与遇险分析仪结合，建立实时的自动路面破损分析系统；贾晨10基于YOLOv4网络模型，使用深度可分离卷积代替普通卷积，并引入 FPG 结构，以及将 CSP Block 模块替换为 ResBlock-D模块，最终实现了对公路路面病害的高精度及高速度检测；罗晖等11将深度可分离卷积及中心损害函数引入YOLOv4模型，并借助迁移学习的思想对模型进行预训练，从而提高对路面病害的识别精度。以上文献基于单阶段模型的路面病害检测方法，具有较高的检测速度及不错的检测精度。但在解决路面病害特征信息弱、与背景差异不明显、尺度变换大及模型特征学习不彻底等问题上，还需进一步研究。YOLOv7目标检测算法12作为 YOLO 系列的最新成果，相较于以往模型具有更高的检测精度和更快的检测速度。并且针对不同目标检测任务，具有YOLOv7-w6、YOLOv7-d6等7种大小不同的模型。因此，本文基于YOLOv7模型进行改进，并针对以上文献存在问题以及基于激光图像的沥青路面病害检测任务的特点提出一种基于激光图像的沥青路面病害检测算法。改进主要有以下5点：（1）提出基于组合滤波和改进直方图均衡化的图像增强算法，解决激光图像中路面病害与背景差异不明显的问题；（2）使用K-means+算法生成更合适的初始锚框尺寸，加快模型训练速度；（3）在模型特征提取阶段将多头自注意力机制与最大池化层结构进行结合，提高了模型的特征学习能力，解决了传统深度卷积网络全局信息丢失的现象；（4）使用 F-ReLU函数替换主干网络的激活函数，提高卷积层的感受野范围；（5）基于路面病害的特征，使用A-SIOU损失函数优化边界框回归，解决模型训练时简单样本主导梯度更新的问题。1图像预处理以RGB前景相机搭建而成的道路信息采集装置，存在有高数据重复量、易受外界光线变换干扰、异物遮挡等缺点，如图1所示。而随着激光技术的不断发展，单色性好、功率密度高的应用激光13为高速工业相机提供了高光通量和高稳定性的光源。由激光技术与高速工业相机共同搭建14的道路信息采集装置，则有效解决了前景相机存在ligent detection of pavement diseases.Key words：pavement diseases detection;deep learning;dimensional laser image;multi-head self-attention mechanism;loss function;activation function3062023，59（13）的问题。因此，本文即基于高速CMOS工业相机与高功率激光发射器搭建的激光路面采集系统进行数据图像采集，采集系统组成如图2所示。该路面采集系统更适合高速公路路面的图像采集。但也随之带来了另一个问题，即由于激光图像存在大量不规则噪声及亮度过低而导致的路面病害与路面背景差异不明显的问题。因此本文提出组合滤波-三直方图均衡化（combined filtering-three histogram equali-zation，CF-THE）算法来优化图像质量，加强病害特征。算法流程图如图3所示。（1）激光相机所采集的激光图像往往存在大量混合噪声，以脉冲噪声和椒盐噪声为主。因此使用双边滤波与自适应中值滤波的组合滤波对图像进行初步去噪。双边滤波将图像的空间邻近性和像素相似性结合起来，并考虑空间、信息和灰度的相似性，以达到保边去噪的目的15。待双边滤波器去噪后，仍有部分强噪声由于与中心像素灰度值的差异较大，被当成边缘保留了下来。因此本文使用自适应中值滤波器对图像进行二次去噪。该滤波器通过自适应地改变图像窗口大小，对噪声点进行过滤，同时更好地保留了图像信息。步骤如下所示：步骤1 若ZmaxZmedZmin，则进行步骤2，反之增大Sxy窗口的大小，若SxySmax，则重复步骤1，否则输出Zmed。步骤2 若ZminZxyZmax，则输出Zxy，反之输出Zmed。其中，Sxy为中心为(x,y)的矩形窗口，Zmin、Zmed、Zmax为Sxy中最小灰度值、中值灰度值与最大灰度值，Smax为允许的最大窗口尺寸，Zxy为点(x,y)的灰度值。（2）对去噪后图像的亮度进行判断，当小于阈值时，进行改进直方图均衡化，反之直接输出图像。（3）绘制直方图X，并去除直方图分布中小于阈值a或大于255-a的灰度值，从而降低端部灰度值对图像的影响，如式（1）所示：X=Xa+1,Xa+2,X254-a（1）（4）根据1/3值Xs与2/3值Xm，将图像直方图分解成低灰度直方图X1、中灰度直方图X2及高灰度直方图X3。（5）定义子图像X1的概率密度公式P1(Xk)及转化函数f1(Xk)，如式（2）和（3）所示：P1()Xk=nk1n1,k=0,1,s（2）f1()Xk=X0+()Xs-X0j=0kP1()Xj（3）式中，nk1代表Xk在X1中的数量，n1代表X1的样本总数。（6）基于转换函数对分解后的X1进行动态拉伸，并重复步骤5对X2，X3进行操作，最终输出图像即为三者拼接而成。CF-THE算法与其他算法相比，在保持高处理速率的同时，仍具有较高的图像增强效果，更适用于处理海量的路面病害图像数据。对激光图像的图像增强效果如图4所示。图1前景相机缺点Fig.1Disadvantages of foreground camera（c）遮挡干扰（a）光线过暗干扰（b）光线过亮干扰图2图像采集系统Fig.2Image acquisition system高功率激光发射器高功率激光电源（15 W）高速CMOS相机变压器散热风扇图3算法流程图Fig.3Flow chart of algorithm亮度过低改进直方图均衡化是否输入图像双边滤波中值滤波输出图像倪昌双，等：改进YOLOv7的沥青路面病害检测307Computer Engineering and Applications计算机工程与应用2023，59（13）2检测算法2.1YOLOv7算法概述YOLOv7算法通过引入扩展高效长程注意力网络（E-ELAN）16以及基于级联模型（concatenation-basedmodels）的模型缩放17、卷积重参数化等策略，在检测速度与精度之间取得了非常好的平衡。其模型结构如图5所示，由输入端、主干架构、头部架构及预测端组成。输入端将输入图像缩放至同一尺寸，以便满足主干网络的训练要求。主干架构由若干CBS卷积模块、ELAN模块及MP模块组成。CBS模块由卷积层、批量标准化层和SiLU激活函数组成。ELAN模块由若干个卷积模块组成，通过控制最短最长的梯度路径，从而更有效地学习和收敛。MP模块由一个最大池化层与若干个卷积模块组成，具有上下两个分支，分别对特征图进行下采样，使图像的长宽与通道数减半，最后再进行特征融合，提高了模型的特征提取能力，各模块结构如图6所示。YOLOv7的头部架构，通过路径聚合特征金字塔网络（path aggregation feature pyramid network，PAFPN）结构进行多尺度的特征融合。自上而下，将深层的强语义特征传递下来。对整个金字塔进行特征加强；自下而图4图像增强效果Fig.4Image enhancement effects（a）原图（b）直方图均衡（c）BF-THE算法图5YOLOv7结构图Fig.5YOLOv7 structure diagram输入端CBSCBSCBSCBSELANMP1ELANMP1ELANMP1ELANSPPCSPCCBSUPCBSCatCatELAN-HUPELAN-HREPConvCatELAN-HREPREPConvCatELAN-HMP2Conv头部架构CBSCBSCBSCBSCBS6406403CBSCBSCBS主干架构Feature mapFeature mapFeature map预测端MP2图6各模块结构图Fig.6Structure diagram of each moduleELAN=CBScatCBSCBSCBSCBSCBSMP2=MaxPoolCBSCBSCBScat=ConvBN SiLUCBS3082023，59（13）上，将浅层的图像结构、颜色、边缘、位置等特征信息传递上去。从而实现了不同层次特征高效融合。预测端使用REP模块将输出的不同尺度大小的特征进行图像通道数调整，转化为边界框、类别及置信度信息。再使用卷积层作为检测头进行下采样，实现对大、中、小目标多尺度的检测。虽然YOLOv7算法具有出色的检测精度与检测速度，但将其直接应用于沥青路面病害检测仍然存在许多问题。因此，本文以YOLOv7为基础进行改进。2.2F-ReLU激活函数在神经网络模型中，若层与层之间的特征信息传递都是通过线性变化，模型就会变得很容易验证，网络的逼近能力就很有限。因此在网络之间要使用激活函数进行连接。激活函数通过将非线性特性引入神经网络模型，从而提高模型的表达能力，具有至关重要的作用。YOLOv7 模型中的原激活函数为 SiLU 函数，是Swish函数18的变种，表达式如式（4）所示：Swish(x)=x1+exp(-x)（4）当式（4）中的为1时，Swish函数即变换成SiLU函数。相比于ReLU函数，具有无上界有下界、非单调等特性，能够避免梯度消失，同时具有一定的正则效果。但当SiLU函数应用于视觉任务时，存在有空间不敏感性的问题。因此本研究采用F-ReLU函数19作为YOLOv7模型中卷积模块的激活函数。F-ReLU激活函数不仅具备SiLU激活函数的优点，而且能扩大模型卷积层的感受野范围，更适合于二维图像特征学习。修改后的卷积模块如图7所示。F-ReLU激活函数的表达式如式（5）和（6）所示。是根据ReLU函数改进而来，同样采用Max函数实现激活函数的非线性特性，但在内部判断中从简单的正负条件扩展为依赖于周边像素的空间上下文的漏斗条件T()，使网络的感受野范围大大增强。漏斗条件T()是一个33大小的卷积滑动窗口，使用卷积窗口参数和周边像素计算得到T(x)。再使用批量归一化（batch normaliz-ation，BN）对T(x)进行归一化，加快收敛速度，防止梯度爆炸或梯度消失。具体流程如图8所示。f()xc,i,j=max()xc,i,j,T()xc,i,j（5）T()xc,i,j=xwc,i,jpwc（6）式中，xc,i,j为输入像素，c，i，j为该像素的通道数与位置，T()xc,i,j为漏斗条件，pwc为在该窗口之内共享的系数通道，xwc,i,j为一个大小为k的参数池窗口，一般取值为3。F-ReLU函数解决了其他激活函数存在的空间不敏感问题，使普通卷积层也具备捕获复杂的视觉布局能力。对于具有高像素关联性的路面病害来说，无疑能让卷积层学习到更多的特征。2.3融合多头自注意力机制基于激光图像的路面病害，如横向裂缝、纵向裂缝等，通常存在占有像素多、像素间关联性强等特点。YOLOv7主干架构为深度卷积网络，通过架设多层33卷积层来捕获特征信息，存在局部性及平移不变性等缺点，在建立模型特征关系时，容易随着模型深度的增加而丢失长距离像素关系20。因此，提出池化多头自注意力机制（maxpool multi-head self-attention，M-MHSA）模块来提升网络对全局信息的学习，进而提升网络对路面病害的识别准确率，如图9所示。该模块由最大池化层与多头自注意力机制构成，分为两个支路，类似于残差结构，通过不同特征图的融合提高模型学习能力，防止梯度退化。一个支路直接输出原特征图，而另一个支路则进行最大池化层与多头自注意力机制操作。相比于图像分类，目标检测任务的特征图更大，而多头自注意力机制的计算量与特征图维度成平方比，若直接应用多头自注意力机制，会导致模型计算量陡增。因此首先使用最大池化层对输入特征图进行下采样，在保留主要病害特征、扩大感知野的同时减小特征图尺寸，从而让MHSA模块在较小分辨率的特征图上学习。同时最大池化层相比于卷积层，具有平移不变性，能够降低卷积层参数误差造成的估计均值的偏移，更好地保留病害纹理信息。图8F-ReLU激活函数Fig.8F-ReLU activation functiona b cd e be f gBNT(x)Xmax()=ConvBN F-ReLUCBF图7CBF模块Fig.7CBF module倪昌双，等：改进YOLOv7的沥青路面病害检测309Computer Engineering and Applications计算机工程与应用2023，59（13）接着将特征图输入MHSA模块，从而跨长序列地学习丰富的关联特征层次。与注意力机制及自注意力机制相比，多头自注意力机制通过多次线性投影得到多组同源的查询（query）、键（key）及值（value）值，并将变换后的多组值并行地进行注意力池化，不仅能聚焦于对当前任务更为关键的信息，提高模型在复杂背景下的特征提取能力，还避免了过度将注意力集中于自身的缺点，在计算量相同的情况下具有更强的特征表达能力，最后将不同特征图进行融合输出。本文算法仅使用M-MHSA模块替换了主干架构中最后一个卷积层，这是由于自注意力机制的计算量与特征图分辨率成平方比，若在主干架构前部使用M-MHSA，所需计算量会大大增加，从而过度降低模型的检测速度，具体实验见3.4.2小节。2.4边界框损失函数改进目标定位是目标检测的关键任务之一，而一个良好的边界框损失函数对目标定位任务至关重要。在YOLOv7 模型中，使用 CIOU 损失函数进行边界框回归。CIOU损失函数通过将预测框与真实框的高宽比引入损失值计算，有效解决了当预测框与真实框不重叠时仍为边界框提供移动方向的问题。但CIOU损失函数将所有损失变量作为一个整体进行计算，没有考虑到实际目标与预测框不匹配的情况，导致出现收敛速度慢、不稳定等现象。因此，本文使用A-SIOU（Alpha SIOU）损失函数替代CIOU损失函数作为路面病害检测模型的边界框损失函数。A-SIOU损失函数在SIOU损失函数21的基础上进行改进。通过参数来22提高损失函数的梯度收敛速度，同时充分考虑了距离、角度及面积这三个关键因素对模型边界回归的影响，使预测框与实际框更快接近平行状态，从而控制损失函数的收敛方向。A-SIOU损失函数由角度损失Langle、距离损失Ldis、形状损失Lshape和交叉损失IOU组成。其中，角度损失如式（7）所示：|zh=|btcy-bpcy=()btcx-bpcx2-()btcy-bpcy2Langle=1-2sin2|arcsin|zh-4（7）式中，zh为真实框与预测框中心点的高度差，btcx为真实框与预测框中心点的距离，btcx、btcy为真实框的中心坐标，bpcx、bpcy为预测框的中心坐标。距离损失如式（8）所示：|x=|btcx-bpcxcw2y=|btcy-bpcych2Ldis=2-i=x,yexp()()Langle-2 i（8）式中，cw、ch为真实框与预测框最小外接矩形的宽高。形状损失如式（9）所示：|ww=|wp-wtmax()wp,wtwh=|hp-htmax()hp,htLshape=i=w,h()1-exp()wi（9）式中，wp、hp为预测框的宽高，wt、ht为真实框的宽高，为一常数，用于控制对形状损失的注意程度，本文取值为4。A-SIOU损失函数如式（10）所示：图9M-MHSA模块Fig.9M-MHSA moduleWQ：11hwdhwdhwdLinearLinearLinear输出特征图SoftMaxRhRw二维位置编码Linear多头注意力机制模块（MHSA）输入特征图HWd最大池化层WK：11WV：113102023，59（13）|IOU=ABLA-SIOU=1-|IOU-()Ldis+Lshape2（10）式中，A、B为真实框与预测框的面积的交集、并集，为控制损失函数梯度收敛速度的参数。经多次实验取值为2，从而帮助模型更专注于高交并比的目标，以提高目标定位的准确性。相比于其他函数，A-SIOU边界框损失函数考虑了距离与角度对边界回归的影响，从而避免了当预测框与真实框不重叠时出现梯度消失的现象。同时，由于A-SIOU损失函数可分为：角度损失、距离损失、形状损失及联合交叉损失。其中在角度损失中，由于正弦函数的特性，使得角度损失Langle的取值范围为0，1；在距离损失中，由于i的范围为0，1），可得距离损失Ldis的取值范围为（0，1.73）；在形状损失中，由于wi的取值范围为（0，1），可得到形状损失Lshape的取值范围为（0，17.44）。综上所述，A-SIOU 函数的取值范围存在上下限，避免了出现梯度爆炸的现象。2.5改进后的YOLOv7模型如图 10所示，为本文所改进的 YOLOv7模型网络结构。首先在输入端对原始图像进行数据增强；然后将模型卷积模块的激活函数替换为F-ReLU函数，提高卷积网络的感受野范围；接着通过在YOLOv7的主干网络中加入M-MHSA模块，有效地提高了网络对深层重要特征的提取能力；最后使用A-SIOU函数进行边界框回归，加快模型损梯度收敛。3实验与结果分析3.1数据集构建本文数据来源于福建农林大学数字福建智能交通技术物联网实验室路基路面安全检测平台及福建省高速公路达通检测公司所采集的激光图像数据。通过人工核查与筛选，构建一个样本种类丰富、数量均衡的数据集。数据集共有8 595张样本图像，按1 4的比例划分验证集及训练集。为提高模型的鲁棒性和泛化能力，数据集中含有一部分无病害的背景图片，以及路面标线、指数箭头及桥头接缝3个背景标签。各类标签数量统计表如表1所示，样本图像示例如图11所示。图10改进后的YOLOv7Fig.10Improved YOLOv7CBFCBFCBFCBFELANMP1ELANMP1ELANMP1ELANSPPCSPCCBFUPCBFCatCatELAN-HUPELAN-HREPConvCatELAN-HREPREPConvCatELAN-HMP2Conv头部架构CBFCBFCBFM-MHSACBF6406403CBFCBFCBF主干架构Feature mapFeature mapFeature map预测端MP2改进1：对原始图像进行数据增强改进2：使用F-ReLU激活函数改进3：引入M-MHSA模块改进4：引入A-SIOU边界框损失函数预处理输入端倪昌双，等：改进YOLOv7的沥青路面病害检测311Computer Engineering and Applications计算机工程与应用2023，59（13）3.2实验配置本文实验采用PyTorch训练框架，以Win10为系统环境，GPU 型号为 NVIDIA GeForce RTX 3080，CPU型号为Intel i7-1070K，显存大小为16 GB，GPU加速为CUDA10.0。模型训练前设置训练参数为：输入图像尺寸为640640，batchsize大小为 8，优化器为 SGD优化器，训练轮次为250轮，学习率为0.01。原 YOLOv7模型采用 K-means聚类算法进行初始锚框尺寸计算，该算法简单高效，但由于是随机选取K个数据作为初始聚类中心，具有随机性与局部性。因此本文使用 K-means+聚类算法进行初始锚框设定。K-means+算法在选取第一个初始聚类中心时进行随机选取，而在选取第a个初始聚类中心(1aK)时，距离前a-1个聚类中心越远的点被选为第a个聚类中心的概率越大。计算所得初始锚框尺寸如图12所示，对比可知图（c）中的初始锚框尺寸分布更均匀，更具有代表性。表1各类标签数量统计Table 1Statistics of various labels标签龟裂纵缝横缝修补块修补条松散桥头接缝路面标线指示箭头总计英文AlligatorCrackLongitudinalCrackTransverseCrackPatchSeallingLooseJointLaneMarkingIndicatingArrowTotal训练集4001 1477879001 3292234047 21440212 806验证集122471216217315741051 9681143 602图11样本图像示例Fig.11Sample image examples（c）龟裂（f）块状修补（i）路面标线（b）纵向裂缝（e）条状修补（h）指示箭头（a）横向裂缝（d）松散（g）桥头接缝（c）K-means+聚类12，16，19，36，40，28#P3/836，75，76，55，72，146#P4/16142，110，192，243，459，401#P5/3254，103，60，264，28，633#P3/861，423，251，113，572，106#P4/16165，622，608，324，418，567#P5/3253，104，40，263，31，633#P3/848，431，247，89，198，290#P4/16573，110，224，613，599，360#P5/32（a）原设定锚框（b）K-means聚类图12初始锚框聚类Fig.12Initial anchor frame clustering3122023，59（13）3.3评价指标本文研究采用精确率（precision，P）、召回率（recall，R）及平均精度均值（mean average precision，mAP）作为算法的主要评价指标，如式（11）（14）所示。P=TPTP+FP（11）R=TPTP+FN（12）mAP=1mAP()i（13）FPS=nT（14）式（11）（14）中，TP为正确识别的检测框数目，FP为错误识别的检测框数目，FN为未检测到的正确目标的数目，m为检测的类别数量，AP为PR曲线下的面积，反映模型对某个类别识别效果的好坏，n为模型处理图片张数，T为所消耗时间。3.4识别算法评估3.4.1模型训练情况使用改进的YOLOv7模型算法进行高速公路护栏检测模型的训练，模型损失值由边界框损失值、分类损失值及置信度损失值组成。变化曲线如图13所示，其中图13（a）为训练过程各损失值变化，图13（b）为验证过程各损失值变化。由图 13（a）可知，训练过程中前150轮损失值下降十分明显，第150轮至第250轮损失值下降趋势趋于平缓。由图13（b）可知，验证过程中前50轮损失值下降趋势明显，第50轮至第150轮趋于平缓，第150轮至250轮出现略微上升趋势。无论训练过程还是验证过程，最终的各损失值都低于0.05%，说明本次训练参数设置合理，模型改进有效，学习效果理想。3.4.2消融实验为验证本文所提出的各优化部分对算法的影响，本实验在数据集上进行7组消融实验。消融实验结果见表 2。其中预处理、K-means+、M-MHSA、F-ReLU、A-SIOU为本文所提出的改进方法，FLOPs为模型的计算量大小，Params为模型的参数量大小，mAP0.5是为所有类别的识别平均准确率均值（IOU阈值为0.5），均在输入图像大小为640640像素时计算得出。表中表示模型中不包含该改进方法，表示模型中包含该改进方法。由表2可知，第一组实验将原YOLOv7模型作为基础，其检测精度为85.5%，模型计算量为105.2109，模型参数量为37.2106。第二组实验采用组合滤波-三直方图均衡化算法对数据进行图像增强（预处理），检测精度提高了1.6个百分点，说明CF-THE算法有效增强了路面病害的图像特征。第三组实验在图像增强后的数据集的基础上，采用K-means+进行模型初始锚框的设定（K-means+），加快模型收敛速度，相较于原YOLOv7模型检测精度提高了2.1个百分点。第四组实验在第二组实验的基础上，使用F-ReLU函数作为模型卷积模块的图13模型损失值变化曲线Fig.13Change curves of model loss values0501001502002500.020.040.060.080.10训练损失值/%轮次边界框损失置信度损失分类损失0501001502002500.040.080.12验证损失值/%轮次边界框损失置信度损失分类损失（a）训练过程（b）验证过程表2消融实验Table 2Ablation experiments组别1234567预处理K-means+F-ReLUM-MHSAA-SIOUFLOPs/109105.2105.2105.2105.2106.8105.2106.8Params/10637.237.237.237.239.637.239.6mAP0.50.8550.8710.8760.8910.9080.8790.932倪昌双，等：改进YOLOv7的沥青路面病害检测313Computer Engineering and Applications计算机工程与应用2023，59（13）激活函数（F-ReLU）。在未增加模型参数量和计算量的前提下，将检测精度提高了3.6个百分点。说明F-ReLU激活函数有力地加强了卷积层的上下文学习能力。第五组实验在第二组实验的基础上，在YOLOv7模型中加入池化-多头自注意力机制（M-MHSA），提高了模型的全局特征学习能力，在只增加少量模型参数量和计算量的前提下，将检测精度提高了5.3个百分点。第六组实验在第二组实验的基础上，使用A-SIOU函数加强模型边界框回归（A-SIOU），提高模型收敛速度与稳定性，相较于原YOLOv7模型检测精度提高了2.4个百分点。第七组实验即为本文所提出算法，与原 YOLOv7模型相比，虽然增加了少量的模型计算量和训练时间，但检测精度从85.5%提升至93.2%，实现了公路路面病害的高精度检测的目的。3.4.3M-MHSA模块实验如图 14 所示，本文通过在图中的插入点 4 使用M-MHSA模块代替卷积模块，在略微增加推理成本的情况下提高模型对全局特征的学习能力。而M-MHSA模块的插入位置及个数可能会导致识别精度及速度的不同，同时卷积层与MHSA的组合同样能提高模型的特征学习能力。