改进YOLOv7的交通标志检测算法.pdf
《改进YOLOv7的交通标志检测算法.pdf》由会员分享,可在线阅读,更多相关《改进YOLOv7的交通标志检测算法.pdf(9页珍藏版)》请在咨信网上搜索。
1、改进 YOLOv7 的交通标志检测算法石镇岳,侯婷,苏勇东(长安大学信息工程学院,西安710064)通信作者:石镇岳,E-mail:摘要:自动驾驶技术的快速发展,导致对交通标志检测技术的要求日益提高.为解决 YOLOv7 算法在识别小目标时误检、漏检等问题,本文提出一种基于注意力机制的交通标志检测模型 YOLOv7-PC.首先通过 K-means+聚类算法对交通标志数据集进行聚类,获得适用于检测交通标志的锚框;其次在 YOLOv7 主干特征提取网络中引入坐标注意力机制,将交通标志的横向和纵向信息嵌入到通道中,使生成的特征信息具有交通标志的坐标信息,加强有效特征的提取;最后在加强特征提取网络中引
2、入空洞空间金字塔池化,捕获交通标志多尺度上下文信息,在保证交通标志小目标分辨率的同时,进一步扩大卷积的感受野.在中国交通标志检测数据集(CCTSDB)上的实验表明,本文算法增强了识别小目标的能力,相较于 YOLOv7 模型,本文算法的 mAP、召回率平均分别提高了 5.22%、9.01%,是一种有效的交通标志检测算法.关键词:目标检测;交通标志识别;YOLOv7;注意力机制;空洞卷积;深度学习引用格式:石镇岳,侯婷,苏勇东.改进 YOLOv7 的交通标志检测算法.计算机系统应用,2023,32(10):157165.http:/www.c-s- YOLOv7 Algorithm for Tra
3、ffic Sign DetectionSHIZhen-Yue,HOUTing,SUYong-Dong(SchoolofInformationEngineering,ChanganUniversity,Xian710064,China)Abstract:Therapiddevelopmentofautonomousdrivingtechnologyhasledtoincreasingrequirementsfortrafficsigndetectiontechnologies.Inordertosolvetheproblemsoffalsedetectionandmisseddetectiono
4、ftheYOLOv7algorithminidentifyingsmalltargets,thisstudyproposesatrafficsigndetectionmodelbasedonanattentionmechanism,namelyYOLOv7-PC.Firstly,aK-means+clusteringalgorithmisusedtoclusterthetrafficsigndatasettoobtainanchorboxessuitablefordetectingtrafficsigns.Secondly,thecoordinateattentionmechanismisin
5、troducedintotheYOLOv7backbonefeatureextractionnetwork,andthehorizontalandverticalinformationoftrafficsignsareembeddedintothechannelsothatthegeneratedfeatureinformationhasthecoordinateinformationoftrafficsigns,andtheextractionofeffectivefeaturesisenhanced.Finally,theatrousspatialpyramidpoolingisintro
6、ducedintheenhancedfeatureextractionnetworktocapturemulti-scalecontextinformationoftrafficsigns,whichensurestheresolutionofsmalltargetsoftrafficsignsandexpandthereceptivefieldoftheconvolutionalnucleus.ExperimentsontheChinatrafficsigndetectiondataset(CCTSDB)showthattheproposedalgorithmenhancestheabili
7、tytorecognizesmalltargets.ComparedwiththeYOLOv7model,theproposedalgorithmhasanaverageimprovementof5.22%inmAP and9.01%inRecall,makingitaneffectivetrafficsigndetectionalgorithm.Key words:targetdetection;trafficsignrecognition;YOLOv7;attentionmechanism;dilatedconvolution;deeplearning计算机系统应用ISSN1003-325
8、4,CODENCSAOBNE-mail:ComputerSystems&Applications,2023,32(10):157165doi:10.15888/ki.csa.009227http:/www.c-s-中国科学院软件研究所版权所有.Tel:+86-10-62661041基金项目:陕西省自然科学基金面上项目(2022JM-056);长安大学研究生科研创新实践项目(300103722036)收稿时间:2023-02-13;修改时间:2023-03-20;采用时间:2023-04-07;csa 在线出版时间:2023-07-21CNKI 网络首发时间:2023-07-24Software
9、TechniqueAlgorithm软件技术算法1571引言交通标志检测与识别作为辅助与自动驾驶的关键技术之一,交通标志的准确、快速检测与识别对安全驾驶具有重要意义.交通标志包含路段、车速限制以及险情警示等信息,对智能驾驶的行车规划、车流限速和路面安全状况具有重要的指示作用.车辆在行驶中,因受光线、天气以及遮挡物等影响,从而易使交通标志产生误检,这给自动驾驶带来了巨大的安全隐患.因此,研究实时性强、精度高、误检率低的适合复杂场景的交通标志检测与识别方法成为该领域关注的热点.传统的交通标志检测技术主要基于颜色、形状以及多层特征等方法.最初,研究者们以颜色信息作为交通标志识别的主要依据.Lin 等
10、人1提出一种基于颜色相似性的交通标志检测方法,通过计算 R、G、B 分量的最大值与最小值,去除与交通标志颜色相差较大的色素,使用模板扫描方式检测出交通标志边缘信息.朱双东等人2通过对颜色进行标准化,降低交通标志颜色的复杂性,使用两层智能分类器对交通标志进行识别.Lin 等人3基于麦克斯韦颜色三角形的理论,提出一种红、黄、蓝颜色切割公式,经过多次实验后确定其阈值范围,最终完成对交通标志的检测.基于颜色的交通标志检测易受到光线的影响,尤其是在强光、弱光等恶劣环境下,为了消除光照的因素,学者们开始对交通标志的形状进行研究.Andrey 等人4使用背景直方图,对从交通标志图像中提取到的候选符号进行分类
11、,将其分为圆形或三角形,再使用模板匹配法对其进行细分.Wang 等人5提出了一种基于颜色和形状的交通标志分割方法,在二值图像中进行轮廓特征提取,再根据颜色和形状进行切割.Yldz 等人6通过对图像进行降噪和形态学处理,使交通标志图片变得易于处理,并借助形状信息过滤非交通标志的部分.传统的交通标志检测很容易受限于光照、遮挡物等因素,导致检测速度慢,预测精度低,实用性不强.近几年来,由于计算机计算能力的不断提升,深度学习网络逐渐应用于目标检测中.深度学习不同于传统的检测方法,它通过对交通标志大数据进行训练进而提取特征,具有更强的特征提取和表达能力,检测精度较高,不易受到光照、天气等外界环境的影响.
12、因此,深度学习目标检测技术成为当下主流的交通标志检测技术.目前主流的目标检测算法可以分为以 YOLO(youonlylookonce)系列为主的单阶段法和以 FasterRCNN(region-convolutionalneuralnetwork)为主的双阶段法两大类.熊昌镇等人7提出一种基于卷积神经网络(convolutionalneuralnetworks,CNN)的交通标志检测算法,使用区域建议网络检测数据集,最终取得了不错的效果.Zhang 等人8提出了一种级联 RCNN 网络(regionwithCNNfeature),用于获得交通标志多尺度特征,为了细化特征提取,引入一种多尺度注意
13、方法.Cao等人9提出了一种改进的稀疏 RCNN 算法,该算法通过修改网络主干和引入跨渠道自我关注机制,在不增加计算量的情况下获得了更好的效果.Sarumathi 等人10将 FasterRCNN算法应用到交通标志检测中,通过加入 CNN 数据流模型,使模型的精度得到大幅度提高.郭璠等人11为解决小目标识别不准确等问题,将空间注意力和通道注意力机制引入到 YOLOv3 中,提升了交通标志检测的精度和召回率.Wang 等人12为了提高 YOLOv4 算法的精度,采用 K-means 算法重新对交通标志进行聚类,获得适用于交通标志的先验框尺寸,并修改了模型输出的特征尺度,该方法在速度和精度方面均得
14、到提升.Aggar 等人13将 YOLOv5 算法应用到交通标志检测中,发现其各项评价指标都优于以往算法.为了使 YOLOv5s 算法可以应用到实际交通场景中,Liu 等人14将 MobileNetV2 作为主干网络载入YOLO 网络中,使整个模型的参数量降低 60%,同时保证 mAP 提升了 0.129%.张上等人15通过对 YOLOv5网络进行模型裁剪,压缩了网络的运算参数,在模型中加入坐标注意力机制(coordinateattention,CA)和CBAM 注意力机制(convolutionalblockattentionmodule),使网络的精度提升了 2.8%.现有的目标检测在交通
15、标志检测领域取得了一定的成功,但是,由于行车环境复杂,交通标志具有分辨率低、有效特征信息少等问题,使得常规方法提取到的交通标志特征信息严重不足,从而导致漏检现象的发生.针对以上现象,本文使用 K-means+算法聚类交通标志数据集获得适合检测交通标志的锚框,同时将坐标注意力和空洞空间金字塔池化(atrousspatialpyramidpooling,ASPP)引入到 YOLOv7 特征提取网络中,使交通标志的坐标信息融入到深层次的特征信息中,加强网络对有效信息的提取;同时扩大卷积核的感受野,避免交通标志特征信息在池化过程中丢失,有助于后续在特征图上检测小目标,从而提出了一种基计 算 机 系 统
16、 应 用http:/www.c-s-2023年第32卷第10期158软件技术算法SoftwareTechniqueAlgorithm于坐标注意力机制的 YOLOv7 算法YOLOv7-PC(youonlylookonce-pyramidcoordinate)算法.CCTSDB测试结果表明,本文提出的 YOLOv7-PC 模型相比于YOLOv7 算法,mAP、召回率和精确率都得到了提高,并且对不同环境下的标志标线具有良好的识别性能,因此本文提出的 YOLOv7-PC 算法是一种有效的交通标志检测和识别算法.2YOLOv7 算法YOLO 是由 Redmon 等人16提出的一种单阶段的目标检测网络.
17、其核心思想就是把目标检测转变成一个回归问题,将整张图作为网络的输入,仅经过一个神经网络,就能得到预测框的位置、目标所属类别和置信度.相较于之前的算法,YOLO 算法不仅检测速度更快,精度也相对较高.之后 Redmon 等人提出 YOLOv2算法17,将 Darknet-19 作为主干特征提取网络,并引入锚框机制,旨在解决 YOLO 算法召回率和精确率较低等问题.为了进一步提高目标检测的准确性,Redmon等人又提出 YOLOv3 算法18,这次改进将 Darknet-53作为主干特征提取网络,引入金字塔网络结构,使网络在精度和速度两方面同时得到提升.YOLOv4 在 YOLOv3的基础上,将原
18、主干网络 Darknet-53 与 CSPNet(crossstagepartialnetwork)进行结合,生成 CSPDarknet-53 主干网络,并引入 SPP(spatialpyramidpooling)结构和PANet 网络(pathaggregationnetwork),进一步提高了检测效果.YOLOv5 在 YOLOv4 的基础上引入 Focus结构,并将 CSPNet 应用到加强特征提取网络中,使目标检测效果达到了一个新的高度.YOLOv7 是 Wang 等人19在 2022 年提出的目标检测算法,在原有 YOLOv5 的基础上加以改进,引入了扩展的高效层聚合网络和基于 co
19、ncatenate 模型的模型缩放,并在网络训练中加入辅助训练头、标签分配等技巧.在一定范围内,YOLOv7 的检测速度和精度超过了目前所有的检测网络.YOLOv7 网络结构如图 1 所示,其主要由主干特征提取网络、加强特征提取层、YOLOHead 这 3 部分构成.主干网络主要负责交通标志特征信息的初步提取,其包括 CBS 结构、ELAN 结构和 MP-1 结构.在加强特征提取网络中,通过连续的卷积和上采样操作,将不同特征层次的特征信息进行特征融合,加强提取有效特征.最后将提取到的特征信息输入到 YOLOHead 中进行回归,得到目标的置信度、类别和预测框等信息,完成目标检测和识别.3本文算
20、法 3.1 YOLOv7-PC 算法交通标志在目标检测中属于较小的目标,由于交通标志检测环境较为复杂,交通标志分辨率不足和特征信息过少,YOLOv7 网络在检测交通标志时很容易发生漏检的现象.针对此问题,本文提出 YOLOv7-PC算法,从锚框优化、注意力机制、空洞空间卷积池化3 个方面对 YOLOv7 网络进行改进.本文提出的 YOLOv7-PC 算法结构如图 2 所示.首先结合交通标志数据集特点,使用 K-means+算法来对交通标志数据集进行聚类,获得适用于交通标志检测的锚框,提高交通标志检测精度;其次为了提高网络检测小目标的能力,将 CA注意力机制引入到 YOLOv7 主干特征提取网络
21、中,将交通标志的横向和纵向信息嵌入到通道中,使生成的特征图具有交通标志对应的坐标信息,进而避免发生漏检;最后将空洞空间卷积池化金字塔引入到 YOLOv7中,捕获交通标志多尺度上下文信息,在保证小目标分辨率的同时,扩大卷积核感受野,避免小目标在池化过程中丢失有效特征信息,进一步避免发生漏检.YOLOv7-PC 网络首先将输入图片缩放到 6406403 大小,之后通过主干网络进行初步的特征提取.主干网络主要包括 CBS 结构、CA 注意力结构、ELAN 结构和 MP-1 结构.CBS 结构包括卷积、批量标准化、SiLU 激活函数 3 部分.ELAN 结构主要包括 CBS 结构,并对不同层次的特征进
22、行融合,该结构可有效提取特征并加速收敛.MP-1 结构包括最大池化结构、步长为 2 的卷积,其作用是进行下采样,充分保留有用信息.在主干提取网络中引入 CA 注意力结构,使网络在特征提取过程中关注交通标志的坐标信息,充分提取有效特征信息.YOLOv7-PC 算法特征加强提取网络主要包括CBS 结构、ELAN-W 结构、MP-2 结构、上采样操作以及 ASPP 结构.ELAN-W 结构相较于主干网络 ELAN结构,其在结构内部进行特征融合的特征数量要多于ELAN 结构,此操作是为了提取更有效的信息.在加强特征提取网络中引入空洞空间金字塔池化结构,使交通标志小目标的特征信息在池化过程中得到充分保留
23、,扩大了卷积核的视野,减少有效特征信息的丢失.在 YOLOHead 中可以得到目标的置信度、类别、中心点的偏移量以及宽高等信息.根据置信度的2023年第32卷第10期http:/www.c-s-计 算 机 系 统 应 用SoftwareTechniqueAlgorithm软件技术算法159大小可以判断网格内是否有物体;根据中心点的偏移量和高宽信息绘制出所有预测框,经过非极大抑制过滤重复的预测框,并保留得分最高的预测框.最终,将目标的预测框、类别和置信度输出.3.2 锚框优化在实时目标检测网络中,如 SSD(singleshotmultiboxdetector)和 YOLO 网络,检测目标用到的
24、锚框都是根据实验预先设计好的.但是,交通标志属于小目标,常规数据集聚类得到的锚框根本不适用于交通标志数据集,大多数锚框都远高于交通标志真实框尺寸,因此常常导致漏检、误检等错误发生.针对这一问题,本文采用 K-means+算法对交通标志数据集进行聚类,获得适用于交通标志的锚框,从而提高检测精度.CBSCBSCBSCBSMP-1ELANELANMP-1MP-1ELANSPPPCSPCCBSUPSampleCBSELANcatELAN-WCBSUPSampleCBScatELAN-WMP-2catELAN-WMP-2ELAN-WREPREPREPCBMCBMCBMcatCBSBNConvCBMCon
25、v BNUPSampleResize(nearest)REPConvBN=ELAN=ConvConv Conv ConvConvConvcatCBSConvConv Conv ConvConvConvcatCBS=SPPCSPCCBSCBSCBSMaxPool 5MaxPool 9MaxPool 13catCBS CBScatCBSCBSMP-1MaxPool ConvConv Conv=catMP-2MaxPool ConvConv Conv=catREP=ConvBNConvBNBNaddtraindeployYOLOHeadYOLOHeadYOLOHeadSiLUSigmoidELAN-
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 改进 YOLOv7 交通标志 检测 算法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。