结合注意力机制的YOLOv5红绿灯检测算法_邓天民.pdf

（）年 第 卷 第 期 收稿日期：基金项目：国家重点研发计划项目（）；重庆市技术创新与应用发展专项重点项目（-）；川渝联合实施重点研发项目（-）；重庆市教育委员会科学技术研究项目（）作者简介：邓天民，男，博士，副教授，主要从事交通大数据、自动驾驶、交通控制研究，-：；通信作者 王春霞，女，硕士研究生，主要从事深度学习、交通环境感知研究，-：。本文引用格式：邓天民，王春霞，刘金凤，等 结合注意力机制的 红绿灯检测算法 重庆理工大学学报（自然科学），（）：，（），（）：（）结合注意力机制的 红绿灯检测算法邓天民，王春霞，刘金凤，刘旭慧（重庆交通大学 交通运输学院，重庆 ）摘要：针对现有交通灯算法对小目标、遮挡目标检测识别效果不佳等问题，提出一种基于注意力与多尺度特征融合的 检测算法（-，-）。通过在残差结构中引入坐标注意力模块，提高对小目标的特征提取能力；设计四尺度检测层，通过引入更浅层特征改善对小尺度目标的检测性能，提高检测精度；针对引入注意力和检测层导致计算量增大、速度降低的问题，采用分布移位卷积替换部分主干卷积的方法，简化模型，提升速度。实验结果表明：该算法在 数据集上平均精度均值达到 ，相较于经典 算法，精度提升 ，速度达到 ，在复杂恶劣环境下的 数据集上，精度提升 ，速度达到 ，具有良好的检测效果，能较好地满足交通灯的实时检测。关键词：交通灯检测；注意力机制；多尺度检测；深度学习中图分类号：文献标识码：文章编号：（）引言交通信号灯的检测与识别对无人驾驶和辅助驾驶技术具有重要意义，能够为道路交通安全提供强有力的保障，通过对交通灯准确定位和类别识别，能够为行驶中的车辆提供交通信号灯信息，保障车辆行驶安全，减少交通事故发生。早期对交通灯的研究大多采用人工特征提取的传统检测识别方法，主要针对单一特征，但该方法只适合简单特定场景，复杂场景下目标检测精度差，效果不佳。针对传统检测识别的缺点，近年发展迅速的深度学习方法能对此进行有效解决。基于深度学习的目标检测算法分为 种，其一是两阶段算法，需要先生成候选区，再对候选区进行分类和回归，主 要 包 含 -、-、-。等 针对特征提取问题，通过移除池化层，减少池化倍率的方法提高对小目标检测识别效果，改进后的算法相比原算法精度提升 .，但计算量大，难以保证检测的实时性。等 针对小目标漏检的问题，提出引入注意力模块对目标进行准确定位，实验结果表明，加入注意力机制的 -精度和速度在一定程度上都提升了。两阶段算法虽提升了检测精度，但运行速度慢，无法满足实时性要求，为了解决这一问题，学者们对另外的一阶段算法进行了探讨研究，一阶段算法主要包含 和 系列。钱弘毅等 针对检测场景复杂多变，目标小，难以检测等难点，提出一种基于深度学习的交通信号灯快速检测与识别算法，改进的 算法在 数据集上取得 的准确率。孙迎春等 针对交通灯漏检率高，召回率低的问题，提出一种基于优化 算法的交通灯检测方法，改进后的模型较原模型精度提升 ，速度达到 。等 针对小目标检测敏感弱、平均精度低的问题，采用包围盒预测机制和高斯函数提高对小目标的定位和颜色分辨能力，改进后 的 较 原 算 法 提 高 了.，但精度相对较低。为了平衡精度和速度，达到两者都实现的目的，应运而生。由于 个版本中，模型复杂度较小，且在精度和速度上都具有较好的性能，因此本文选择以 为基础，针对小目标漏检、误检问题，结合位置信息与多 尺 度 检 测 提 出 了 精 准 定 位 识 别 的 -红绿灯检测算法，并在 和 数据集上进行实验，验证了该方法的可用性。本文方法-算法结构如图 所示。该模型采用自适应缩放方法将图片大小调整统一，针对精准捕捉浅层特征难的问题，结合坐标注意力的特征提取网络对输入图片的丰富浅层特征进行更好的学习，提高特征提取能力；针对红绿灯大多为极小目标，检测效果差的问题，模型中引入四尺度检测层，通过特征融合浅层特征提高对极小目标的检测精度，由于引入注意力和多尺度，在精度提升的同时，增加了参数量，故利用分布移位卷积替换主干部分卷积，达到提升检测速度的目的。图 -算法结构 引入坐标注意力模块对于输入图像，红绿灯只占其极少部分像素，并极易受复杂背景的影响。由于卷积后产生的大量冗杂信息造成了图像中小目标的检测效果不佳，为了解决冗杂信息干扰问题，本文引入坐标注意力机制（，），与 和 不同，坐标注意力不仅考虑通道间的关系还考虑了特征空间的位置信息，对于小目标而言，可以有效定位和识别感兴趣对象，进而提升检测的准确率。如图 所示，通过精确的位置信息对通道关系和长期依赖性进行编码，主要分为 个步骤：坐标信息嵌入和坐标注意力生成。对坐标信息嵌入来说，为促使注意力模块能够捕捉具有精确位置信息的远程空间交互，对给定输入的 ，实行全局池化分解转化为一对一维特征编码操作，获得一对方向感知特征图。图 注意力结构邓天民，等：结合注意力机制的 红绿灯检测算法对于坐标注意力生成来说，首先对坐标信息嵌入变换后得到的特征图进行拼接操作，然后使用 卷积变换函数对拼接后获取的特征信息进行转换，得到中间特征图，并沿着空间维数分解成 个单独的张量，最后利用卷积变换将个单独张量转化为具有相同通道数的张量，进而输出 。注意力机制具有轻量和即插即用的特点，本文主要将 用于特征提取网络的残差部分，旨在对输入图片的丰富特征进行有效提取。将加入注意力后的残差和对残差进行特征学习的模块分别命名为 -残差结构、-结构，如图 所示。图 融合注意力模块结构 多尺度检测在原网络检测中，通过对特征图进行多尺度融合获取了 个不同尺度的检测层，分别对大、中、小目标进行检测识别。由于交通灯在图片中占据较小部分，导致出现小目标漏检的问题，为了增强对小目标的检测性能，增加一组更浅层的特征图用于预测目标，形成四尺度检测，四尺度检测在提高检测精度的同时减少了交通灯的漏检情况。结构如图 所示。图 四尺度检测结构 分布移位卷积替换分析模型规模时发现，引入 注意力机制和增加检测层在提高精度和召回率的同时，也增加了参数量，使模型复杂程度加深，为解决这一问题，利用分布移位卷积（）替换主干网络的部分标准正则卷积，在保证精度的同时，减少参数量，简化模型的复杂程度。是标准卷积的即插即用替代品，可直接用于任何卷积神经网络，如图 所示，卷积层将传统的卷积内核分解为 个组件：可变量化内核（）和分布式移位。利用量化和分布移位来模拟卷积层的行为，首先通过在 中存储整数值来实现较低的存储器使用和较高的速度，然后通过应用基于内核和基于通道的分布偏移来保持与原始卷积相同的输出，达到提高模型速度和减少参数量的目的。图 结构通过对标准卷积的分析，设计了 种新的主干网络卷积结构，如图 所示。-结构将第三层和第五层的卷积核替换成 ，参数量减少约 ，如图 （）所示；在 -结构的基础上，将第一层和第七层卷积核替换成 ，进一步降低了 的参数量，提升了运行速度，如图 （）所示。图 替换结构 实验 实验环境本实验采用 -处理器，内存和显存均为 ，显卡为 。环境采用 深度学习框架，。训练配置参数设置如下：训练轮数 次，初始的学习率为.，批量大小（-）为 。实验数据集选用 数据集和 数据集中的图像进行交通灯的模型检测实验，数据集为法国巴黎矿业大学发布的公开数据集，只含单一的交通灯标签且交通场景复杂；数据集是由伯克利 实验室发表，覆盖不同时段、雨天和光照强度等恶劣天气图片，并包含树叶遮挡以及车辆遮挡下的图片。部分数据集样本如图 所示。图 部分数据集样本从 数据集中选取 张包含 、种标签的图片作为基础实验数据集，并从 数据集中选择只包含实验需要的 类别的 张复杂恶劣图片作为实验扩充数据集，将处理好的数据集都按照 进行划分，分别为训练集、验证集和测试集。评价指标为验证本文算法的性能，选用精确率（-，）、召回率（，）、平均精度（-，）、平均精度均值（-，）等指标对改进后模型的性能进行评价分析。）精确率和召回率精确率是指正确预测为正的占全部预测为正的比例，召回率是正确预测为正的占全部实际为正的比例，其表达式如下。（）（）平均精度和平均精度均值平均精度表示 -曲线下包围的面积，平均精度均值表示各类平均精度的平均值，表达式如下，其中 表示交通灯种类的数量。（）（）（）（）速率速率（）是指用来评估目标检测的速度，一般来说，模型的实时性与速率成正比关系。实验与结果分析 主干网络实验本文中所提的模型在主干网络进行了两部分实验，分别为残差网络和主干卷积网络。融合注意力机制后的残差网络，增加了一定运算量，导致检测速度下降了 ，但坐标注意力增强了对小目标和遮挡目标特征学习能力，在红绿灯检测精度上有较大提升，分别提升了 和 ，平均精度均值提升了 ，如表所示。由此可知，引入注意力机制可以提升检测性能。表 网络模型检测与识别结果 （）原网络 原网络 利用分布移位卷积替换主干卷积，能够大幅度减少模型参数量，简化了模型复杂度，减少了计算量，加快了模型运行速度，为了探究怎样进行替换才能保证精度的同时使得运行速度提升的效果最佳，进行 组卷积替换实验，结果如表 所示。由实验结果可知，相比原网络结构，-结构和 -结构平均精度均值变化不大，但前者在参数量上减少约 ，速度提升了.，后者速度达到 ，提升了 邓天民，等：结合注意力机制的 红绿灯检测算法 ，参数量相比 -结构减少了约 ，综上可知，-结构才能保证精度的同时，对速度的提升效果更优，模型简化程度更大，因此选择它对原网络进行优化。两部分优化后的主干网络结构如表 所示。表 卷积替换实验结果 （）原网络 -表 主干网络结构 -多尺度特征检测实验在原有三尺度特征检测中，卷积后对浅层特征信息保留较少，不利于小目标的检测识别，为解决这一问题，增加 检测层，由原来的 、的三尺度检测拓展为 、的四尺度检测，为探究增加检测层对图片的检测效果，进行多尺度检测实验，实验结果见表 。由表 可知，采用四尺度检测能有效融合更浅层特征，减少漏检情况，提升红绿灯的检测效果，在平均精度上，红灯提高了 ，绿灯提高了.，与原网络相比，整体平均精度均值提升.。由于检测层增加使模型更加复杂，导致速度稍微减慢，但对实时交通灯检测影响不大。表 多尺度对比实验 （）原网络 原网络 四尺度 消融对比实验为探究加入注意力机制、替换卷积和增加检测层对模型的整体影响，设计 组实验，从精度（）、召回率和检测速度 个角度进行对比分析，得到的结果如表 所示。通过实验可知，原网络的浅层特征提取能力有限，对小目标检测效果不佳，存在严重的漏检、误检问题，对此引入注意力和四尺度检测层，精准定位识别目标特征，有效增强了浅层特征提取和融合性能，提高了红绿灯的整体检测效果，在精度和召回率上分别提高了 和 ，但两者的结合增加了参数量，导致检测速度降低了 ；因此，为提升速度，在实验 的基础上，进行卷积的替换实验，由表 可知，三处优化的检测速度达到 ，相比于实验 提高了 ，精度达到 ，相比原网络提高了.。综上可知 -算法能较好地满足交通灯实时检测与识别。表 模型优化实验结果实验序号加入注意力增加检测层替换卷积 （）注：代表选用此方案。将本文提出的方法在 数据集上进行测试，并与其他网络模型进行对比，结果如表 所示。由表可知，本文提出的模型相较于之前的模型，各类精度都有较大提升，对小目标的检测识别效果更佳。表 不同模型的实验结果 -为了验证模型在复杂恶劣环境下对交通灯的检测效果，选取 数据集进行训练和测试。从表 结果可知，-模型在检测精度和召回率上都优于原模型，速度达到 ，满足交通灯的实时检测。表 模型优化实验结果 （）-将优化后的 -算法与原算法在 数据集和 数据集上进行实验后得到的平均精度均值进行对比，实验结果如图 所示，由图可知，该模型较于原模型在 个数据集上皆取得良好的检测性能，泛化性良好。图 实验结果曲线为进一步分析模型对遮挡目标的检测性能，从实验选取的 数据集中随机挑选 张遮挡目标图片，并对优化前后的遮挡目标检测数量进行统计分析，如表 所示。由表可知，相比原算法，漏检率降低 ，说明本文提出的方法对遮挡目标检测效果良好。检测效果如图 所示。邓天民，等：结合注意力机制的 红绿灯检测算法表 模型优化的遮挡目标统计结果 检测数量实际检测数漏检率 -由图 可知，相比原算法，本文方法对树叶遮挡和车辆遮挡的红绿灯小目标的漏检情况有一定改善，对遮挡目标的检测效果良好。通过图 部分效果对比可知，在 数据集上，本文方法对小目标的检测效果比原算法更佳，能准确对红绿灯进行识别；在 数据集上，本文方法能有效改善对小目标出现的漏检情况，提高检测识别精度，具有良好的检测效果。图 遮挡目标检测效果图 部分效果 结论为解决现有交通灯算法对小目标、遮挡目标检测识别效果不佳的问题，提出一种基于注意力与多尺度特征融合的 检测算法（-），通过加入 注意力、增加小目标检测层、替换 主干卷积等方法，提升目标定位识别能力和小目标检测精度。同时，将-算 法 和 算 法 在 和 数据集上进行了对比实验。实验结果表明，在 数据集上，本文提出的方法识别精度达到 ，比 算法提高 ，对小目标检测效果良好；在 数据集上，相比 算法，-算法精度提升 ，召回率提升 ，能有效改善目标的漏检情况。参考文献：，-（）：，：-（）：，：，-：-，（）：，-，（）：，-，（）：，：（）：，：，：，（）-：，：，：-，（）：，：（）：钱弘毅，王丽华，牟宏磊 基于深度学习的交通信号灯快速检测与识别 计算机科学，（）：孙迎春，潘树国，赵涛，等 基于优化 算法的交通灯检测 光学学报，（）：，（）：，（）：，：，-（），：，：-（）-：，：，-：-：，：马俊才 面向跨视角的信号灯检测 北京：北京交通大学，（，）：，-（-），-，-：；-；（责任编辑王欢）邓天民，等：结合注意力机制的 红绿灯检测算法