一种基于YOLOv5s的红外图像目标检测改进算法.pdf

第 卷 第 期 激 光 与 红 外 ，年 月 ，文章编号：（）红外技术及应用一种基于 的红外图像目标检测改进算法李晓佩，张寅宝，李严培，姚芸星（郑州大学南校地球学与技术学院，河南 郑州 ）摘要：受热红外成像方式限制，交通场景下红外图像存在对比度低、目标尺度和姿态的多样性以及目标之间的相互遮挡问题，从而造成检测精度下降，部分目标出现漏检、误检的情况。本文在 的基础上提出一种改进算法：在数据处理方面，使用 算法对训练集图像进行部分数据增强；在模型改进方面，通过引入跨域迁移学习策略、插入通道注意力机制 、改进损失函数 为 对 进行改进。并通过消融实验的方式，在自制数据集上对夜间道路环境下的电动自行车驾驶行为进行检测。实验结果表明，改进后的算法对单人驾驶电动自行车行为检测的平均精度达到了 ，比 的检测精度提高了 ；对载人驾驶电动自行车行为检测的平均精度达到了 ，比 的检测精度提高了 ；总类别检测的平均精度达到了 ，比 的检测精度提高了 ，有效降低了红外目标漏检、误检的概率。关键词：；红外目标检测；跨域迁移学习；中图分类号：；文献标识码：作者简介：李晓佩（），女，硕士研究生，研究方向为深度学习，图像处理。通讯作者：张寅宝（），男，副教授，硕士生导师，主要研究方向为目标检测，图像处理。：收稿日期：，（，）：，；，；，；，：；引言根据中国统计年鉴，年全国非机动车交通事故量共有 起，造成 人死亡，人受伤，直接财产损失达到了 万元。电动自行车作为非机动车的典型代表，数量庞大、不易制定规范、事故发生率高，朱新宇等 根据相关数据分析，年驾驶电动自行车肇事死亡人数增长了 ，其中乘坐者死亡人数达到了电动车总体死亡人数的 以上。夜间光照条件不良的情况下，电动自行车驾驶人员对周围环境的感知能力降低，更易引发交通事故。因此，采用红外图像对夜间电动自行车驾驶行为检测具有现实意义。传统非机动车检测主要是人工提取图像中的颜色、形状等特征，然后通过支持向量机、等分类器识别 。近几年随着深度学习的发展，现代目标检测算法成为非机动车检测识别的主流方法，有效克服了传统非机动车检测方法中人工构建特征不全、非机动车外观多变、鲁棒性低、窗口冗余等问题，一般分为 目标检测算法和 目标检测算法 两类。作为典型的 目标检测算法近些年来被广泛应用于红外目标检测 中，本文将 应用于夜间交通场景下电动自行车驾驶行为检测，分别在数据预处理阶段和 模型本身两个方面进行改进，最后通过消融实验的方式验证了改进算法的有效性。改进算法使用 实现夜间道路环境下电动自行车驾驶行为检测的方法主要包括三个步骤：数据预处理、网络训练和检测结果输出。在数据预处理阶段包括数据采集、筛选图像、数据划分和数据集制作四个步骤，本文在数据预处理中增加部分数据增强步骤，目的在于改善由红外成像方式引起的图像质量不高、目标边界模糊造成的检测精度下降问题，针对图像中含有目标类别选择增强算法，起到丰富目标特征、提升检测精度的效果。在网络训练阶段选用 模型，该算法主要包括四个部分：、。在 中引入跨域迁移学习策略，用于解决使用小样本数据集对网络进行训练造成的模型不稳定问题；在网络的主干部分 中添加基于通道注意力机制的 模块，用于解决由于目标尺度和姿态多样性造成的部分目标漏检、误检问题。在 中使用 替换原来的 ，提升模型的检测速度、检测精度。本文流程如图 所示。图 本文流程图 最后输出两个类别的检测结果：单人驾驶电动自行车行为，以下统称为类别一；载人驾驶电动自行车行为，以下统称为类别二。数据处理改进在夜间环境下，热红外成像方式具有不受光照条件制约的优势，但受设备性能的影响，红外图像相较于可见光图像存在分辨率低、目标边缘模糊的缺点，从而造成使用 在红外图像上进行检测时精度不高。为解决这一问题，本文选取了两种算法：自适应直方图均衡（，）、限制对比度自适应直方图均衡（，）方法对图像进行增强。两种方法的增强效果如图 所示。图 增强效果对比图 在交通场景下的红外图像中，成像范围内环境温度变化较小，图像整体表现为对比度低。驾驶电动自行车行为目标在图像中表现为亮部少、暗部多激 光 与 红 外 第 卷的一种轮廓形态，电动自行车的车体部分温度接近环境温度，在图像中表现为亮度低，其中车轮部分在运动过程中温度较高，在图像中表现为一个亮度较高的环形轮廓，驾驶人和乘坐人与环境温度相差较大，在图像中表现为亮度高，两类目标中类别二的亮部区域多于类别一。普通的直方图均衡化算法对图像中全部像素使用相同的直方图进行变换，图像中较亮和较暗区域对比度得不到有效提升。算法对每个像素的周边矩形范围内的像素做直方图均衡化处理，增强后的图像表现为亮部更强暗部更暗，通过提升局部特征的对比度来提升整幅图像的对比度，同时放大图像中的噪声；算法能够有效地抑制 算法产生的噪声，但同时也降低了图像的对比度，不利于网络训练。对比使用 算法和 算法增强后数据集与未使用算法增强的数据集的训练结果发现，使用 算法增强后的数据集中类别二的训练精度有明显上升，类别一的训练精度略有下降；使用 算法增强后的数据集中类别一、类别二的训练精度均略有下降。基于此，提出一种数据集数据处理改进方法 部分数据增强方法，首先对数据集中每幅图像所含的目标类别进行统计，然后根据图像中所含目标类别选择增强算法，对含有类别一的图像做自适应直方图均衡化（）处理，对含有类别二的图像不做处理，同时含有类别一、类别二的图像不做处理。模型改进 模型（版本）主要包括个部分：部分，主要包括图像的自适应缩放，数据增强。网络的主干部分 ，通过特征提取网络对特征信息进行提取。部分，主要包括 结构，用以连接网络的 和 部分。部分，包括多尺度预测，在三个尺度（，）上对输出目标框、标签类别进行预测，边界框损失函数采用 提升预测框的回归速度和精度，使用 激活函数进行平滑以便求导。本文在 部分通过预加载权重的方式引入跨域迁移学习策略，降低目标检测任务对硬件设备的依赖性，同时迁移学习可见光图像训练所得网络的边缘概率和网络参数，提高使用小样本红外数据集对网络训练的精度；在 部分插入基于通道注意力机制的 模块，改善目标间互相遮挡造成的漏检、误检的问题；在 部分使用 替换 ，提升网络梯度更新速度、增加高 锚框的输出数量。改进后的网络结构如图 所示。图 改进后 网络结构 跨域迁移学习在目标检测任务中，往往需要大量的图像数据对模型进行训练以提高精度。受硬件设备的约束以及人工标注成本制约，用于模型训练的数据集较小时，会导致训练得到的模型检测精度低、泛化能力不强。针对这一问题，冯毅雄等 提出一种集成迁移学习的轴件表面缺陷实时检测方法，解决了小样本和实时检测效率低的问题；蒋文萍等 采取多重迁移学习的方法通过对 张图片的火灾数据集训练得到火灾探测模型，得到了较好的目标精度；王卓 等使用跨域迁移与域内迁移学习相结合的学习策略解决了苹果数据集样本量小的问题。基于前人的研究，为了降低目标检测任务对硬件设备的依赖和人工标注成本，针对红外目标的检测，本文在 模型的基础上提出一种基于小样本数据集的跨域迁移学习策略，即在 的 部分预加载 数据集的训练权重进行训练。跨域迁移学习策略如图 所示。跨域迁移学习就是从大数据集样本、多种类（类）目标训练得到的用于可见光图像目标检测的网络权重，应用于小样本数据集、较少种类（类）目标训练的红外目标检测任务中进行再训练。从目激 光 与 红 外 李晓佩等一种基于 的红外图像目标检测改进算法标种类丰富、样本量大的数据集训练得到的用于可见光图像目标检测的模型中学习其特征空间、边缘概率和网络参数，进而提升 应用于小样本红外数据集训练的泛化能力和检测精度。图 跨域迁移学习策略图 模块在交通场景下，道路环境复杂，目标物体之间、目标物体与其他物体之间不可避免的会出现互相遮挡的情况，造成可用检测特征减少，从而导致漏检、误检，检测精度下降问题。为解决检测特征减少造成的检测精度下降问题，本文在 部分特征提取网络中的 层和全连接层之间插入基于通道注意力机制的 模块，对提取到的共 个通道赋予不同权值，对通道中的无效特征进行抑制、有效特征进行增强，起到降低信息冗余的作用，从而降低目标的漏检、误检概率。模块如图 所示。图 模块图 模块采取重定标策略实现对通道的加权。首先，对于给定输入的 经过卷积操作后通道数由 变换成 ，然后通过 操作（）将二维通道特征变换成实数实现通道加权，接着 操作（）通过 参数建立起通道间的相关性关系，最后 操作（）将 操作得到的相关关系与 个通道的特征图进行点乘，实现在通道维度上对原始通道中特征图层的重新加权。的 部分对边界框的预测采用 作为损失函数，解决了交并比（，）在预测框与真实框在没有重叠情况下的梯度消失问题，但是并未解决预测框与真实框的宽和高相同时，退化为 的问题。有学者在 的基础上提出 损失函数，进一步考虑 中的重叠面积、中心点距离和长宽比以及正则化项，解决了 中出现的损失函数退化问题，有效促进了网络梯度的更新速率，但是并没有考虑到高 目标与低 目标之间的权重分配问题。本文在 的基础上进一步考虑，使用 代替原网络中的 作为边界框预测的损失函数，通过控制权重系数 ，使检测器根据所有预测对象的 自适应的降低和增加其相对损失。的定义为：（，）（）（）()（）（）（）式中，为预测框宽；为预测框高；为真实框宽；为真实框高，（，）为预测框中心点 与真实框中心点 的欧氏距离；为可以包含预测框和真实框的最小闭合区域的对角线长度；可取大于零的数。实验 实验环境实验参数设置：设置为 ，设置为 ，初始学习率、学习率动量、学习率周期权重衰减系数分别设置为：、，图像输入大小为 。具体实验环境如表 所示。表 实验环境 名称环境参数操作系统 （）语言 神经网络框架 、精度指标精确率（）是指目标检测正确的概率，激 光 与 红 外 第 卷计算公式如下：（）召回率（）是指所有正样本中正确识别的概率，计算公式如下：（）平均准确率（，）为 曲线与 轴所围成的面积，计算公式如下所示：（）（）实验选取平均准确率精度（，）作为评价指标，对模型改进效果进行评定。数据集 数据采集数据采集工具使用红外摄像仪，其参数设置如表 所示。表 数据采集参数设置 色板模式分辨率量程 校正参数温度 反射温度 环境温度 湿度发射率距离 黑热 针对两种电动自行车驾驶行为，为了更好的适应实际环境，分别采集多段含有一定样本数量的视频序列。数据采集时间选择晚上的 点到 点，采集地点选择道路交叉口，现场采集环境如图 所示。图 现场采集环境 数据集制作对拍摄到的 段红外视频序列按照 张 秒的速度进行截取，筛选出含有电动自行车驾驶行为的红外图像共 张，按照 的比例将其划分为训练集、验证集和测试集，称为数据集一。遵循 的方法，沿用由 在 数据集上聚类得到的锚框来预测边界框。边界框的标注工具使用 ，生成 格式标注文本。得到两种类别的标签数量共 个，类别一共 个，类别二共 个。表 为数据集信息。为验证数据预处理方法中数据集部分数据增强方法的有效性，制作数据集二，即对数据集一中训练集使用部分数据增强方法进行处理，不改变标签的类别和数量。部分数据集二的图像如图 所示。其中，组为训练集中部分只包含类别一的图像，组为训练集中只包含类别二的图像，组为训练集中同时包含两个类别的图像。表 数据集信息 类别数量红外图像 张 类别 个标签 个 类别一（单人驾驶电动自行车行为）个 类别二（载人驾驶电动自行车行为）个 图 部分数据集二图像 消融实验为了验证本文提出的数据处理改进方法中的部分数据增强方法和算法改进方法中的三种改进方法激 光 与 红 外 李晓佩等一种基于 的红外图像目标检测改进算法分别对类别一和类别二的检测效果影响，采取消融实验的方式分别验证四种改进方式的效果，具体实验设置如表 所示。以实验一为基础实验，实验二用来验证数据处理改进方法的有效性；实验三至实验五分别用来验证 模型改进方法的有效性，实验三用来验证跨域迁移学习方法对小样本数据集训练的作用，实验四用来验证 模块对红外目标漏检、误检的改善效果，实验五用来验证 函数对算法检测速度提升的能力。表 消融实验结果对比 名称改进部分部分数据增强跨域迁移学习 实验一 实验二 实验三 实验四 实验五 结果分析分别从精度分析和效果分析两个方面验证本文提出四种改进方法。对比实验一和实验二，类别一的平均精度上升了 ，类别二的平均精度上升了 ，总类别平均精度上升了 ，验证了数据处理改进方法对 模型检测的精度提升的有效性；在实验二到实验五中分别验证了模型改进中三种方法的有效性。对比实验二和实验五，类别一的平均精度上升了 ，类别二的平均精度上升了 ，总类别平均精度上升了 。同时，改进后的方法能有效降低 算法的漏检、误检概率。精度分析 曲线图能够更为细致的反映各个类别的精度变化情况，实验一到实验五的各类别 曲线图如 所示。（）实验一 曲线图（）实验二 曲线图（）实验三 曲线图激 光 与 红 外 第 卷（）实验四 曲线图（）实验五 曲线图（）（）实验六 曲线图（）图 曲线对比 实验一使用数据集一对 模型进行训练所得的各类别的 曲线图如图 （）所示，类别一的平 均 精 度 为 ，类 别 二 的 平 均 精 度 为 ，总类别平均精度为 。实验二使用数据集二对 模型进行训练所得的各类别 曲线如图 （）所示，类别一的平均精度为 ，类别二的平均精度为 ，总类别平均精度为 ，结果明显优于实验一。在 轮次的训练下，低召回率范围的精度变化较大，体现出了小样本数据集对 模型进行训练造成的不稳定性。实验三在实验二的基础上在网络中的 部分预加载网络权重训练，各类别 曲线图如图（）所示，有效改善了低召回率范围下精度变化较大的问题，类别一的平均精度为 ，类别二的平均精度为 ，总类别平均精度为 。实验四以实验三为基础，在网络中的 部分插入 模块，通过通道赋予权重的方式抑制用处不大的特征图层，进一步提升检测精度。各类别的 曲线图如图 （）所示，类别一的平均精度为 ，精度提升；类别二的平均精度为 ，精度提升 ；总类别平均精度为 ，精度提升 。实验五以实验四为基础，在网络中的 部分使用 替换网络中原有的 ，与 相比能够加速网络中梯度的更新速率，参数的引入提高了高 预测框的相对损失权重，这一改进使低 目标被检测到的更少，造成模型在 的性能下降，但可以通过在高 时的提升进行弥补，因此总体的检测精度是上升的，不同的是样本中具有更多真阳性和假阳性目标框。由于 参数可自由选取为大于零的实数，分别将其赋值为 和 ，图 中的（）、（）两图分别为 取 和 的 曲线图，可以看到，当 值取 时比 取 时的效果更好。效果分析图 展示了改进后 检测效果图 （）与改进前 检测效果图 （）。图 中的 、组图像显示出改进后的网络可以有效的降低漏检的频率，图 第 组（）图中成功检测出了（）图中未能检测到的目标；第 组（）图中成功检测出了（）图中未能检测到的被遮挡目标。图 中的 、组图像显示出改进后的网络可以有效的降低误检的频率，第 组（）图中将骑自行车的行人误检为单人驾驶电动自行车行为，在（）图中没有出现误检现象；第 组（）图中将被汽车遮挡住的行人误检激 光 与 红 外 李晓佩等一种基于 的红外图像目标检测改进算法为单人驾驶电动自行车行为，在（）图中没有出现误检现象。检测结果表明，改进后的 模型能够很好的应用于红外图像中电动自行车驾驶行为检测。图 检测效果对比 结论本文针对夜间交通环境下红外摄像仪拍摄图像质量不高造成的目标边缘模糊，复杂背景下目标自身、目标与目标之间、目标与其他目标之间相互遮挡造成的漏检、误检问题，以及小样本数据集训练效果不佳的问题，网络梯度更新速率慢、高 锚框的预测数量少的问题，提出一种基于 改进算法。通过消融实验的方式，将改进后的 应用于红外图像的目标检测问题，实现了夜间道路下的两种电动自行车驾驶行为检测，并有效降低了红外目标漏检、误检的概率，提升了检测精度。改进后的 模型大小为 ，比原算法增加约，检测单幅红外图像平均耗时 ，比原算法检测速度提升约 ，具备较好的移植能力和检测速度，未来可运用于城市智能交通和精细管理中。参考文献：，（）：（）朱新宇，褚昭明，朱建安，等 中国电动自行车交通事故析因及对策建议 城市交通，（）：，（）：（）肖雨晴，杨慧敏 目标检测算法在交通场景中应用综述 计算机工程与应用，（）：，：，（）：（）段辉军，王志刚，王彦 基于改进 网络的双通道显著性目标识别算法 激光与红外，（）：，（）：（）刘智嘉，汪璇，赵金博，等 基于 算法的红外图像目标检测的改进方法 激光与红外，（）：，（）：（）谭康霞，平鹏，秦文虎 基于 模型的红外图像行人检 测 方 法 激 光 与 红 外，（）：，（）：（）激 光 与 红 外 第 卷王永平，张红民，彭闯，等 基于 的高压开关设备异常发热点目标检测方法 红外技术，（）：，（）：（）冯毅雄，赵彬，郑浩，等 集成迁移学习的轴件表面缺陷实时检测 计算机集成制造系统，（）：，（）：（）蒋文萍，蒋珍存 基于多重迁移学习的 初期火灾探测研究 消防科学与技术，（）：，（）王卓，王健，王枭雄，等 基于改进 的轻量级苹果实时检测方法 农业机械学报，（）：，（），：（），：，：，：，激 光 与 红 外 李晓佩等一种基于 的红外图像目标检测改进算法