地面红外目标数据联合增强方法.pdf

针对地面非合作特种车辆目标红外数据获取难度大、成本高，深度学习网络小样本数据条件下易于出现过拟合、网络泛化能力差等问题，本文以地面车辆红外数据为对象，提出了一种基于几何 特征空间变换的数据增强方法。首先，通过高清红外设备构建了原始地面车辆红外数据集；在此基础上，利用金字塔生成对抗网络（）的空间特征重构机制，联合几何空间变换，对原始车辆红外数据进行了增广，并建立了地面目标红外数据集 ；最后，利用几种不同深度学习目标检测模型对增强后的红外数据集进行测试，验证了几何 特征空间联合变换方法数据增强的有效性，为地面非合作特种车辆红外数据增强提供了新方法。关键词：地面目标；红外数据集；数据增强；几何 特征空间变换中图分类号：；文献标识码：，（，）：，：；作者简介：赵晓枫（），男，博士，副教授，硕导，主要从事兵器发射理论与技术方面的研究。：通讯作者：夏玉婷（），女，硕士研究生，主要从事计算机视觉方面的研究。：收稿日期：；修订日期：引言近年来，随着深度学习技术的不断发展，基于深度学习的红外目标检测技术 由于能够有效减少人的参与度，实现智能化检测，因而在军事领域中得到了广泛关注。然而，在以数据为驱动的深度学习领域，数据样本规模和类型分布决定了深度学习模型的检测性能。当目标数据样本充足且分布均匀时，是较为理想的情况，可以让深度学习网络模型的训练过程更加平稳，使得训练好的模型具有更好的检测性能。但是，对地面背景条件下的非合作特种车辆进行红外目标检测时，由于非合作特种车辆红外数据获取难度大、成本高，往往缺少充足的红外数据样本。而在小样本数据条件下，深度学习网络易于出现过拟合、网络泛化能力差等问题，严重影响目标检测精度。为减少样本数量对神经网络的影响，提高网络泛化性能，研究人员提出了诸如正则化 、批量规范化 、迁移学习 和预训练 等方法，增强网络从原始数据中提取特征信息的能力。红外图像通过目标与背景的辐射强度差突出目标，存在噪声大、对比度低等问题，与可见光图像相比，缺少了色彩、轮廓等信息，难以通过目标本身的多种特性进行检测 ，在地面复杂背景下，模型更容易被背景干扰，所以并不是所有的数据增强方法都适用于红外目标的数据增强。例如传统的色彩变幻 的数据增强方法，就不适用红外图像的增广。目前常用红外图像数据增广的方法有两类：一种是基于几何空间变换法，通过对图像进行旋转、裁剪、镜像、随机遮挡 等方法实现对原始图像数据的增强；另一种是基于生成对抗网络的数据增强 ，通过博弈的方式生成新的特征图。研究人员提出诸如提出基于空间联合的方法，对红外舰船目标进行增广 ，从而获得足够的数据来驱动神经网络对模型进行训练。基于几何空间变换的传统数据增强方法，通过对目标位置、角度等几何空间的变换实现对图像数据的拓展，操作简单、方便，得到的数据具有有效性和真实性。在一定范围内，可以改善小目标低检测率问题 ，提高深度学习模型的检测精度。由于应用范围相对有限，数据增广后，数据样本分布不均匀的问题却没得到改善，对目标检测算法的适用性和泛化性 没有很大的提高。基于生成对抗网络的数据增强方法，主要通过 网络来实现，网络可以对原始网络的特性进行学习，并模仿出类似的特性 ，以此达到数据增强的目的。基于生成对抗网络的增强方法可以改善样本分布不均匀的问题，提高数据集的适用性与泛化性。但通过单一传统的 网络对数据进行增广时图像质量不可控，训练成本也比基于几何空间变换的数据增强方法高。为解决地面复杂环境下非合作特种车辆目标红外数据获取难度大、数据样本不足的问题，本文提出了一种基于几何 特征空间变换的地面目标红外数据增强方法。通过红外高清相机获取地面车辆红外数据，建立一个多角度，多背景的地面车辆红外数据集，在此基础上，利用几何 特征空间联合变换的方法对获取的原始红外数据进行增广，构建了数据充足、特征分布均匀的地面车辆红外目标数据集，并设计了目标检测精度实验和多模型测试对比实验，验证了本文数据增强方法的有效性，证明方法可以应用到非合作特种车辆目标红外数据增强中。原始红外数据集 建立数据集本文通过使用像素分辨率为 的 中波红外热成像仪，获取不同时段和角度的地面车辆红外图像，获得地面车辆的原始红外图像 张，如图 所示。其中包含车辆在不同背景、不同角度、不同光照条件下的红外图像，以及不同程度遮挡下的车辆红外图像。图 原始红外图像 数据处理原始数据收集后，使用软件精灵标注助手（）对原始红外图像进行标注，生成包含车辆类别和位置信息的 文件，并将处理好的图像制作成 数据集，数据集结构如图 所示。数据增强基于深度学习的数据增强技术主要从数据扩充的角度对模型进行性能上的提升，而不是改变深度模型的网络结构 。当数据集中的目标大小、特征等均匀分布时，是较为理想的情况，能使模型的训练激 光 与 红 外 第 卷过程更加平稳，训练好的模型会具有较好的泛化性和检测精度。但实际采样得到的数据特征往往具有人为的因素，无法覆盖所有的场景，从而导致网络训练结果不理想。图 数据集结构图 通常，在制备原始红外图像数据集时，往往会受到数据采集场景、采集时间、采集温度的影响，出现样本集中呈现正态分布，甚至长尾分布的情况。而且在模型训练的时候，占比较大的容易出现过拟合，而占比较少的分布出现欠拟合甚至被其他数据淹没无法有效训练的情况，严重影响了所训练模型的泛化性能。所以为改善原始数据难以获取、数量少，且样本分布不均匀的情况，从基于几何空间变换的方法和基于生成对抗网络的方法对有限的数据进行增强，从而获得足够的数据来驱动神经网络对模型进行训练，克服训练过程中由于数据长尾分布导致训练的模型的过拟合问题，提高神经网络的泛化性。几何 空间联合变换的数据增强方法基于几何变换的数据增强方法，方法容易实现，得到的数据集在样本数量和质量上也有一定程度提高，丰富样本角度信息，能够减少网络内部协方差位移带来的尺度敏感，使模型训练更加稳定。但是增广后的数据样本并没有改变其目标的空间特征，对样本分布及其多样性的增强效果较弱，不能有效改善数据集的长尾分布情况，训练时容易出现过拟合。基于生成对抗网络的数据增强方法，生成的图像可以达到以假乱真的效果，增广后增加了数据的多样性，样本分布更均匀。但是完全依靠网络生成，图像质量不可控，模型训练成本也很大。结合以上两种方法的优缺点，提出基于几何 空间联合变换的红外数据增强方法。对复杂背景下的地面车辆原始数据集分别进行数据增广，筛选后混合得到最终的数据集。既增加了数据的真实性和有效性，也增加了样本的多样性。图 数据增强方法流程图 基于几何变换的数据增强图像的几何变换又称为图像的空间变换，它是将一幅图像中的坐标位置映射到另一幅图像中的新坐标位置，不改变图像的像素值，主要有图像的旋转、裁剪、镜像、随机遮挡等方法实现对原始图像数据的增强。这种图像增强方法能够保持数据集的有效性和真实性，可以增加了原有数据集中图片的数量，并制造遮挡、拼接等场景的，增加数据集的数量。图 基于几何变换的数据增强 经过几何变换增强后的数据集，样本数量达到了 张，通过筛选得到了具有 张图像的基于几何变换增强的数据集 。通过对原始数据集基于空间几何变换的方法进行数据集增强，得到的增强后的图像如图 所示。图 基于空间几何变换后的数据增强结果 激 光 与 红 外 赵晓枫等地面红外目标数据联合增强方法 基于生成对抗网络的数据增强方法 网络自 等人 于 年提出 （），可以在一个数据集上以无监督的方式进行训练，进而可以生成与原数据集中样本相似的新样本。起源于博弈思想，通过一个生成器与一个判别器之间的相互博弈，使生成的图片达到与原始图片相似甚至一致的效果。生成器 能够通过特征拟合的方式，学习当前样本的特征并生成类似的特征，判别器 则收集样本的特征信息，然后进行对 生成的图像进行鉴定，判断其是否符合原始数据特征，若符合则通过生成，不符合则继续训练，直至生成能瞒过判别器的图像。网络空间多尺度生成对抗网络（）如图 所示，是基于 的无条件生成模型，可以从单幅图像中学习，通过捕捉图像内部块的分布信息，生成逼真的高质量图像 。与传统的 网络不同，不需要特定类别的数据集进行训练，图像是纯粹生成的，能适用于许多不同的图像处理任务中。其内部包含一个金字塔结构的全卷积 ，每一层负责学习图像不同尺度的分布信息，然后生成具有任意尺寸的新样本，这些样本与输入图像不同，同时又可以保持训练图像的整体结构和纹理特征，满足目标检测模型的训练要求。所以采用基于 的数据增强方法对地面车辆的红外数据进行增广，增广后得到的数据样本更真实丰富，特征分布更均匀。图 生成对抗网络原理 模型拥有金字塔式结构的生成器：，训练了图像 的金字塔形式，这里，是 通过因素 进行下采样得到的版本，其中。每一个生成器都对应着图像，这是通过对抗得到的，学习着去欺骗一个鉴别器，则尝试着区分从 中生成的样本。金字塔的层数代表了图像的尺度，由图像的大小决定，输入的图像越大，尺度越多，金字塔的层数就越多。底层由网络生成，从下往上，每一层的输出都是上一层的输出按比例添加随机噪声得到的。所有的判别器和生成器都有相同的接受域，因此在上升生成过程的时候，逐步减小所捕获结构的尺度。也就是 的特征图添加空白高斯噪声 后再进入到槇，表达式为：槇（）（）生成假图像槇后，和真实图像一起输入判别器进行判别。同时，再和上采样得到的图像融合空白的噪声 也一起作为输入，传送至下一个的生成器，再由该生成器生成当前尺度下的假图像，表达式为：槇（，（槇 ），（）不仅如此，倒金字塔结构自下而上的每一层，生成器都会弥补上一层缺失的信息，逐步生成细节丰富、真实的图像。而其中卷积层的作用就是去修复（槇 ）中丢失的细节，表达式为：槇（槇 ）（槇 ）（）这里，是拥有形式是 的 个卷积块组成的一个全卷积网络。最粗糙的尺度是从图像中的 大小的尺度开始，并且每 个尺度增加这个数字的 倍。基于 的数据增强通过 网络对地面车辆数据集中样本较少的图像进行增强，生成和原始数据接近的新图像，从而实现数据增广。中每个金字塔都负责捕获不同尺度上的斑块分布，网络的每一层有一组生成器和判别器负责当前尺度下的图像生成。从下到上，模型的感受野逐次变小，忽略全局信息，生成的图像信息逐渐精细，最终得到局部信息丰富的完整图像，图 为 的训练流程图。基于生成对抗网络的数据增强方法能够解决样本数量少，得到的数据集特征分布更均匀，改善数据长尾效应和过拟合问题。实验结果与分析 实验平台与算法有效性评估指标实验平台：使用系统为 ，为 （）（），为 ，在 框架下采用 和 进行加速训练。激 光 与 红 外 第 卷图 训练流程图 数据增强实验通过 网络对原始红外图像进行数据增广，训练的过程中，判别器和生成器的学习率均设置为 ，每个尺寸的训练迭代次数设置为 ，噪声权重设置为 。对生成的新图像进行筛选，除去部分拟合效果不好的图像，从而实现丰富数据集的样本分布的目的，完成数据集的扩充，得到了具有 张图像的基于空间变换增强方法的数据集 ，如图 所示。图 基于生成对抗网络的数据增强结果 通过红外数据增广后，最终得到的地面车辆目标红外数据集 如图 所示。图 尺寸为 的数据集 经过以上工作，本文共得到四个地面车辆的红外数据集：具有 张图像的原始数据集 ；具有 张图像的基于几何变换增强数据集 ；具有 张图像的基于空间变换增强数据集 ；具有 张图像的最终数据集 ，各数据集的构成如表 所示。表 各数据集组成 原始图像几何变换空间变换 检验数据集有效性的数量实验为验证建立的红外数据集的科学性和合理性，与公开的标准可见光数据集 中各类样本数量进行对比。如图 所示，其中黑色为原始数据集 中的目标类别和数量；白色为增强之后的数据集 中目标类别和 数 量；灰 色 为 标 准 可 见 光 数 据 集 中目标类别和数量。从图中可以看出，数据集中小汽车和公交车的数量分别为 张和 张，而 数据集中数量少于 张图像的有 类，少于 张图像的有 类，表明 数据集中小汽车和公交车的数量已经达到对目标检测模型的训练和评估的标准。经过空间几何变换和空间特征变换后的 数据集中小汽车和公交车的数量分别为 张和 张，而 数据集中仅有“人”这一类标签数量高于 张图像，说明经过增强后的数据集在数量方面已经满足应用于目标检测模型的训练和评估。检验数据集有效性的多模型训练实验为了检验建立的数据集是否满足目标检测模型的训练需求，以及增强后的数据集是否可以提升模型的训练效果，本节使用 、和 四个数据集分别训练 、等主流目标检测模型，并通过模型的检测精度 、损失曲线的变化以及目标检测可视化对比图评估数据集的激 光 与 红 外 赵晓枫等地面红外目标数据联合增强方法效果。训练时，各模型的训练参数按照原论文中的参数设定，均运行 个 完成模型的训练。图 与 、数量关系对比图 表 是基于不同数据集训练的四种目标检测模型结果，从表中可以看到四个目标检测模型在使用不同程度的增强数据集训练之后，其检测精度均有提升。而不同的目标检测模型因为自身的特征提取和对各级特征使用方式的不同，其检测精度的提升对不同增强方法略有差别。不管是空间几何变换还是空间特征的变化都有利于提升目标检测模型的精度，结合两种数据增强方法得到的最终的标准数据集的精度提升效果更好。表 基于不同数据集训练的四种目标检测模型的 值 图 是各模型在训练过程中的损失曲线图。从各模型训练过程中的损失曲线可以看出，增强后的数据集训练的模型，损失函数值更小，收敛过程更加平滑，收敛速度也更快，且使用 数据集的曲线得到了一个较为理想的拟合状态，尤其是在 模型上拟合效果最好，说明通过基于几何 特征空间数据增强方法得到的数据集在训练网络模型时，能够有效改善数据样本少和样本分布不均匀给模型训练带来的过拟合现象，提高了网络的泛化性能，验证了方法的有效性和可行性。（）（）（）（）图 各数据集在不同目标检测模型上的 曲线对比图 激 光 与 红 外 第 卷 目标检测可视化实验为更清晰地表明方法有效性，满足目标检测模型的训练需求，并提升模型的训练效果，本节使用 和 两个数据集分别训练 、等主流目标检测模型。训练时，各模型的训练参数按照原论文中的参数设定，均运行 个 完成模型的训练，并获得可视化结果如图 所示。可知经过基于几何 特征空间联合变换的方法增广后的数据，有效提高了网络的检测精度，实验证明本文数据增强方法的有效性。图 目标检测可视化对比图 结论本文针对非合作特种车辆的数据获取难等问题，提出了一种基于几何 特征空间联合变换的方法。首先，构建地面车辆红外数据集；然后，通过几何空间增广和局部特征感受野自适应的生成对抗网络，分别对原始车辆红外数据进行增广，建立了地面车辆目标红外数据集 。最后，通过四种主流深度学习目标检测网络对建立的地面车辆目标红外标准数据集 进行了测试验证，实验结果表明利用增强后的数据集对目标检测网络进行训练后，四种深度学习网络的泛化性能和目标检测精度均有提高，验证了本文方法的有效性。参考文献：，：，：，（）：，：，（）：，：，：，？，（）：，（）：（）单巍，王江涛，陈得宝，等 基于深度卷积神经网络的红外图像行人检测 激光与红外，（）：，：激 光 与 红 外 赵晓枫等地面红外目标数据联合增强方法 （），（），（）：（）张浩，杨坚华，李启航，等 基于 的红外图像数据增强 激光与红外，（）：，（）：（）黄攀，杨小冈，卢瑞涛，等 基于空间联合的红外舰船目标数据增强方法 红外与激光工程，（）：，（），：，：，：，：，：，激 光 与 红 外 第 卷