多尺度改进Xception的花卉图像分类方法.pdf

第 29 卷第 2 期2023 年 5 月Vol.29 No.2May 2023数学与计算机技术多尺度改进 Xception 的花卉图像分类方法*赵正伟，朱宏进（广西民族大学 电子信息学院，广西 南宁 530006）摘 要：针对传统图像分类方法在花卉图像上存在分类效果不佳的问题，提出一种改进Xception网络的方法。首先结合 Res2net中的多尺度模块来提高模型特征信息的丰富度，提出 Multi_Xception 网络，接着使用 11 卷积核对多尺度深度可分离卷积模块的输入特征图进行信道压缩，减少模型参数的同时进一步丰富模型特征信息，提出 Multi2_Xception 网络。将改进模型应用于 Flowers Recognition 花卉数据集分类，实验结果表明，该方法相较于原算法分类准确率提升了 1.64%，F1-score提升了 0.018，验证了多尺度 Xception网络的有效性。关键词：花卉图像分类；深度学习；卷积神经网络（CNN）；多尺度 Xception中图分类号：TP391.4 文献标识码：A 文章编号：1673-8462（2023）02-0090-070引言近年来，随着社会经济水平的快速发展与科技水平的不断提高，人工智能作为一种新兴技术已经渗透进各个领域中，其中在农林牧渔等行业，人工智能拥有着多元化的应用场景。花卉产业作为一种传统行业，随着国民消费水平的不断提高以及国民精神需求的增加，中国的花卉产业得以迅速发展，2016 年花卉销售额达到 200 亿欧元。1目前，我国的花卉产业还存在技术水平较低的特点，这对花卉产业的发展造成了一定的阻碍。花卉种类的鉴别是花卉产业中的一个重要环节，在信息化时代，花卉的种类繁多，通过传统的人工分类方法，需要花费大量的人力，且易受到花卉形态多样性的影响，造成图像分类错误率的增加。因此，如何对花卉图像进行种类的快速识别，对于花卉产业有着一定的研究意义。目前，深度学习中的卷积神经网络（Convolutional Neural Networks，CNN）在计算机视觉领域取得了巨大的成功，因其可以自动进行特征的提取，被研究人员应用在花卉图像识别领域，且取得了不错的效果。吴迪等人2对 InceptionV3 中的激活函数进行改进，使用 Tanh-ReLU 激活函数代替 ReLU 激活函数，并且使用迁移学习的方法，在 Oxford flower-102 数据集上达到了 92.85%的准确率。吴丽娜等人3提出一种改进LeNet-5 模型的方法，该方法将原模型中的池化操作设置为均值池化与最大池化，并且使用随机梯度下降与 Dropout4层来防止过拟合，在 Oxford-17 数据集上 收稿日期：2023-04-11.*基金项目：广西混杂计算与集成电路设计分析重点实验室开放课题一般项目（HCIC201511）；广西民族大学高等教育改革项目（2020XJGY41）。*作者简介：赵正伟（1980-），男，湖南益阳人，硕士，广西民族大学高级实验师，研究方向：物联网技术，图像处理。*通信作者：朱宏进（1998-），男，湖南长沙人，广西民族大学电子信息专业硕士研究生，研究方向：位计算机视觉。广西民族大学学报（自然科学版）JOURNAL OF GUANGXI MINZU UNIVERSITY（Natural Science Edition）902023 年第 2 期数学与计算机技术赵正伟，朱宏进/多尺度改进 Xception的花卉图像分类方法达到了 96.5%的准确率。杨旺功等人5使用 VGG16模型，提出一种基于多层特征融合及兴趣区域的花卉图像分类方法，利用全局池化代替全连接层，采用改进的 pre_softmax 函数完成分类任务。张求颖等人6使用AlexNet、VGGNet、GoogLeNet 三种卷积神经网络模型在自制的花卉数据集上进行实验，与传统的图像分类方法相比，大幅度提高了图像的分类准确率。SM Omer 等人7通过对卷积神经网络中的激活函数与池化方式进行实验，所提出的 CNN 模型的识别率为94.61%。M Turkoglu等人8提出一种将花卉图像分成n n块，使用卷积神经网络对各块区域提取深度特征的方法构建植物识别系统，取得了不错的效果。从上述研究可以发现，使用卷积神经网络进行花卉图片的分类研究，主要有几个方面的改进，如更改激活函数与损失函数、筛选特征信息等。但是没有从丰富特征提取的角度考虑，因此基于深度学习的花卉图像分类仍是一个具有价值的问题。为了丰富特征的提取，提高图像分类准确率，本文在深入研究不同卷积神经网络模型的基础上，提出一 种 融 合 Res2Net 与 Xception 的 CNN 模 型 Multi2_Xception。Multi2_Xception 使用 33 卷积核进行组合的方式，提高了模型提取特征的能力，并且对输入特征图进行通道压缩处理，进一步提高了模型的性能。1Xception 网络简介由于花卉数据集的样本较少，本研究的模型选择基于具有一定网络深度且对小样本识别效果较好的Xception9网络进行搭建。Xception网络结构主要由 14个模块构成，分成 3个部分，总共包含 36个卷积层，其中 213 个模块都使用了 ResNet10中的残差连接，在残差连接中通过使用 11 卷积核来进行通道特征降维。与使用标准卷积不同的是，Xception大量使用将通道信息和空间信息分开来处理的深度可分离卷积进行特征提取，简化的 Xception模块如图 1所示。2基于多尺度改进 Xception2.1模型整体结构本文所设计的 Multi_Xception 与 Multi2_Xception模型框架是基于 Xception构建，整体结构如图 2所示，模型框架由输入层、中间层、输出层 3 个部分组成，其中，中间层由 8 个相同的模块构成。从图 2 可以看出，改进后的模型是将 Xception模型中的深度可分离卷积替换为改进后的多尺度深度可分离卷积，同时保持模型的前两个标准卷积层与最后的全局平均池化层和全连接层不变。与原始模型相比，Multi_Xception 模型中的多尺度可分离卷积由于一部分输入特征图采用直连的方式，因此减少了一定量的参数，Multi2_Xception 模型因为在 Multi_Xception 模型的基础上增加了11的卷积运算，所以模型的参数量和计算量有所增加，几种模型的参数量如下：模型 Xception：20.82106；模型 Multi_Xception：20.77106；模型 Multi2_Xception：25.24106。图 1 简化的 Xception模块(a)输入层912023 年 5 月 第 29 卷广西民族大学学报（自然科学版）数学与计算机技术2.2改进 Multi_Xception网络模型由于使用常规卷积操作的神经网络中存在大量需要进行训练的参数，这意味着训练这类网络很难在移动端实现，为了在保持模型性能的同时减少训练的参数量，2013年来自 Google Brain的 Laurent提出了一种将卷积层的通道相关性和空间相关性分开映射的操 作，即 深 度 可 分 离 卷 积，并 且 在 Xception 与 Mobilenet系列模型上得到应用，取得了很好的效果。深度可分离卷积具体过程主要分为 2个部分。1）首 先 对 输 入 特 征 图 进 行 逐 通 道（Depthwise，DW）卷积（特征图的每一个特征通道单独使用 33卷积核进行卷积）。2）接着逐点（Pointwise，PW）卷积，使用 11的标准卷积来进行不同特征通道间的信息交互，并且调整特征通道的数量。在花卉图像分类中，视觉模式多以多尺度形式出现，感知来自不同尺度的信息对于视觉任务来说至关重要。11-12Xception 模型中使用的初始深度可分离卷积（如图 3（a）所示），其 Depthwise 卷积仅仅使用单一尺寸的 33卷积核进行特征提取，由于单一尺度大小的卷积核仅仅具有单一的感受野，并不能充分提取图像中的细节信息，在一定程度上降低了特征信息的丰富度，从而限制了 Xception模型的分类精度。为了进一步提高动植物图像的分类准确率，经过分析，对 Xception 模型中使用的深度可分离卷积进行改进，结合 Res2Net13中的多尺度模块，提出了一种具有多尺度特征提取能力的深度可分离卷积。该多尺度深度可分离卷积以更加简单高效的方式在图像的粒度级别上表示了多尺度的特征信息，同时扩大了神经网络每层的感受野。本研究将 Xception 模型中的深度可分离卷积全部替换为具有多尺度特征提取能力的多尺度深度可分离卷积，得到一种名为 Multi_Xception的新模型，该方法增加了特征信息的丰富度，提升了模型对动植物图像的分类准确率。Multi_Xception 的多尺度可分离卷积如图 3（b）所示，该操作有以下 4个步骤：（1）将输入特征图在通道维度上平均分割成 4 部分，假设输入特征图通道数为c，经过平均分割后得到4个通道数为c/4的特征图；（2）对 4 个具有相同空间大小与通道数量的特征图使用不同数量组合的卷积核进行多尺度的特征提取，与 Res2Net中的多尺度模块相比，本文所提改进有2 个不同：使用 33 的 Depthwise 卷积代替 33 的标准卷积；根据实验结果对比在 33 的 Depthwise卷积后没有进行 ReLU 非线性操作；（3）为了能更好地融合不同尺度上的特征信息，对经过以上操作后得到的四个输出特征图在通道维度上进行拼接操作，进一步融合特征图不同通道之间的特征；（4）使用 11的 pointwise卷积进行输出特征图通道数的调整，完成多尺度特征的传递输出。上述过程可以表示为：x1，x2，x3，x4=split(X)（1）yi=xi，i=1 DW()xi，i=2 DW()xi+yi-1，2 2时，每一个 33 卷积的输入(b)中间层和输出层图 2 多尺度 Xception模型结构922023 年第 2 期数学与计算机技术赵正伟，朱宏进/多尺度改进 Xception的花卉图像分类方法是由当前特征图xi与上一个输出特征图yi-1组成，因此 33的深度卷积操作有可能从多个子特征图中提取特征信息，（3）式中Y R(N，H，W，C)表示经过多尺度特征提取步骤后得到的特征图yi R(N，H，W，C/4)，i=1，2，3，4在通道维度上经过 concat操作后得到的特征图；（4）式中Dr(*)(i，j)表示输出特征图中第r个通道中位置(i，j)的值，Wm表示 11 卷积核第m个通道，Y(i，j，m)为经过多尺度的特征提取后得到的特征图中第m个通道位置(i，j)的值，M为输入特征图通道数。上述所提出的多尺度深度可分离卷积，通过多尺度的方式处理输入特征图，其输出特征图包含由不同数量与尺度的感受野组合所提取的特征信息。与深度可分离卷积相比，由于使用多尺度可分离卷积后，模型最后获得的特征信息融合了不同尺度的特征信息，因此，在需要充分提取细节信息的花卉图像上，可以获得更佳的分类准确率。2.3改进 Multi2_Xception网络模型经过对本文所提出的 Multi_Xception 模型分析发现，为了减少模型的运算量，在多尺度深度可分离卷积中存在 1/4的输入特征图在没有经过卷积操作直连到输出特征图，这在一定程度上降低了模型提取到的特征信息的数量。因此为了进一步提高新模型的性能，在 Multi_Xception 模型中的多尺度可分离卷积进行多尺度的特征提取之前对输入特征图进行特征通道的压缩，得到 Multi2_Xception模型。Multi2_Xception 模型中的多尺度深度可分离卷积如图 4所示，与 Multi_Xception模型中的多尺度深度可分离卷积不同的是，该多尺度深度可分离卷积首先使用数量为原输入特征通道数 1/4 的 11 卷积核对输入特征图进行特征通道的降维操作，这主要有两个作用，一是减少模型的参数量，加快模型训练的速度，通过控制每个输入特征图的信道数，便于下一步经过33 Depthwise卷积后得到的不同特征图进行相加运算。二是为了 33 Depthwise 卷积可以从所有的输入特征图中提取特征信息，从而丰富模型提取的特征信息。经过使用 11 卷积核进行特征降维后得到与图 3（b）中相同大小的特征图，接着执行与图 3（b）中相同的多尺度特征提取与特征输出操作，上述特征通道降维可以表示为：xi=con v1 1(X)（5）其 中，X R(N，H，W，C)表 示 原 始 特 征 输 入 图，xi R(N，H，W，C/4)，i=1，2，3，4表示原始特征图经过 11的标准卷积操作后得到的 4个具有相同空间大小和通道数量的子特征图，子特征图具有与原始输入特征图相同的空间大小，但是通道数为原特征图的 1/4。图 4 Multi2_Xception模型多尺度深度可分离卷积结构图(a)深度可分离卷积结构图(b)Multi_Xception模型多尺度深度可分离卷积结构图 3 Res2Net模块结合深度可分离卷积932023 年 5 月 第 29 卷广西民族大学学报（自然科学版）数学与计算机技术与 Multi_Xception 模型相比，Multi2_Xception 模型通过对输入特征进行降维压缩卷积，在不增加过多计算量的同时，不仅增加了特征信息的数量而且提升了网络的深度，因此，在图像分类任务上可以获得更佳的性能。3实验与结果分析3.1数据集本研究采用 Flowers Recognition 数据集作为实验数 据 集。Flowers Recognition 数 据 集 由 Alexander Mamaev提供。数据集包含五类常见花卉图片，分别为daisy、dandelion、rose、sunflower、tulip，每类图片大概800 张，总共包含 4317 张图片，部分图片如图 5 所示。每张图片具有不同大小的尺寸，本研究按 4 1 的比例划分训练集与测试集，随机选取其中的 3458张划分为训练集，859张划分为测试集。3.2实验硬件平台与超参数设置本实验使用 Pytorch 深度学习框架搭建文中所使用的网络模型，硬件环境：CPU 为英特尔 Xeon（至强）Silver 4210 2.00 GHz，GPU 为适用专业台式工作站的 NVIDIA Quadro p4000 8 GB。模型在训练过程中超参数设置如下：优化器使用可以快速收敛，易于调参且对内存需求较少的 Adam优化器，学习率固定设置为 0.0001。采用交叉熵损失函数（Cross entropy loss）作 为 模 型 训 练 的 损 失 函 数。Batch-size设置为 32。3.3结果和分析为了验证本文所提出的模型的有效性，将本文所提出的两种模型 Multi_Xception 和 Multi2_Xception 与常用作图像分类的 CNN 模型 DenseNet14、Res2Net、GhostNet15进行比较。在相同的实验条件下，每个模型使用本文中的超参数设置，在 Flowers Recognition数据集上进行训练。在模型的训练过程中，训练集每完成一次训练，对测试集进行一次测试。使用 Tensorboard对模型在训练过程中的性能变化进行观察。在训练结束后下载记录测试分类准确率的.CSV 文件，使用 matplotlib 模块根据.CSV 文件绘制模型的准确率变换曲线图。根据曲线图的变化可以更加直观地看出本文模型的效果。不同模型在 Flowers Recognition 数据集上的准确率变化曲线如图 6 所示，其中横坐标 Epoch 表示模型训练的迭代周期，纵坐标 Acc 表示模型在测试集上的准确率。由图 6 中的准确率曲线变换可知，在前 75 个迭代周期中由于损失值的快速下降，所有模型的准确率迅速上升，曲线的整体上升幅度较明显。在 75150个迭代周期，所有模型的准确率仍然在稳步提升，但是曲线的上升幅度逐渐减小。在训练至 150周期以后，各模型准确率逐渐趋于稳定。在模型收敛以后，可以从 图 6 中 看 到，相 较 于 Xception 模 型，改 进 后 的Multi_Xception 与 Multi2_Xception 模 型 在 Flowers Recognition 数据集上取得了更好的结果，分别提升了大约 0.82%、1.64%，同时改进后的模型准确率高于DenseNet、Res2Net、GhostNet，为了进一步说明本文所提出的方法在花卉图像分类方面的分类效果，本文选 取 分 类 效 果 较 好 的 两 种 改 进 Xception 方 法，即Multi_SE_Xception16和 SE_Xception17进 行 对 比 实验，它们分别在服装图像和动物图像分类领域取得了不错的效果，各模型在 Flowers Recognition 数据集上的准确率、F1分数，以及模型复杂度如表 1所示。图 5 Flowers Recognition数据集部分图像示例图 6 不同模型在Flowers Recognition数据集上的测试集准确率曲线图表 1模型在 Flowers Recognition数据集上的实验结果对比模型DenseNet-121XceptionMulti_XceptionMulti2_XceptionRes2Net-50GhostNetMulti_SE_Xception16SE_Xception17测试集准确率/%88.1589.7490.5691.3890.0187.6991.2488.51F1-Score0.8860.8970.9110.9150.8990.8770.9110.885浮点运算数/GFlops2.884.594.555.054.290.155.544.95942023 年第 2 期数学与计算机技术赵正伟，朱宏进/多尺度改进 Xception的花卉图像分类方法从表 1中可以看出，改进后的两个模型在 Flowers Recognition 数据集上分类性能都优于 Xception 模型。其中 Multi_Xception 相较于 Xception 模型准确率提高了约 0.82%，F1-score 提高了约 1.4%，模型的浮点运算数降低 0.04 G，因为 Multi_Xception 使用多尺度可分离卷积，在扩大每层感受野的同时，提取了更加丰富的特征，从而使模型的分类性能得到了一定的提升。Multi2_Xception 在测试集准确率与 F1-score 两个分类指标上表现最好，分别为 91.38%，91.5%。相较于文献 16 提出的方法准确率提升了 0.14%，F1-score提升了 0.004，同时模型的浮点运算数减少了 0.49 G，较文献 17 所提出的方法准确率提升了 2.87%，F1-score提升了 0.03，但是同时也增加了部分模型的计算量与参数量，这是由于 Multi2_Xception使用 11的卷积进行特征通道的压缩，使得 33卷积可以从输入特征图的所有通道接收特征信息，由于组合爆炸效应，输出特征图可以得到包含不同大小感受野的组合，在数据集上取得了最佳的分类性能。实验证明使用多尺度深度可分离卷积代替单一尺度的深度可分离卷积可以提升网络的性能。3.4多尺度可分离卷积中使用非线性激活函数的影响在 Res2Net中的多尺度模块，每一个 33 的卷积操作后都接上一个 ReLU 非线性激活函数，用来提高神经网络的能力。而在 Xception 模型中的实验结果表明，对于类似深度可分离卷积中的 1 通道的浅层深度特征空间，由于非线性操作可能会带来特征信息的丢失，因此会造成模型性能的下降。为了探究在本文提出的多尺度可分离卷积中使用非线性激活函数的影响，使用本文的超参数设置，在保持相同实验条件的情况下，在 Flowers Recognition 数据集上进行对比实验，实验结果如表 2 所示，从表 2 中可以看出，不使用非线性激活可以使模型更快地收敛与达到更佳的性能，因此在本文提出的多尺度可分离卷积中不使用非线性激活函数，图 7 为模型在 Flowers Recognition 数据集上的测试集准确率曲线变换情况。4结语本文通过将 Res2Net中的多尺度模块与 Xception模型融合，提出一种新的混合神经网络 Multi2_Xception。在 Flowers Recognition 数据集上的实验表明，本文提出的模型分类效果最好，相较于原始的 Xception网络，对于花卉图片的分类准确率提高了 1.64%；使用11 的卷积进行特征通道的压缩代替多尺度中对于输入特征图的分割操作，可以使模型获得更佳的分类性能。在花卉数据集上的结果表明，本文提出的模型可以提高分类准确率，具有较强的泛化性，对于花卉种类的识别具有一定的实际意义。参 考 文 献1 约伯亨迪克.AIPH 中国花卉市场消费需求,市场潜力报告 简析J.中国花卉园艺,2019(19):42.2 吴迪,侯凌燕,刘秀磊,等.一种改进的深度神经网络的花卉图 像 分 类 J.河 南 大 学 学 报(自 然 科 学 版）,2019,49(2):192-203.3 吴丽娜,王林山.改进的 LeNet-5模型在花卉识别中的应用J.计算机工程与设计,2020,41(3):850-855.4 SRIVASTAVA N,HINTON G,KRIZHEVSKY A,et al.Dropout:A Simple Way to Prevent Neural Networks from OverfittingJ.Journal of Machine Learning Research,2014,15(1):1929-1958.5 杨旺功,淮永建.多层特征融合及兴趣区域的花卉图像分类J.哈尔滨工程大学学报,2021,42(4):588-594.6 张秋颖,金雪松.基于卷积神经网络和迁移学习的花卉图像分 类 J.哈 尔 滨 商 业 大 学 学 报(自 然 科 学 版),2020,36(3):323-327.7 OMER S M.An Image Dataset Construction for Flower Recognition Using Convolutional Neural NetworkJ.Science Journal of University of Zakho,2020,8(3):112-117.8 TURKOGLU M,ASLAN M,AR A,et al.A multi-division convolutional neural network-based plant identification systemJ.PeerJ Computer Science,2021,7(2065):e572.9 CHOLLET F.Xception:Deep Learning with Depthwise Separable ConvolutionsCproc of IEEE Conference on Comput表 2是否使用激活函数实验结果对比激活函数无Relu测试集准确率/%90.5688.65训练时间/s91.9799.89图 7 Depthwise与 Pointwise之间不同激活函数的对比952023 年 5 月 第 29 卷广西民族大学学报（自然科学版）数学与计算机技术er Vision and Pattern Recognition.Piscataway,NJ:IEEE Press,2017:1257-1258.10 HE K,ZHANG X,REN S,et al.Deep residual learning for image recognitionCProceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas:IEEE Computer Society,2016:770-778.11 陈梦涛,余粟.基于改进 YOLOV4模型的交通标志识别研究J.微电子学与计算机,2022,452(1):17-25.12 丁才富,杨晨,纪秋浪,等.MCA-Net：多尺度综合注意力CNN 在医学图像分割中的应用J/OL.微电子学与计算机:1-82022-03-31.https:doi.rog/10.19304/J.ISSN1000-7180.2021.0950.13 GAO S H,CHENG M M,ZHAO K,et al.Res2Net:a new multi-scale backbone architectureJ.IEEE Transactions on Pattern Analysis and Machine Intelligence,2021,43(2):652-662.14 HUANG G,LIU Z,VAN DER MAATEN L,et al.Densely Connected Convolutional Networks C Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition,Honolulu:IEEE,2017:2261-2269.15 HAN K,WANG Y H,TIAN Q,et al.GhostNet:more features from cheap operations C2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR),Seattle WA USA:IEEE,2020:1577-1586.16 陈巧红,陈翊,李文书,等.多尺度 SE-Xception 服装图像分类J.浙江大学学报(工学版),2020,54(9):1727-1735.17 倪黎,邹卫军.基于 SE 模块改进 Xception的动物种类识别J.导航与控制,2020,19(2):106-111.责任编辑 苏琴Multi-Scale Improved Xception Based Classification of Flower ImagesZHAO Zhengwei,ZHU Hongjin（College of Electronic Information，Guangxi Minzu University，Nanning 530006，China）Abstract：Aiming at the problems of poor classification effect traditional image classification methods in flower images，applied the Xception network with obvious classification effect and fast convergence to flower image classification and an improved xception network method is proposed.This method first uses the Xception network with an obvious classification effect and fast convergence as the basic network.Then，proposes the Multi_Xception network by combining the multi-scale module in Res2net to improve the richness of model feature information，and finally the 11 convolution kernel are used to compress the input feature map of the multi-scale depthwise separable convolution module to reduce the model parameters and further enrich the model feature information，and Multi2_Xception network is proposed.The improved model is applied to the classification of flowers recognition data set，through experiments，the classification performance of this method has increased 1.64%and F1 score has increased 0.018 than original classification methods.Verification，the effectiveness of the multi-scale Xception network.Keyword：Flower image classification；Deep learning；Convolutional neural network（CNN）；Multi-scale Xception96