多尺度注意力机制DenseNet网络的表情识别方法_郑伟.pdf

第 22卷 第 2期2023年 2月Vol.22 No.2Feb.2023软 件 导 刊Software Guide多尺度注意力机制DenseNet网络的表情识别方法郑伟（南京邮电大学 通信与信息工程学院，江苏 南京 210003）摘要：面部表情识别是人机交互研究领域的核心之一，现有的基于传统手工特征的面部表情识别方法难以应用在复杂多变的应用场景中。基于此，提出一种多尺度注意力机制的密集连接网络（DenseNet）表情识别方法。该网络模型对DenseNet121网络层数进行了简化，并引入多尺度结构和通道注意力模块MECANet，使得网络提取的面部表情特征更具判别性，有利于后续网络的表情分类。网络模型采用随机梯度下降算法进行训练，在CK+和FER2013数据集上取得了较高的识别率，分别达到96.2%和85.5%，与DenseNet121网络相比提高了8.4%和8.6%。关键词：面部表情识别；密集连接网络；多尺度结构；MECANetDOI：10.11907/rjdk.221242开 放 科 学（资 源 服 务）标 识 码（OSID）：中图分类号：TP391.41 文献标识码：A文章编号：1672-7800（2023）002-0081-06Expression Recognition Method Using DenseNet Based on Multi-scale Attention MechanismZHENG Wei（School of Communication and Information Engineering，Nanjing University of Posts and Telecommunications，Nanjing 210003，China）Abstract：Facial expression recognition is one of the core of human-computer interaction research field.The existing facial expression recognition methods based on traditional manual features are difficult to be applied in complex and changeable application scenes.Based on this，an expression recognition method of DenseNet network with multi-scale attention mechanism is proposed.The network model simplifies the layers of DenseNet121 network，inserts multi-scale structure and channel attention module MECANet，which makes the facial expression features extracted by the network more discriminative and conducive to the expression classification of subsequent networks.The network model is trained by random gradient descent algorithm.High recognition rates are achieved on CK+and FER2013 data sets，reaching 96.2%and 85.5%respectively，which are 8.4%and 8.6%higher than DenseNet121 network.Key Words：facial expression recognition；DenseNet；multiscale structure；MECANet0 引言面部表情识别方法是人机交互领域的重要核心，已经广泛应用于在线教育、疲劳驾驶检测等领域1-3。关于面部表情识别的研究历经了两个阶段：基于传统手工特征的表情识别和基于深度神经网络的表情识别。在传统手工特征的表情识别研究阶段，针对图像的几何、纹理和轮廓等方面设计手工特征算子作为后续表情分类判别的依据，在特定的场景下取得了较高的识别效果。比如KARANWAL等4通过对图像纹理特征LBP进行改进并引入正交编码，能够提取更具判别性的图像纹理特征，取得较好的表情分类效果；LIN等5对图像轮廓特征HOG进行改进，通过对表情敏感区赋予更高的权重来提高表情识别率。然而面对复杂的实际应用场景，如光照条件复杂、脸部局部遮挡等情况，基于传统手工特征的表情识别率就会出现大幅下降的问题。因此，随着深度学习理论的不断突破和大数据时代的到来，将神经网络应用于表情识别领域成为可能。其中卷积神经网络在图像识别领域表现优异，代表性的卷积网络有 VGG196、ResNet7等网络，并诞生了许多对卷积网络的改进以更适用于表情识别领域，如LIU等8对Le-Net5网络进行了改进，引入高低层跨连接思想，丰富网络提取的特征，提高了网络的识别率；ZHANG等9针对VGG19因叠加过多卷积层造成识别率下降的问题进行了改进，引入空间金字塔池化来提高特征表达能力。然而以上神经网络虽然都通过改进网络结构提高了识别率，但采收稿日期：2022-03-07作者简介：郑伟（1996-），男，南京邮电大学通信与信息工程学院硕士研究生，研究方向为面部表情识别算法。2023 年软 件 导 刊用的网络都存在网络层数过浅，在面对其他不同数据集时无法保持较强的泛化能力。针对上述问题，本文选择DenseNet12110进行改进，通过简化网络层数、引入多尺度结构和通道注意力模块MECANet，提高了DenseNet网络在表情识别领域的识别能力。1 DenseNet121网络模型DenseNet121网络模型是Gao等11于2017年提出的密集连接卷积神经网络模型。该网络模型通过设计密集连接的稠密块加强了特征的传播，减少网络的参数量，缓解了网络模型过深导致的“梯度弥散”问题，从而提高了深度神经网络的识别率。DenseNet121网络模型结构如图1所示，整个网络模型由一个77的卷积核构成的初始化卷积层、4个稠密块、3个过渡层、一个77的全局最大池化层以及一个输出层组成。1.1稠密块DenseNet121网络模型与一般的卷积神经网络结构不同，其特有的稠密块让网络不再依赖最后一层输出的高语义特征向量作为分类识别的唯一依据，每个稠密块包含不同数量的卷积块，其独特的密集连接结构实现了其包含的每个卷积块的输入值都是向前所有卷积块输出值的并集，具体实现如图2所示。假设稠密块中的卷积块1的输入特征向量为X0，通过卷积块1中的非线性转化函数H1，输出特征向量X1，因稠密块特有的密集连接的结构，故卷积块1输出特征向量为 X0，X1 并作为卷积块2的输入向量，以此类推，稠密块中第 n 个卷积块的输出特征向量可以表示为：Fn=X0，X1，.，Xn-1，Hn(X0，X1，.，Xn-1)（1）这种密集连接结构加强了特征的传播，有利于提高提取特征信息的丰富性，并且由于每层输入都包含了前层所有的特征信息，在提取下层的特征时只需要提取很少的特征图，因而也在一定程度上减少了网络模型的参数量。1.2过渡层DenseNet121网络模型中的稠密块之间都会插入过渡层，其主要作用是对稠密块提取出的特征向量在通道维度和空间维度两个方面进行降维，其具体实现结构如图3所示。每个过渡层主要由两个部分组成：瓶颈层12和池化层，瓶颈层的作用相当于滤波器，对输入的特征向量在通道维度上进行压缩，池化层的作用是对每个通道上的特征向量进行空间维度上的降维。稠密块稠密块池化层稠密块输出层过渡层初始化卷积层稠密块卷积层过渡层过渡层Fig.1DenseNet121 network model structure图1DenseNet121网络模型结构 X0X0X1X0X1X2X0X1X2X3H1H3H2卷积块1卷积块2卷积块3Fig.2Dense block structure图2稠密块结构 Batch NormalizationRelu1 1 Conv瓶颈层池化层AveragePooling2D输入特征向量输出特征向量Fig.3Transition layer structure图3过渡层结构 82第 2 期郑伟：多尺度注意力机制DenseNet网络的表情识别方法2 多尺度注意力机制的DenseNet网络模型本文针对 DenseNet121网络进行三个方面的改进：第一，DenseNet121包含4个稠密块，每个稠密块包含的卷积块个数分别为6、12、24、16，实现1 000种图像的分类。而本文仅需要实现对7类表情图像的分类，采用的表情数据集若直接应用于DenseNet121网络，会造成因模型参数得不到充分训练而导致的过拟合问题，因此对DensNet121的网络层数进行一定程度的简化。第二，DenseNet121输入的图像大小为2242243，初始化卷积层采用的卷积核大小为77，本文输入的图像大小为48481，为了提取图像更为细腻和丰富的特征，将初始化卷积层替换为Inception网络13中的多尺度结构。第三，针对每个稠密块提取出的多通道特征向量，需要对不同通道特征向量依据对表情分类的贡献程度赋予不同的权值，因此引入本文设计的新型通道注意力模块MECANet。改进后的DenseNet网络模型如图4所示。2.1多尺度卷积层本文采用的多尺度卷积层的具体结构如图 5 所示。该结构通过并行执行不同尺度大小的卷积核来获取不同尺度上的图像特征信息，然后通过整合不同尺度的图像特征信息，获取更丰富的表情特征。此外，该结构在不同尺度大小的卷积核之前都插入了一个11的卷积核，该卷积核的作用相当于一个滤波器，缓解了使用不同尺度卷积核带来的模型参数量增加的情况，提升了网络的训练速度。2.2新型注意力模块：MECANetMECANet模块是对通道注意力模块的ECANet14的改进，具体结构如图 6所示。原始的 ECANet只依赖全局平均池化（Global Average Pool，GAP）来获得各通道全局空间信息的特征描述符，接着再经过一维卷积层和非线性的激活函数Sigmoid来建立各通道的依赖关系。为了更为完善的提取有价值的特征，减少压缩空间信息过程中的损失，本文提出了 MACANet通道注意力模块，首先分别对各通道特征信息进行全局平均池化、全局最大池化（Global Max Pool，GMP）和全局随机池化（Global Stochastic Pool Pool，GSP）来压缩全局空间信息，然后再分别送入一维卷积网络和激活函数层获得各通道依赖关系，最后融合各通道提取出的依赖关系并对多通道特征信息进行赋值，获得更具判别性的表情特征。具体计算公式如下：Wc=(Conv(AvgPool(F)，w)+Conv(MaxPool(F)，w)+Conv(StoPool(F)，w)（2）Fc=FUWc（3）其中，Wc表示经过 MECANet模块后生成的通道权重矩阵，F、FC分别表示经过通道权重矩阵加权前后的特征向量，()表示激活函Sigmoid函数的运算公式。过渡层稠密块过渡层输出层池化层稠密块稠密块过渡层多尺度卷积层卷积层MECAMECAMECAFig.4Multi-scale attention module DenseNet structure图4多尺度注意力模块DenseNet结构Fig.5Multi-scale convolution layer structure图5多尺度卷积层结构 GAPGMPGSPConv1DkCH WC1 1C1 1SigmoidCH WC1 1Fig.6MECANet structure图6MECANet结构 832023 年软 件 导 刊多尺度注意力机制的DenseNet网络模型的具体模型参数如表1所示。3 应用实验3.1实验环境本实验基于Windows10操作系统，使用的深度学习框架为 tensorflow 2.1.0，选用的 Python 版本为 3.7，CPU 为 InterCorei7，显卡为 NVIDIA RTX 2060。3.2数据集及数据增强本实验采用CK+和FER2013数据集对模型进行训练。其中，CK+数据集收集了 981 张，包含 anger、disgust、fear、happy、sad、surprise 和 contempt7 种表情；FER2013 数据集由35 886张人脸表情图片组成，训练数据集有28 708张图片，公共验证测试集和私有验证测试集各有3 589张图片，包含 anger、disgust、fear、happy、sad、surprise 和 neutral7 种表情。由于CK+数据集训练样本不足，为了防止网络模型因训练样本过小出现过拟合问题，对CK+数据集进行数据增强操作，通过对CK+数据集中每张图像进行翻转、旋转、模糊和锐化，将数据集扩充为原来的5倍。具体数据增强示例如图7所示。3.3实验结果及分析为了验证本文提出的多尺度注意力机制DenseNet的有效性，首先与 DenseNet121在 CK+数据集和 FER2013数据集上进行表情分类对比实验，并使用识别准确率和混淆矩阵来衡量网络模型性能。CK+数据集上，通过五折交叉验证实验获得网络模型的最终识别准确率，实验结果如表 2 所示，改进后的DenseNet 网络模型在 5 次实验中，最高识别准确率高达98.1%，最低识别率也达到了93.9%，平均识别率为96.2%。相较于 DenseNet121，改进后的 DenseNet 识别率平均提高了 8.4个百分点。从图 8所示的混淆矩阵可知，改进后的DenseNet网络模型在fear、sad和contempt三类表情识别率都获得了较大的提高，特别是最难分辨的contempt表情也从原来的0.5的识别率提高到了0.62，由此可见，改进后的DenseNet网络模型相较于DenseNet121在表情识别领域具有一定的优势。FER2013数据集上，改进后的DenseNet与DenseNet121的识别准确率为两个测试集上识别准确率的平均值，具体实 验 结 果 如 表 3 所 示。从 表 中 可 以 看 出，改 进 后 的DenseNet在较难分类的Fer2013数据集上也取得了较佳的识别率，达到了 85.3%，相较于 DenseNet121 提高了 8.6 个百分点，证明了改进后的DenseNet在不同表情数据集上的鲁棒性。从图9所示的混淆矩阵可知，DenseNet121对anger、fear、surprise、neutral这4类表情识别效果不佳，改进后的DenseNet提高了对这4类表情的分类能力，其中对surprise、neutral这两类的表情识别效果更是达到了100%，进一步验证改进后的DenseNet相较于DenseNet121具有提取翻转旋转模糊锐化 Fig.7Data enhancement example of CK+dataset图7CK+数据集数据增强示例Table 1DenseNet model parameters of multi-scale attention mechanism表1多尺度注意力机制的DenseNet网络模型参数Layers多尺度卷积层Dense Block 1MECANetTransition Layer 1Dense Block 2MECANetTransition Layer 2Dense Block 3MECANetTransition Layer 3GAPFCInput Size484814848804848336484833624241602424416242441612122081212464121246466464464size 1 1conv5 5conv3 3conv3 3pool20 1 1conv3 3conv8-1 1conv2 2pool 1 1conv3 3conv8-1 1conv2 2pool 1 1conv3 3conv8-1 1conv2 2pool66 pool7Output Size48488048483364848336242416024244162424416121220812124641212464664644647Table 2Recognition accuracy of improved DenseNet and DensNet121 on CK+dataset表2改进的DenseNet与DensNet121在CK+数据集的识别准确率（%）网络模型DenseNet121网络模型多尺度注意力机制的DenseNet网络模型实验次序第一次第二次第三次第四次第五次87.8（平均）第一次第二次第三次第四次第五次96.2（平均）识别准确率86.789.486.988.587.597.498.195.393.996.3 84第 2 期郑伟：多尺度注意力机制DenseNet网络的表情识别方法更具判别性特征的能力。为了进一步验证本文设计的网络模型在表情识别领域的优越性，将其与近几年表情识别领域出现的网络模型进行了比较实验，实验结果如表4所示。通过对比不同网络模型的识别准确率可知，本文设计的多尺度注意力DenseNet网络模型在表情识别领域具有一定的优势。4 结语本文基于DenseNet121的网络模型基础上进行了三个方面的改进：减少网络层数、引入多尺度卷积层和设计了一种新型通道注意力模块MECANet，提出一种适合于表情识别领域的多尺度注意力机制的DenseNet网络模型。接着从识别准确率和每类表情的混淆矩阵两个方面衡量改进后的DenseNet与DenseNet121两个网络模型性能，验证Table 4Comparison of recognition rates of different network models on CK+and FER2013 datasets表4不同网络模型在CK+、FER2013数据集上的识别率对比（%）数据集CK+FER2013网络模型SE-ResNet18网络模型15跨连接的 LeNet-5网络模型16多尺度跨连接的AlexNet网络模型17Inception网络模型18本文网络模型改进的ResNet网络模型19改进的ReXNet网络模型20XRS-Xception网络模型21本文网络模型识别准确率95.383.794.393.296.273.279.182.385.5Fig.8Confusion matrix of DenseNet121（left）and improved DenseNet（right）on CK+dataset图8DenseNet121（左）与改进的DenseNet（右）在CK+数据集上的混淆矩阵Table 3Recognition accuracy of improved DenseNet and DensNet121 on FER2013 dataset表3改进的DenseNet与DensNet121在FER2013数据集的识别准确率（%）网络模型DenseNet121网络模型多尺度注意力机制的DenseNet网络模型测试集公共验证测试集私有验证测试集76.9（平均）公共验证测试集私有验证测试集85.5（平均）识别准确率74.679.283.487.6Fig.9Confusion matrix of DenseNet121（left）and improved DenseNet（right）on FER2013 dataset图9DenseNet121（左）与改进的DenseNet（右）在FER2013数据集上的混淆矩阵 852023 年软 件 导 刊了改进后的DenseNet网络的有效性；最后，将改进后的网络模型与不同网络模型进行准确率的对比实验，进一步验证了本文提出的网络模型在表情识别领域的优越性。但本文的研究工作依然存在不足，即基于静态图像提取表情特征，忽略了表情变化的动态信息，下一步工作将研究基于图像序列的表情分类。参考文献：1 WEI W M，MENG F X，CAI Z，et al.Overview of facial expression recognition J.Journal of Shanghai Electric Power University，2021，37（6）：597-602.魏为民，孟繁星，才智，等.人脸表情识别综述 J.上海电力大学学报.2021，37（6）：597-602.2 YUN J L，LIN X X，GAO Y F.Research on driver face video image fatigue detection based on CNN J.Microcontrollers&Embedded Systems，2019，19（12）：62-64.运杰伦，林欣欣，高扬帆.基于CNN的驾驶员面部视频图像的疲劳检测应用研究 J.单片机与嵌入式系统应用，2019，19（12）：62-64.3 JISU C，WON Y J.Social exclusion and facial emotion recognition in social anxietyJ.Korean Journal of Clinical Psychology，2018，37（1）：781-792.4 KARANWAL S，DIWAKAR M.OD-LBP：orthogonal difference-local binary pattern for face recognitionJ.Digital Signal Processing，2021，110：102948.5 LIN K Z，ZHANG Y M，LI H T.Information entropy weighted hog feature extraction algorithm J.Computer Engineering and Applications，2020，56（6）：147-152.林克正，张元铭，李昊天.信息熵加权的HOG特征提取算法研究 J.计算机工程与应用，2020，56（6）：147-152.6 SIMONYAN K，ZISSERMAN A.Very deep convolutional networks for large-scale image recognitionJ.Computer Science，2014，69（17）：93-97.7 HE K，ZHANG X，REN S，et al.Deep residual learning for image recognitionC/IEEE Conference on Computer Vision and Pattern Recognition，2016：770-778.8 LIU X，TANG Y J，HUANG S Y.Facial expression recognition combining multi-features and cross channel weighting J.Journal of Chinese Computer Systems，2021，42（2）：399-404.柳璇，唐颖军，黄淑英.结合多特征和跨连通道加权的面部表情识别J.小型微型计算机系统，2021，42（2）：399-404.9 ZHANG Y，YANG C H，ZHANG J M，et al.Research on facial expression recognition algorithm based on SR-VGG19 J.Computer&Digital Engineering，2021，49（9）：1889-1894.张业，杨词慧，张杰妹，等.基于SR-VGG19的人脸表情识别算法研究J.计算机与数字工程，2021，49（9）：1889-1894.10 HUANG G，LIU Z，LAURENS V，et al.Densely connected convolutional networks J.IEEE Computer Society.2016，31（87）：56-62.11 HUANG G，LIU Z，MAATEN L，et al.Densely connected convolutional networksC/2017 IEEE Conference on Computer Vision and Pattern Recognition，2017：2261-2269.12 MHASKAR H N，MICCHELLI C A.How to choose an activation functionC/International Conference on Advances in Neural Information Processing Systems，1994：319-326.13 SZEGEDY C，IOFFE S，VANHOUCKE V.Inception-v4，inception-resnet and the impact of residual connections on learning.DB/OL.https：/arxiv.org/abs/1602.07261.14 WANG Q L，WU B G，ZHU P F，et al.ECA-Net：efficient channel attention for deep convolutional neural networksJ.Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2020，54（32）：132-138.15 ZHONG Y，QIU S，LUO X，et al.Facial expression recognition based on optimized resnet C/2020 2nd World Symposium on Artificial Intelligence（WSAI），2020：84-91.16 LI Y，LIN X Z，JIANG M Y.Facial expression recognition based on cross connected LeNet-5 network J.Acta Automatica Sinica，2018，44（1）：176-182.李勇，林小竹，蒋梦莹.基于跨连接 LeNet-5 网络的面部表情识别J.自动化学报，2018，44（1）：176-182.17 YANG X，SHANG Z H.Facial expression recognition based on improved alexnet J.Laser&Optoelectronics Progress，2020，57（14）：243-250.杨旭，尚振宏.基于改进AlexNet的人脸表情识别 J.激光与光电子学进展，2020，57（14）：243-250.18 MOLLAHOSSEINI A，CHAN D，MAHOOR M H.Going deeper in facial expression recognition using deep neural networks C/2016 IEEE Winter Conference on Applications of Computer Vision，2016：1-10.19 ZHOU J，MA M D.Facial expression recognition based on improved ResNet network J.Computer Technology and Development，2022，32（1）：25-29.周婕，马明栋.基于改进的ResNet网络的人脸表情识别 J.计算机技术与发展，2022，32（1）：25-29.20 ZHENG W P，LUO X S，MENG Z M.Facial expression recognition method based on improved lightweight rank extended networkJ.Computer Engineering，2012，64（3）：1-10.郑伟鹏，罗晓曙，蒙志明.基于改进轻量级秩扩展网络的人脸表情识别方法 J.计算机工程，2012，64（3）：1-10.21 ZHANG B，LAN Y T，LI D W，et al.Facial expression recognition based on convolution network channel attention J.Radio Engineering，2022，52（1）：148-153.张波，兰艳亭，李大威，等.基于卷积网络通道注意力的人脸表情识别 J.无线电工程，2022，52（1）：148-153.（责任编辑：何 丽 刘俣卓）86