基于变分自编码器的人脸表情识别.pdf

第 卷第 期计算机应用与软件 年 月 基于变分自编码器的人脸表情识别党宏社王淼 陆馨蕊王汝明（陕西科技大学电气与控制工程学院陕西 西安 ）（潍坊英轩实业有限公司山东 潍坊 ）收稿日期：。陕西省自然科学基金项目（）。党宏社，教授，主研领域：图像处理，计算机控制，工业过程与优化。王淼，硕士生。陆馨蕊，硕士生。王汝明，工程师。摘要为了在样本量较小的表情数据集上实现较高准确率的表情识别，将无监督特征学习应用于表情识别中，在传统自编码器网络的基础上，将变分自编码器引入人脸表情识别中，提出一种基于变分自编码器改进的人脸表情识别方法，使用大量无表情标签的人脸数据集对变分自编码器进行无监督训练，将变分自编码器中编码网络部分输出的低维特征输入到卷积神经网络中，由变分自编码器的编码网络和卷积神经网络两部分构成完整的表情识别网络；使用带表情标签的人脸表情数据集对网络进行训练。在 、数据库进行分类实验，实验结果表明，该算法具有一定的表情识别能力。关键词计算机表情识别变分自编码器无监督卷积神经网络中图分类号 文献标志码 ：（，）（，），引言人脸表情是人类交流过程中表达情感最自然、最直观的方式之一，且 的有用信息是通过表情来传达的 。因此，近年来人脸表情逐渐成为图像处理领域研究的热门，在教育、陪伴机器人、侦察、医疗等领域具有广泛的应用价值和深远的研究意义。传统的人脸表情识别方法主要是在人为手动提取特征的基础上，再使用支持向量机（）进行表情分类。如 （）、梯度方向直方图（）等，但这种手工特征的表示能力较差，且光照、性别、个体差异及人为干扰等因素对其影响较大 。目前深度学习在许多领域取得了较好的结果，并在某些任务中超越了传统方法。所以研究者开始将深度学习应用于表情识别中 。基于深度学习的方法第 期党宏社，等：基于变分自编码器的人脸表情识别 可以自动学习到人脸图像中复杂的特征描述，具有较强的鲁棒性且可以避免人为手工提取特征造成的误差，使得深度学习成为人脸表情识别领域的研究热潮。但有监督学习需要大量的带标签样本进行网络训练以保证模型的效果，无法直接在数据量较小的样本中得到较好的结果，然而在实际中，利用人工标记大量表情数据是非常费时耗力的事情。在面对海量无标记的数据时，无监督的特征学习正逐渐成为研究的新热点 。文献 将生成对抗网络（）应用于人脸表情识别中。文献 在表情识别中使用了去噪自编码器、稀疏自编码器、自编码器构成了 层的堆栈混合式自编码器。受文献 的启发，本文在传统自编码器网络的基础上，将卷积变分自编码器引入人脸表情识别中，提出一种基于卷积变分自编码器的人脸表情识别方法，首先利用卷积神经网络构建卷积变分自编码器。然后利用人脸识别领域中大量的无标签的人脸样本作为特征学习所需的数据，对卷积变分自编码器进行无监督训练；然后将变分自编码器中编码网络部分输出的低维特征输入到卷积神经网络中，构成表情识别网络；最后使用表情数据集对表情识别网络进行有监督训练，得到训练好的完整的表情识别网络。表情识别算法设计 整体框架假设输入的原始人脸数据集 ，需要经过变分自编码器得到原始人脸图像的重构人脸数据集 ，原始人脸数据集 经过编码网络后均值向量 和标准差向量 ，经过重参数技巧后得到隐变量 ，隐变量 中包含 的特征信息。图 为本文人脸表情识别算法的整体框架，系统分为 部分：（）变分自编码网络的无监督训练：使用卷积神经网络设计一种合适的变分自编码器，先使用无表情标签的 人脸数据集无监督训练变分自编码网络。（）表情识别网络的设计：利用预训练好的变分自编码器的编码网络和卷积神经网络构成表情识别网络。将经过变分自编码器中编码网络输出的低维特征（即隐变量 ）作为卷积网络的输入，经过卷积网络后得到分类结果。（）表情识别网络的有监督训练：使用带标签的人脸表情数据集训练卷积网络和分类层，通过反向传播调整表情识别网络的网络权重，以达到更好的表情分类效果。图 基于变分自编码器的人脸表情识别系统框架 算法流程表情识别主要分为表情特征提取和特征分类两步，而表情特征提取作为表情识别的关键步骤，直接影响着识别结果的好坏，为了提高表情特征提取能力，本文采用变分自编码器的思想，通过变分自编码器中解码网络不断重构编码网络输出的隐变量，使得重构图像尽可能地接近输入的原始图像，从而提高特征提取能力。（）无监督训练变分自编码器：在对变分自编码器进行无监督训练阶段，使用无表情标签的 人脸数据集作为网络输入，通过变分自编码器将输入的高维数据映射为均值向量 和标准差向量 ，利用重参数技巧 ，（，）得到隐变量特征 ，再利用解码器将低维隐特征变量 还原成高维特征得到重构的人脸图像，通过不断地优化原始人脸图像和重构的人脸图像之间的误差，使重构的人脸图像尽可能地还原原始人脸图像，从而保障隐变量 中包含的原始人脸特征信息通过解码网络后能尽可能还原出原始人脸图像。利用变分自编码器的无监督特征学习过程为表情识别网络提供良好的初始参数，从而达到提高网络的特征提取能力的目的。（）有监督训练卷积网络：使用带表情标签的人脸表情数据经过编码器得到的低维特征和表情标签对卷积网络部分进行有监督训练，通过反向传播算法调整网络权重，最终得到训练好的表情识别网络。（）人脸表情图像分类：输入表情数据集的测试数据，使用已经训练好的完整的表情识别网络进行表情分类识别。网络设计本文提出一种基于 的表情识别方法，该方法是在 的基础上设计一种新的表情识别网络，该表情识别网络由变分自编码器中的编码网络和卷积神经网络两部分组成。计算机应用与软件 年变分自编码器（）是 等 提出的，是采用两个神经网络建立了两个模型，分别是 和 。本文设计的变分自编码器的网络结构如图 所示，其中：、分别表示输入输出图像的高、宽、通道数；表示卷积核的大小；、分别表示步长及填充。变分自编码器的编码网络的输入是 大小的人脸图像，自编码器中有 个卷积核大小为 、步长为 、边界填充 的卷积层，其中每个卷积层后均采用批量归一化（）和 激活函数；卷积层后连接两个全连接层，第一个全连接层有 个神经元，第二个全连接层输出通过重参数技巧得到的 维隐变量。为了能够还原出 大小的人脸图像，解码网络中先连接一个具有 个神经元的全连接层，然后是 个与卷积操作作用相反的卷积核大小是为 、步长为 的反卷积层组成，每个反卷积层后采用 和激活函数 。当输入为 大小的人脸图像经过编码网络后得到均值向量 和标准差向量 ，经过重参数技巧后得到 维的隐变量特征 ，然后再经过解码网络还原出 大小的人脸图像。图 网络结构示意图在对 使用无监督训练完成后，使用训练好的 实现的人脸表情识别网络，如图 所示该网络由变分自编码器的编码部分和卷积神经网络两部分组成。将预训练后的卷积变分自编码网络中编码网络输出的隐变量 作为卷积神经网络的输入，构建完整的表情识别网络，使用带表情标签的人脸表情数据对表情识别网络中的卷积神经网络部分进行有监督训练。的原始人脸图像经过编码网络后得到 维的特征，将 维的一维特征使用 函数重构成 的矩阵，然后将其作为卷积神经网络的输入。卷积神经网络部分包括两个卷积核为 、步长为 的卷积层，两个池化窗口为 、步长为 的最大池化层，以及神经元个数为 的全连接层和神经元个数为 的 层。为了防止过拟合，在全连接层加入了参数设置为 的 层。图 使用 改进的表情识别网络 实验验证 实验环境实验采用的深度学习软件框架是 ，实验的第 期党宏社，等：基于变分自编码器的人脸表情识别 硬件平台为 （）（），内存为 ，为 的 。数据集以及数据预处理本文采用的数据集有 （）人脸数据集 、表情数据集 和 数据集 。其中无表情标签的 数据集用来对卷积变分自编码器进行无监督特征学习，和 人脸表情数据集均用来验证基于卷积变分自编码器的人脸表情识别算法的表情分类性能。人脸数据集中包含 个名人的 幅人脸图像，图像大小均为 ，数据集是用来训练卷积变分自编码器。数据集共 幅，是在实验室环境下对 名日本女性所表现出的 种基本表情采集构成的数据集。数据集是表情识别中比较常用的数据库，此数据库包含了采集自 名测试人员的 段表情图片序列，显示了表情从平静到剧烈，选取每段表情序列的最后 至 帧图像构成表情识别数据集。在实验前，需要对用到的所有数据集进行预处理，将所有图像的尺寸均缩放到 大小作为网络的输入。重建人脸图像的结果分析为验证卷积变分自编码器有较好的重建人脸图像的能力，使用 人脸数据集分别对卷积变分自编码器和卷积自编码器进行无监督训练，然后将重建的人脸图像可视化。自编码器将输入的高维人脸数据直接通过编码部分得到低维的隐向量，然后隐向量通过解码部分重构成原始图像，这个过程类似于数据压缩。而变分自编码器是基于变分贝叶斯推断的生成式网络。如图 和图 所示，分别为自编码器和卷积变分自编码器重建的人脸图像，其中第一行是原始的 图像，第二行是重建的人脸图像。通过对比重建的人脸图像的清晰度可以看出卷积变分自编码器重建人脸图像的能力优于自编码器，即隐层变量能包含更多的原始人脸特征信息，所以文中用卷积变分自编码器来进行特征提取。图 原始图像与 器重建的人脸图像的对比图 原始图像与 重建的人脸图像的对比 表情分类结果分析本文的评价准则是表情分类的准确率，定义见式（）。（）式中：为第 类表情的样本量；为第 类中识别正确的样本数量。为了测试和评估人脸表情识别模型的分类效果，分别将预处理好的 和 数据集作为测试数据，图和图所示分别是在 数据集和 数据集上表情识别结果的混淆矩阵。图 数据集上的混淆矩阵图 数据集上的混淆矩阵 计算机应用与软件 年图 和图 中对角线部分是各类表情的识别率，其余部分数据为某表情被误分为其他类别的概率。通过对比各类表情的识别率得：无论是 数据集还是 数据集，本文算法在高兴（）表情上的识别正确率最高；在 数据集中，厌恶和害怕这两种表情上的正确率明显偏低，而在 数据集上自然（）的识别率偏低。通过对数据集中原表情图像分析得：高兴表情的表情特征更加明显，而其他表情的表情特征有相似之处，所以更容易分类错误。为了进一步验证本文算法的识别效果，设计了以下对比实验：实验 ：直接使用表情数据集训练一个 层的卷积神经网络。实验 ：使用变分自编码器的编码部分进行特征提取，然后直接对提取的特征输入 分类层分类。实验 ：本文算法。表 中列出了几个对比实验分别在 和 数据集上的识别率，在对比实验 中采用的 网络的网络结构和参数与本文算法相同，分析表 中数据发现，使用变分自编码器后在 和 数据集上的识别率比未使用自编码器的识别率分别提高了 百分点和 百分点；但将变分自编码器编码网络的输出特征直接输入到 进行分类和与本文算法相比，本文算法的识别率略胜一筹。表 对比实验的实验结果（）对比实验 实验 实验 实验 表 中列举了不同表情识别方法在 和 数据集上识别率的对比结果，如：文献 中利用 的博弈思想不断增强特征提取能力和分类能力；文献 中使用卷积神经网络 提取人脸特征，并使用最大池化方法降维，进行分类；文献 中将改进的 应用于表情识别中。对比表中数据，无论是传统方法还是基于 的表情识别方法均取得了一定的效果，但是相比较而言，本文方法的识别效果更好。人脸表情识别部分结果示例如图 所示，图（）为识别正确的结果图。图 （）为识别错误的结果图。图 （）中左侧图像的表情标签是厌恶，但是从右侧的柱形图中可以看出，该表情被识别成伤心的概率最大。表 不同方法在 数据集和 数据集上对比（）（）（）本文 （）识别正确的结果图（）识别错误的结果图图 人脸表情识别部分结果示例 结语针对由于样本不足导致网络模型难以训练，从而影响识别结果的情况，本文提出的基于变分自编码器改进的人脸表情识别方法，通过无监督学习的方式使变分自编码网络有良好的特征提取能力，从而为表网络提供良好的初始参数，在一定程度上解决了因样本不足而导致的过拟合问题。通过实验验证了本文方法在表情识别方面是有效的。下一步将以野外表情数据集作为研究的对象，使网络在野外表情识别方面具有较好的识别能力。参考文献 ，（）：（下转第 页）第 期汪恒，等：基于 的事件机制响应调度的实时性分析 制的精确使用提供参考，也为剖析其他 的实时性提供一定的借鉴。参考文献 ，：？：韩东奇，陈永恒 实时性分析与改善方法测试 科技创新导报，（）：张文君，陈香兰，李曦 嵌入式实时操作系统的分析评测方法 计算机系统应用，（）：赵立业，张激，游夏 实时操作系统的性能分析和评估 计算机工程，（）：，：刘淼，王田苗，魏洪兴，等 基于 的嵌入式数控系统实时性分析 计算机工程，（）：，：，（）：沈志刚，燕雪松，赵权 仿真中 方法的实现 电力行业信息化年会，：，：，（）：谭琦 嵌入式操作系统通信和同步机制的研究 长沙：长沙理工大学，：朱旭东，张健 事件标志组中存在的问题及解决方法 计算机工程，（）程玉娟 嵌入式实时操作系统 的内核分析及应用研究 苏州：苏州大学，杨癑，邵浩然，张索非 与 内核分析及选型研究 科技视界，（）：与 权威指南 版吴常玉，曹孟娟，王丽红，译 北京：清华大学出版社，：（上接第 页），（）：刘芾，李茂军，胡建文，等 基于低像素人脸图像的表情识别 激光与光电子学进展，（）：，（）：李婷婷，胡玉龙，魏枫林 基于 改进的人脸表情识别算法及应用 吉林大学学报（理学版），（）：张志禹，王瑞琼，魏敏敏，等 堆栈式混合自编码器的人脸表情识别方法 计算机工程与应用，（）：，（）：，：，：，：，（）：，：卢官明，何嘉利，闫静杰，等 一种用于人脸表情识别的卷积神经网络 南京邮电大学学报（自然科学版），（）：，（）：杨旭，尚振宏 基于改进 的人脸表情识别 激光与光电子学进展，（）：