人脸识别综述模式识别论文.pdf

word 文档 可自由复制 I编辑 人脸识别技术综述 摘要：简要介绍了人脸识别技术的研究背景及其发展历程；对人脸识别技术的常用方法进行了分类总结；重点对近年来人脸识别方法的研究进展进行综述并对各种方法加以评价；总结了现阶段存在的研究困难并提出今后的发展方向。关键词：人脸识别；人脸检测；人脸定位；特征提取 1 引言 随着计算机和生物医学工程技术迅速发展，利用生物特征来鉴别个人身份成为安全验证首选方式，具有普遍性、安全性、唯一性、稳定性等。可选的生物特征包括生理特征（如人脸、指纹、虹膜掌纹等）或行为特征（如笔迹、语音、步态等）。人脸识别技术是一种最友好的生物识别技术（非接触、非侵犯），它结合了图像处理、计算机图形学、模式识别、可视化技术、人体生理学、认知科学和心理学等多个研究领域。人脸识别应用领域：身份鉴定、身份确认、视频监控、面部数据压缩。从二十世纪六十年代末至今，人脸识别算法技术的发展共经历了如下四个阶段：1.基于简单背景的人脸识别 人脸识别研究的初级阶段。利用人脸器官的局部特征来描述人脸。但由于人脸器官没有显著的边缘且易受到表情的影响，因此它仅限于正面人脸（变形较小）的识别。2.基于多姿态/表情的人脸识别 人脸识别研究的发展阶段。探索能够在一定程度上适应人脸的姿态和表情变化的识别方法，以满足人脸识别技术在实际应用中的客观需求。3.动态跟踪人脸识别 人脸识别研究的实用化阶段。通过采集视频序列来获得比静态图像更丰富的信息，达到较好的识别效果，同时适应更广阔的应用需求。4.三维人脸识别 为了获得更多的特征信息，直接利用二维人脸图像合成三维人脸模型进行识别，即将成为该领域的一个主要研究方向。人脸识别系统，是指不需要人为干预，能够自动获取人脸图像并且辨别出其身份的系统。包括：数据采集、人脸检测与跟踪、人脸识别这三个子系统。目前国内比较成熟的人脸识系统有：1.中科奥森人脸识别系统 2.南京理工的人脸识别系统 3.深圳康贝尔人脸识别系统 word 文档 可自由复制 I编辑 人脸识别技术的研究范围主要包括以下几个方面：1.人脸检测：在输入的图像中寻找人脸区域。2.人脸的规范化：校正人脸在尺度、光照和旋转等方面的变化。3.特征提取：从人脸图像中映射提取一组能反映人脸特征的数值表示样本。4.特征匹配：将待识别人脸与数据库中的已知人脸比较，得出相关信息。5.表情/姿态分析：让计算机感知表情变化，分析理解人的情绪。6.生理分类：对人脸生理特征分析，得出性别、年龄、种族等信息。人脸识别流程 人脸识别的技术难点在于：1.复杂条件下人脸检测和关键点定位 2.光照变化 3.姿态 4.表情 5.遮挡 6.年龄 7.低质量照片 8.大规模人脸识别 9.样本缺乏 10.海量数据学习.11 信息采集设备带来的问题 2 图像预处理 人脸图像获取设备有照相机、摄像机、扫描仪等。包括静态图像和动态图像。常见格式有 BMP、GIF、JPEG、TIFF、PSD、PNG、SWF、SVG 等。常用的图像预处理方法有灰度化、二值化、几何校正、直方图修正、滤波、锐化、像素平均法等。2.1 图像去噪 一般来说，自然界中的噪声可以看成是一种随机信号。根据图像获取的途径不同，噪声的融入也有多种方式：1.图像是直接以数字形式获取的，那么图像数据的获取机制会不可避免地引入噪声信号；人脸图像获取 人脸检测 定位人脸区域 预处理 特征抽取 人脸特征 对比识别 结果 人脸特征库 word 文档 可自由复制 I编辑 2.在图像采集过程中，物体和采集装置的相对运动。或采集装置的抖动，也会引入噪声，使图像变的模糊不清；3.在图像数据的电子传输过程中，也不同程度的引入噪声信号。这些噪声信号的存在，严重的情况会直接导致整幅图像的不清晰，图象中的景物和背景的混乱。对于用于人脸识别的图像。由于噪声的引入，将不可避免地造成识别率的下降。对图像噪声的消除可以通过两个途径：空间域滤波或频率域滤波。消除噪声的方法很多，对于不同的噪声应该采用不同的除噪方法。主要的方法是：线性滤波、中值滤波、维纳滤波以及小波去噪等。2.2 增强对比度 为了使人脸在图像中更为突出以便于下一步的特征提取，增强图像对比度是很有必要的。增强对比度有很多种方法，常见的有直方图均衡化和“S”形变换等方法。“S”形变换方法将灰度值处于某一范围（人脸特征范围）内的像素灰度分布差距拉开，从而保证了对比度的提高，但此方法降低了其他灰度值的对比度。而直方图均衡化则是将像素的灰度分布尽量展开在所有可能的灰度取值上，这样的方法同样能使得图像的对比度提高。将彩色图像转化成灰度图像是人脸识别方法中常见的处理过程，虽然转化过程丢失了一部分色彩信息，但是灰度图像拥有更小的存储空间和更快的计算速度。文献1 给出了一种能够将 RGB 色彩转换成灰度级且适于突出人脸区域对比度的转换模型：5.0144.0587.0299.0,bgryxf；其中 f代表灰度值，r,g,b 分别表示 Red,Green,Blue 分量的值。文献2 通过将人脸彩色图像从 RGB 色彩空间转换到 RIQ 色彩空间，得到了更适于频谱分析的特征分量。word 文档 可自由复制 I编辑 2.3 二值化 图像经过灰度变换后仍然是比较复杂的，因此需要将多层次的灰度图像进行简化。二值化就是一个很好的选择。对于分析理解图像特征和识别图像大有裨益。原理就是通过一些算法，设定黑白二色的阈值，将图像中的像素颜色均转换为黑白二值，“1”表示黑色，“0”表示白色，这种图像称之为二值图像，便于特征提取。2.4 锐化 使用梯度微分锐化图像时，会使噪声、条纹等得到增强。但是 Soble算子引入了平均因素，对图像中的随机噪声有一定的平滑作用；不过由于它算法的特殊性会产生边缘粗而亮的不良后果。Sobel边缘检测算子使用一个水平的有向算子和一个垂直的有向算子，每一个逼近一个特定的偏导数矩阵。按照特定算法求这两个偏导矩阵的几何平均值，然后将该平均值赋给待求点的灰度值。3 人脸检测与定位 人脸自动识别系统包括两个主要技术环节：人脸检测与定位和特征提取与人脸识别。从人脸自动识别技术所依据的理论来讲，人脸检测与人脸识别都是模式识别问题。人脸检测是把所有的人脸作为一个模式，而非人脸作为另一个模式，人脸检测的过程就是将人脸模式与非人脸模式区别开来。人脸识别是把每一个人的人脸作为一个模式来对待，不同人的脸属于不同的模式类，人脸识别的过程是将属于不同人的脸归于各自的模式。换句话说，人脸检测强调的是人脸之间的共性，而人脸识别则要区分不同人脸之间的差异，二者同属于模式分类问题。人脸检测与定位是指检测图像中是否有人脸，若有，将其从背景中分割出来，并确定其在图像中的位置。主要方法有：3.1基于模板的方法 第一步建立一个标准的人脸模板，需要包含人脸的各个局部特征。第二步对全面检查输入图像，计算与标准人脸模板中各局部特征的相似系数，与之前设定的阀值比较，判定是否存在人脸。（1）固定模板匹配法：根据先验知识确定一个人脸检测模版。该模版包含人脸轮廓以及五官模型，计算样本图像区域与模板中人脸轮廓的相似性来徐略确定人脸大致区域，接着通过检测该区域中是否含有五官模型中要求的要素，如果有就可以判定该区域就是人脸区域。由于很难用一个通用的人脸模版来模拟出所有脸型，而且人的面部特征变化很大，致使这种方法很有局限性，目前该方法只作为粗检的手段。（2）变形范本法：考虑到人脸是可变形体，该方法通过非线性最优化方法求得一个参数模板，该模版如果能使能量函数最小，那么它就能描述所求参数特征。该方法稳定可靠，而且与姿态和光照无关，但是能量函数的系数适应的范围不广而且计算量过大。该方法比较成熟，实现起来比较简单，但是效率并不高。word 文档 可自由复制 I编辑 3.2基于特征的方法 人脸模式的变化满足一定的规律，所以可以归纳描述人脸特征的规 则，如灰度分布、比例关系、纹理信息等。该方法首先检测出人脸面部特征的位置，然后根据各特征之间的几何关系来定位人脸。主要有以下两种方法：基于器官特征的方法：该方法首先提取五官的图像特征。该特征可以用几何、灰度、空间等来描述。然后通过五官位置和相互之间几何关系来检测人脸。虽然每个人脸都不同，但是可以用轮廓规则、五官分布规则。对称性规则、运动规则来制定人脸判定规则。基于肤色的方法：人脸肤色在颜色空间上的分布相对集中，而且与图片中其他部分是基本不重合的。当表情变化或者面部转动时，肤色并不会变，在人脸检测时有很强的稳定性。用肤色信息检测人脸时，要选择合理的色度坐标。通常的做法是将彩色的 R、G、B 分量归一化以便突出色度信息。相比于亮度而言，人对色度更加敏感。所以 Y Cb Cr这样一个色差模型更符合人类视觉特点。其中，Y 是亮度信号，Cr Cb是色度信号。虽然基于肤色的方法不够准确，但是能够简单快速地定位人脸 3.3基于外观学习的方法-目前的主流方法 这是一种学习型的方法。将人脸检测视为区分“非人脸样本”与“人脸样本”的模式识别问题，通过对大量人脸样本集和非人脸样本集的学习、训练产生建立起一个能正确识别人脸样本的分类器。然后扫描整个待检测图像，用分类器判别是否包含人脸。有很多种不同策略的分类器，如下所示：（1）隐马尔科夫模型：描述信号统计特性。其过程是一个双重随机过程。特征序列与状态序列之间的并没有严格的一一对应关系。这种模型对于状态序列来说是隐的。因为外界只能看到各个时刻的输出值，看不到其中复杂过程。（2）支持向量机：兼顾模型的复杂性和学习能力，寻找一个平衡点。对有限样本的情况下非常适用。通过构造风险最小的分类面来解决一个受限二次规划问题。（3）人工神经网络：是一种模仿大脑神经突触联接的结构进行信息处理的数学模型。边训练边测试，并把在错误结果作为“反面教材”，进一步修正分类器。预先将足够量“正、反”图像样本和其识别结果输入网络，通过训练它就能识别类似的图像是否包含人脸。但是想要获得期望的性能，调整网络结构参数的工作量很大。3.4 Ada boost 方法 该方法中文意思是自适应性提升算法，是一种应用了迭代思想的机器学习方法。Viola于 2001 年开创性地将其应用到人脸检测方面，并且融合了积分图和级联分类器于其中。其核心思想是使大量弱分类器联合成为一个强分类器。虽然该方法源于 PAC学习模型，但是并不过多地关注弱学习算法的先验知识，而是经过若干次迭代自适应地降低弱学习的错误率。每次用样本集训练后，重新确定每个样本的权重。将新的数据集交给下层分类器继续训练。作为最终决策分类器的 word 文档 可自由复制 I编辑 是历次训练得到的分类器的级联。既保证了效率又兼顾了检测正确率。Haar 特征和积分图像密切相关，计算量较小应用于 Ada boost 算法中用来描述人脸面部灰度特征可以提升特征提取速度。将样本图像中的 Haar 特征提取出来后，需要通过训练，选出最优的 Haar 特征转换成弱分类器，最后将弱分类器级联后用于人脸检测。3.4.1 Haar 特征 该特征其实就是矩形特征。它虽然仅能描述水平、垂直、中心环绕型的特征比较粗略但是对于边缘、线段等简单图形结构很敏感。在给定数据有限时，也能将特定区域的状态编码出来，并且检测速度上比基于像素的系统优异得多。对于检测器来说一副图像内的矩形特征数量是很大的，比如 24 乘 24 的检测器特征数量已经达到了 160000 个。此时只有选出合适的矩形特征组成的强分类器才能较好的检测出人脸。由多个全等的黑色或白色相邻矩形组合成的模版，其特征值用所有白色和黑色矩形的像素总差值来定义。该特征模版包含有：边缘特征、线性特征、和特定方向特征，如下图 3-1所示。要对弱分类器进行训练，就要找出在子窗口中特征模板的所有形态。图 3-1 特征模版分类 眼睛和鼻子的颜色和周围的灰度有区别，鼻梁两侧和鼻尖的灰度也是有差异的。所以可以得到如下图 3-2 和下图 3-3 所示的矩形特征和人脸特征的匹配。word 文档 可自由复制 I编辑 图 3-2 特征匹配 图 3-3 特征匹配 3.4.2 积分图 特征数量很多导致特征计算的工作量很大，采用积分图可以有效地简化计算。对原始图像中的每个像素进行少量类比于微积分的简单计算就能得到积分图像。其主要思想是：预先将图像各特定矩形区域像素之和保存到内存中的某个数组中，当需要该值时，直接从数组中取出即可，不用再重新计算。积分图在多种尺度下计算不同特征时，所耗的时间是一样的，有效地降低了计算量。word 文档 可自由复制 I编辑 图 3-4 矩形区域 3.4.3 积分图 单个弱分类器并不能直接拿来供分类使用，所以要将其优化组合成强分类器，这样就能大大提高对人脸的检测能力。如果再将多个强分类器级联起来，对人脸的检测能力将会再次飞跃。Ada boost 算法引入了一种类瀑布型的级联分类器，如图 3-5 所示。在该分类器中，一级比一级复杂严格。随着系统级数的增加非人脸图像通过率大为降低，但是同时也可能会造成人脸图像被错误地排除掉。所以该系统的设计原则如下：在保证人脸图像通过的前提下，尽可能地抑制非人脸图像的通过。所有子窗口图像强分类器1强分类器2强分类器N检测为人脸的图像被拒绝的子窗口图像TFFF 图 3-5瀑布型级联分类器 3.4.4 训练检测过程及其优化 训练：虽然每一个 Haar 特征都有一个弱分类器与之对应，但是并不是每一个都能很好的表征人脸的灰度分布。因此训练过程中要解决的中心问题就是如何选取最优 Haar 特征制成分类器。在选取训练样本的时候，考虑到人脸是具有多种形态的，所以必须选取具有 word 文档 可自由复制 I编辑 一定代表性的多个样本。选取的样本，人脸姿态要尽量一致，样本大小也应该统一。待检测图像的分辨率应该在 19 乘 19 以上。人脸数据库可参考 MIT-CBCL库，该库有 10 个人的 3200 张训练图片以及大量测试图片。训练过程如下：（1）从图像中提取出 Haar 特征，常用的 5 种特征如图 3-1 所示（2）用获得特征生成弱分类器（3）用多次迭代的方法找出最优的弱分类器并提高其权重 检测：分类器在训练过程中所使用的样本大小在很大程度上决定了其所能处理的对象的大小。实际中图片中的人脸大小是各不相同的，因此要引入多尺度检测机制。目前有两种办法：（1）在变换分类器尺度同时改变其阀值 （2）对图像用不同尺度抽样。虽然第一种方法实现起来比较复杂，但是计算量小检测速度较快。检测步骤如下：（1）将待测图像变换为灰度图像 （2）得出积分图像（3）将不同尺度下的检测结果合并 （4）将合并后的结果再输出 优化:虽然 Ada boost 系统检测速度比较高，但是其本身训练比较耗时。而且对有一定倾斜角度的人脸存在检测盲区。可以从以下两个方面进行优化：（1）在训练过程中将新的矩形特征模版引入弱分类器的模版当中,如图 3-6所示（2）在检测过程中引入肤色检测和光照补偿 图 3-6 新的矩形模版 word 文档 可自由复制 I编辑 4 特征提取与人脸识别 特征提取之前一般需要做几何归一化和灰度归一化的工作。前者是指根据人脸定位的结果将图像中的人脸区域调整到同一位置和大小；后者是指对图像进行光照补偿等处理，以克服光照变化的影响。提取出待识别的人脸特征之后，即可进行特征匹配。这个过程是一对多或一对一的匹配过程，前者是确定输入图像为图像库中的哪一个人，后者是验证输入图像的人的身份是否属实。以上两个环节的独立性很强。在许多特定场合下人脸的检测与定位相对比较容易，因此，特征提取与人脸识别环节得到了更广泛和深入的研究。4.1 人脸特征提取 人脸特征提取是人脸识别中的核心步骤，直接影响识别精度。由于人脸是多维弹性体，易受表情、光照等因素影响，提取特征的困难较大。特征提取的任务就是针对这些干扰因素，提取出具有稳定性、有效性的信息用于识别。人脸特征是识别的重要依据之一。检测定位过程中也会用到人脸特征。其中统计特征和灰度特征是在人脸定位和特征提取过程中常用到的两类特征：a)统计特征 统计特征即用统计的方法对目标对象的肤色、光照变化等因素建模。基于肤色特征的识别方法简单且能够快速定位人脸1。人脸肤色不依赖于细节特征且和大多背景色相区别。但肤色的确定对光照和图像采集设备特性较敏感。不同的光照下脸部色彩复杂。这给统一建模造成了一定难度。该方法通常作为其他统计模型的辅助方法使用，适于粗定位或对运行时间有较高要求的应用。文献1 使用人脸灰度图像的水平和垂直方向的像素灰度均值来描述人脸特征。通过分别对灰度图像各行和各列中的像素灰度值进行求和，获得水平方向与垂直方向的灰度均值轮廓，以此来描述人脸特征。b)灰度特征 word 文档 可自由复制 I编辑 灰度特征包括轮廓特征、灰度分布特征(直方图特征、镶嵌图特征等)、结构特征、模板特征等。由于人脸五官位置相对固定，灰度分布呈一定规律性，因此，可利用灰度特征来进行人脸识别。通常采用统计的方法或特征空间变换的方法进行灰度特征的提取，如利用 K-L 变换得到的特征脸，利用小波变换得到的小波特征等234。文献2 使用傅立叶变换得到人脸图片的频域信息，通过选取适当的遮盖模板，提取其中的频谱信息来描述人脸的特征。实验证明该方法对光照和表情/姿态的变化有一定的容忍力。文献4 使用小波变换的方法在小波域通过多分辨率分析克服光照和面部表情对人脸识别的影响，获得了较好的识别效果。4.2 人脸特征提取常用方法 近年来对人脸特征提取的研究主要集中在三个方面：1.几何特征点的提取；2.变换域中的特征提取；3.利用变形模板进行特征提取。特征提取方法归纳起来分为两类：基于局部特征的提取方法和基于整体特征的提取方法。基于局部特征的人脸面部表情识别是利用每个人的面部特征(眉毛、眼睛、鼻子、嘴巴和面部轮廓等)的位置、大小及其相互位置的不同进行特征提取，达到 word 文档 可自由复制 I编辑 人脸面部表情识别的目的。基于人脸整体特征的提取是从整个人脸图像出发，通过加强反映整体特征来实现人脸面部表情识别。对比两种方法，基于局部特征的方法很大程度上减少了输入的数据，但是用有限的特征点来代表人脸图像，一些重要的表情识别和分类信息就会丢失。基于人脸整体特征提取在计算量和计算时间上都多于局部特征提取，而且系统设计也相对复杂。此外，还可以通过多种方法综合利用来进行特征提取。4.2.1 模板匹配方法 模板匹配方法是模式识别的传统方法，其思想是：库中存储着已知人脸的若干模板。识别的时候，将经过预处理的输入图像与库中的所有模板采用归一化相关度量进行匹配识别，来达到分类的目的，完成人脸的识别。由于这种方法要求两幅图像上的目标要有相同的尺度、取向和光照条件，所以预处理要做尺度归一化和灰度归一化的工作。上述为静态模板匹配，但是它存在着对不同表情的人脸鲁棒性差的缺点，针对这一情况，人们提出了弹性模板匹配。弹性模板匹配是根据待检测人脸特征的形状信息（通常利用小波特征）。定义一个参数描述的形状模型，该模型的参数反映了对应特征形状的可变部分，如位置、大小、角度等，它们最终通过模型与图像的边缘、峰、谷和灰度分布特性的动态地交互适应来得以修正。由于模板变形利用了特征区域的全局信息，因此可以较好地检测出相应的特征形状。弹性模板匹配的方法在一定程度上容忍光线等的干扰，对细微的表情不敏感。而且弹性匹配中的人脸模型还考虑了局部人脸细节，它的可变形匹配方式，一定程度上能容忍人脸从三维到二维投影引起的变形。4.2.2 几何特征方法 基于几何特征的人脸识别方法将人脸用一个几何特征矢量表示，用模式识别中的层次聚类思想设计分类器来对人脸进行识别。流程大体如下：首先检测出面部特征点，通过测量这些关键点之间的相对距离，得到描述每个脸的特征矢量，比如眼睛、鼻子和嘴的位置和宽度，眉毛的厚度和弯曲程度等，以及这些特征之间的关系。比较未知脸和库中已知脸中的这些特征矢量，来决定最佳匹配。基于几何特征的识别方法具有如下优点：符合人类识别人脸的机理，易于理解；对每幅图像只需存储一个特征矢量，存储量小；对光照变化不太敏感。该方法同样也有其缺点：从图像中抽取稳定的特征比较困难，特别是在特征受到遮挡时；对强烈的表情变化和姿态变化的鲁棒性较差；一般几何特征只描述了部件的基本形状与结构关系，忽略了局部细微特征，造成部分信息丢失，更适合于粗分类。文献3 使用人脸部下巴的轮廓曲线来辅助检测人脸特征，然后使用 Gabor小波变换(GWT)进行人脸识别，获得了较理想的实验结果。word 文档 可自由复制 I编辑 4.2.3 特征脸方法 该方法是从主成分分析(PCA)导出的一种人脸识别和描述技术。其主要思想是，一副由 N 个象素组成的图像，可以看作 N 维矢量，或是 N 维空间中的一点。假设人脸图像只占据这个高维图像空间的一个很小的子区域，因此可以利用PCA来得到一个人脸图像的优化坐标系统。即是对这个人脸子区域的坐标进行降维，使得每个人脸图像可以用很少几个参数来表示，这就降低了计算复杂度。特征脸方法在应用中是比较成功的。4.2.4 神经网络方法 神经网络是利用大量简单处理单元（神经元)互联构成的复杂系统来解决识别问题。它在正面人脸识别中取得了较好的效果。常用的神经网络有 BP（反向传播）网络、自组织网络、卷积网络、径向基函数网络和模糊神经网络。BP 网络运算量相对较小，耗时较短。其自适应功能有助于增强系统的鲁棒性。神经网络在人脸识别上有独到的优势。通过学习获得其他方法难以获得的关于人脸识别规律和规则的隐性表达。但其运算量大、训练时间长、收敛速度慢、容易陷入局部最小。人工神经网络由于其固有的并行运算机制以及对模式的分布式全局存储，故可用于模式识别，而且不受模式形变影响。用于人脸识别的神经网络方法可训练有较强噪声和部分缺损的图像，这种非线性方法有时比线性方法更有效。4.2.5 隐马尔可夫模型方法 利用隐马尔可夫模型(Hidden Markov Model，HMM)，将人脸图像按某种顺 word 文档 可自由复制 I编辑 序划分为若干块，对各块进行 K-L 变换，选取前若干变换系数作为观测向量训练 HMM。HMM有 3 个主要问题：评估、估计及解码。我们关心的是前两个问题。评估用于解决识别问题，估计用来产生用于识别的各个单元的HMM。Samaria等人首先将一维隐马尔可夫模型(1D-HMM)用于人脸识别，并对不同状态数模型的识别性能进行了详细比较和分析。根据人脸由上至下各特征区具有自然不变的顺序。可用 1D-HMM表示人脸。脸上的特征区被指定为状态，即从上到下为人脸图像进行一维连续 HMM建模。伪二维隐马尔可夫模型(P2D-HMM)是 1D-HMM的一种扩展。P2D-HMM利用了图像的二维特征，不但能表现人脸垂直方向的空间结构，还能表现水平方向从左至右的空间结构。更适合于人脸图像识别。但是 P2D-HMM结构较复杂，运算量很大。4.2.6 弹性图匹配方法 弹性图匹配法(Elastic Graph Matching)是一种基于动态链接结构(Dynamic Link Architecture，DLA)的方法。该方法在二维空间中为人脸建立属性拓图，把拓扑图放置在人脸上，每一节点包含一特征向量，它记录了人脸在该顶点附近的分布信息，节点间的拓扑连接关系用几何距离来标记，从而构成基于二维拓扑图的人脸描述11。利用该方法进行人脸识别时，可同时考虑节点特征向量匹配和相对几何位置匹配。在待识别人脸图像上扫描拓扑图结构并提取相应节点特征向量，把不同位置的拓扑图和库中人脸模式的拓扑图之间的距离作为相似性度量。此外，可用一个能量函数来评价待识别人脸图像向量场和库中己知人脸向量场间的匹配度，即最小能量函数时的匹配。该方法对光照、姿态变化等具有较好的适应性。该方法的主要缺点是计算量较大。必须对每个存储的人脸计算其模型图，占用很大存储空间。文献11 使用了广义弹性图匹配的人脸识别方法，在适应人脸的姿态及表情变化方面获得了较好的实验效果。word 文档 可自由复制 I编辑 4.2.7 支持向量机(SVM)方法 近年来，支持向量机是统计模式识别领域的一个新的热点，它试图使得学习机在经验风险和泛化能力上达到一种妥协，从而提高学习机的性能。支持向量机主要解决的是一个 2 分类问题，它的基本思想是试图把一个低维的线性不可分的问题转化为一个高维的线性可分的问题。实验结果表明支持向量机有较好的识别率。4.3 基于视频序列的方法 相对于单个静止图像，视频序列能提供更多的信息，如：同一人的大量图像可供使用；可以根据运动变化估计 3D 人脸结构；可以用于补偿光照、姿态、表情等变化；视频序列的时间连续性和识别对象身份的一致性为人脸识别提供信息；可以从低分辨率图像恢复出高分辨率图像；可以根据眼球的运动、姿态的变化等进行身份识别以防止基于静态图像的欺骗等。这类方法一般是基于视频序列的空间轨迹或概率模型进行匹配识别，因而具有更好的鲁棒性。视频序列中人脸识别有两部分工作：第一，人脸检测和跟踪，即从视频图像序列中确定是否存在人脸并对其准确定位和保持跟踪状态；第二，人脸识别，识别视频中脸像身份。视频系列中人脸的识别一般有两种方案：1.从视频序列中选择几帧质量较好的图像，然后用静止图像的人脸识别方法进行匹配；2.对所有跟踪帧应用识别方法识别，不断调整识别概率。视频序列中人脸识别面临如下挑战：视频图像质量较差、视频图像分辨率较低以及外界各种不确定因素的影响等。超分辨率图像技术被广泛应用于基于视频序列的人脸识别方法之中56。通过在视频序列中提取连续的多帧图像，经过图像重建，可以得到解析度高于输入视频序列图像的单幅高解析度复原图像。这种方法有助于克服视频人脸识别在实际应用中视频图像质量较差的问题。word 文档 可自由复制 I编辑 4.4 基于三维的方法 把人脸当作平面图像来看待就是二维识别问题，将人脸用立体图像来表示，就是三维识别问题910。三维人脸的研究始于计算机动画和生物医学成像。采用三维识别与传统的方法最大的区别就在于，人脸的信息可以更好的表现和存储，同时由于三维人脸模型具备光照无关性和姿态无关性的特点，能够正确反映脸的基本特性。而且人脸主要的三维拓扑结构不受表情的影响，从而形成相对稳定的人脸特征表述。因此基于三维人脸模型的识别方法可以很好地解决目前在这一领域存在的研究瓶颈。三维人脸识别主要有基于图像特征的方法和基于模型可变参数的方法。基于图像特征的方法实现的过程类似人脸重建的方法：首先匹配人脸整体的尺寸轮廓和三维空间方向；然后，在保持姿态固定的情况下，去作脸部不同特征点的局部匹配。也可以用一个精确的透视模型估计姿态参数，同时利用一个稀疏特征集合去插值和提炼其余的脸部结构。基于模型可变参数的方法使用将通用人脸模型的3D 变形和基于距离映射的矩阵迭代最小相结合，去恢复头部姿态和3D 人脸。随着模型形变的关联关系的改变不断更新姿态参数，重复此过程直到最小化尺度达到要求。基于模型可变参数的方法与基于图像特征的方法的最大区别在于：后者在人脸姿态每变化一次后，需要重新搜索特征点的坐标，而前者只需调整 3D 变形模型的参数。文献9 通过融合 2D 和 3D 人脸数据，获得了比使用单一数据信息进行人脸识别更好的识别效果。该方法对光照和表情、姿态的变化均有较好的鲁棒性。目前三维人脸识别算法还很不成熟，主要面临如下困难：1.信息来源方面的困难：用于 3D 识别的完整信息难于获取，或者用于 3D 识别的信息往往是不完整的，这造成了识别算法本身不可纠正的错误。2.海量存储和计算量庞大：由于 3D 识别的数据容量和计算量十分巨大，给存储和运算带来困难，也对计算机的硬件提出了更高要求。3.对人的生理认识的不足：对于生物生理学和生物心理学等相关学科的认知水平制约了计算机的算法实现，比如：对于肌肉的运动理论和表情的形成等问题，不能提供给计算机足够的专家支持。word 文档 可自由复制 I编辑 4.受到环境和条件的约束：影响二维识别的不利因素在三维识别上同样存在。比如：光线、方向、遮盖、阴影背景等。5 结论 人脸图像受到很多因素的影响，比如：光照条件、姿态、背景、面部表情以及附属物等。这些因素的变化，都会导致人脸图像的明显不同，目前还没有有效的识别算法能够完全解决这些因素的影响。很多识别算法都是对光照条件、姿态等因素进行约束化简。在上述因素中，主要的影响来自于光照条件和姿态的变化。为了消除它们对识别效果的影响，通常的做法是扩大样本空间，收集各种光照和姿态下的样本，识别判断时考虑测试图像与各种条件下样本的差异，然后进行综合分类。一种克服光照影响的做法是通过使用不同的采集源，如热红外(IR)图像，以实现在暗光环境下的人脸识别，或用来消弱不同角度光照对人脸图像的影响78。对于姿态的影响，可以利用弹性图匹配的方法，跟踪面部关键特征点的变化，估计姿态参数；或使用3D 变形模型来匹配面部表情的变化。总体来说，光照和姿态变化仍是人脸识别所面临的重大挑战，特别是当两种因素混在一起时。目前看来，弹性图匹配方法、特征脸方法和 3D 人脸建模是解决当下实际问题的较为行之有效的方法，将会得到更加深入的研究。从模式识别到人脸识别 一般到特殊，归纳与演绎，理论与实践 应用模式识别的基本原则到人脸识别中去：从人脸模式的先验知识、具体情况和特定约束条件（“脸情”）出发，依据模式识别各模块的基本设计原则，选择、应用、尝试、比较 PR 领域的基本方法，最终解决人脸识别这个具体问题。在实践中验证 PR，在理论上回报 PR：验证 PR 中的基本原理和技术方法，发现其可能的问题并修改之。总结归纳人脸识别中出现的共性 PR 问题及其可能的解决方案，以充实、弥补作为一门分支学科的模式识别。人脸识别是模式识别的一个典型案例，它为模式识别问题研究提供了一个良好的实验平台，所以，众多模式识别的知名专家、学者都在从事人脸识别的研究！关于传感器与预处理 传感器：客观世界模式的测量问题 人脸：数字化为 2D 图像？3D 形状？红外温谱？分辨率、精度、灵敏度、失真度等等 真实性？稳定性？预处理：保证数据的纯洁度 模式识别理论基本不关心这两项内容，而在应用上，是必须作为重要内容来考虑的，否则可能根本就是不可解的问题！关于特征表示问题 关于特征提取与分类器：理想的特征提取过程可使得后续的分类器设计成为小菜一碟，万能的分类器似乎也应该使得设计者不必刻意设计特征提取过程！没有万能的分类器！甚至没有所谓最好的分类器，不同的分类器有不同的适 word 文档 可自由复制 I编辑 用范围！但对具体问题，可能会有最适合的特征表示方法，而不同的特征表示也需要采用不同的分类器。关于数据问题 Math is king,data is queen!在基于统计学习的模式识别问题中，采用什么样的数据、多少数据往往决定了问题的成败，而不是采用了什么样的学习算法。目标不同：模式识别研究的是有了特定属性数据之后如何设计“对所有可能的情况”最优的分类器，而应用上却要考虑“为了解决某个特定识别问题”如何去选择数据？只为了识别中国人，需要把外国人的数据拿来训练吗？为了识别正楷文字，需要把行书也拿来训练吗？但是，在理论上却有另一个问题 关于泛化能力 对于没有训练学习过的模式样本的识别能力。只用中国人训练的模型能否识别老外？异族人脸识别困难现象。婴儿：“独眼龙”不是人？在实践中，也许想办法加入更多的有代表性的训练样本更能解决问题，而不是去设计更复杂的分类器或者学习机。充分利用手头样本：AdaBoost，Bagging等等。小结 对一般方法的掌握程度 对特定问题的理解程度 应用中需要更多的关注：传感器的选择，比如什么样的摄像机？预处理：如何去除各种干扰因素？特征表示问题：什么是本质的类别特征？为了解决某一应用问题，选择什么样的数据训练分类器？word 文档 可自由复制 I编辑 参考文献 1 Weihua Wang,WeiFu Wang.A Gray-Scale Face Recognition ApproachJ.2008 Second International Symposium on Intelligent Information Technology Application,2008,395398 2 Zhiming Liu,Chengjun Liu.A Hybrid Color and Frequency Features Method For Face RecognitionJ.IEEE Transactions on Image Processing,2008,v17,n10,19751980 3 Jiann-Shu Lee,Kai-Yang Huang,Sho-Tsung Kao,Seng-Fong Lin.Face Recognition by Integrating Chin OutlineJ.2008 Fourth International Conference on Intelligent Information Hiding and Multimedia Signal Processing(IIH-MSP),2008,567571 4 A.Abbas,M.I.Khalil,S.Abdel-Hay,H.M.Fahmy.Expression and illumination invariant preprocessing technique for face recognitionJ.2008 International Conference on Computer Engineering&Systems(ICCES 08),2008,5964 5 Zhifei Wang,Zhenjiang Miao.Feature-based super-resolution for face recognitionJ.2008 IEEE International Conference on Multimedia and Expo(ICME),2008,15691572 6 Frederick W.Wheeler,Xiaoming Liu,Peter H.Tu.Multi-frame super-resolution for face recognitionJ.2007 First IEEE International Conference on Biometrics:Theory,Applications,and Systems-BTAS 07,2007,250255 7 D.A.Socolinsky,L.B.Wolff,A.J.Lundberg.Face recognition in low-light environments using fusion of thermal infrared and intensified imageryJ.Proceedings of the SPIE-The International Society for Optical Engineering,2006,v6206,p620622-1-12 8 Kong,S.G.1;Jingu Heo;Boughorbel,F.;Yue Zheng;Abidi,B.R.;Koschan,A.;Mingzhong Yi;Abidi,M.A.Multiscale fusion of visible and thermal IR images for illumination-invariant face recognitionJ.International Journal of Computer Vision,2007,v71,n2,215233 9 G.P.Kusuma,Chin-Seng Chua.Image level fusion method for multimodal 2D+3D face recognitionJ.Image Analysis and Recognition.5th International Conference,ICIAR 2008,2008,984992 10 Al-Osaimi,F.1;Bennamoun,M.1;Mian,A.1.An expression deformation appro