有遮挡人脸识别进展综述.pdf
《有遮挡人脸识别进展综述.pdf》由会员分享,可在线阅读,更多相关《有遮挡人脸识别进展综述.pdf(9页珍藏版)》请在咨信网上搜索。
1、收稿日期:;修回日期:基金项目:河南省重大公益专项资助项目();河南省科技攻关项目();郑州市协同创新专项资助项目();河南工业大学博士基金资助项目()作者简介:张庆辉(),男,教授,博导,博士,会员,主要研究方向为智能信息处理();张媛(),女,硕士研究生,主要研究方向为计算机视觉;张梦雅(),女,讲师,博士,会员,主要研究方向为计算机视觉有遮挡人脸识别进展综述张庆辉,张媛,张梦雅(河南工业大学 信息科学与工程学院,郑州 )摘要:人脸识别技术水平不断提升,在身份认证、人机交互等应用上得到了较为理想的识别率,市场规模不断增长。然而真实场景下的遮挡问题并没有被彻底解决,如何抑制或消除遮挡对人脸关
2、键性特征的负面影响是当前人脸识别领域的热点之一。针对遮挡导致的人脸结构信息缺失问题,对有遮挡人脸识别数据集和有遮挡人脸识别方法进行综述,首先介绍分析了一些重要的新型有遮挡人脸识别数据集;其次,归纳分析了用于解决遮挡问题的传统方法和深度学习方法,重点介绍了基于深度学习的特征鲁棒性提取方法和遮挡部位信息恢复方法;最后,总结分析了相关方法的优缺点,指出有遮挡人脸识别研究存在的问题和挑战,对未来研究方向进行了展望。关键词:人脸识别;有遮挡人脸数据集;深度学习;鲁棒性特征提取;遮挡信息恢复中图分类号:文献标志码:文章编号:():,(,):,:;引言人脸识别 通过抽取并对比分析人脸特征来进行身份验证及识别
3、,是生物识别领域的重要技术之一,得到了广泛的实际应用。然而,受光线、姿态、分辨率、遮挡等现实不可控因素的影响,人脸识别算法并不能总发挥积极作用 ,。其中遮挡的存在会掩盖人脸上大部分特征,造成较大的信息损失,导致人脸识别算法性能大幅下降。有遮挡人脸识别是研究在遮挡情况下人脸识别方法的一个领域,用于抑制或消除遮挡的影响,主要研究遮挡导致的人脸结构信息缺失问题,抑制或消除遮挡对人脸关键性特征的负面影响,包含遮挡下的人脸特征鲁棒性提取和针对有遮挡部位的人脸信息有效恢复两个重要研究内容。相比于约束场景下无遮挡的人脸识别高精度性能,无约束场景下佩戴口罩、围巾、眼镜等造成的遮挡会混淆面部特征,造成人脸特征点
4、被破坏和面部特征大量缺失,不仅影响着人脸识别的精度,也会间接造成人脸检测阶段的目标误检、漏检。现实世界的遮挡不可提前预知,遮挡可能出现在人脸面部区域的任何位置,以任意大小或形状的形式呈现,遮挡带来的人脸关键性特征缺失是人脸识别领域无法回避并且亟待解决的一个重要问题 。有遮挡人脸识别的研究具有广泛的应用场景,可应用于安全防护、金融商务、交通监控、娱乐社交等多个领域,例如一些受安全保护的现实场景小区需要通过人脸识别辨识身份方可进入。人脸识别系统可用于企业、住宅安全管理,如人脸识别防盗门、门禁考勤系统等;还可在公共场所对不法分子进行监视,如在机场通过监控系统对通过遮挡进行伪装的不法分子识别身份,防止
5、恐怖分子登记。另外,在理论层面可以帮助解决人脸识别遇到的遮挡等问题,对图像合成、图像修复领域具有一定的启发 。特别地,疫情常态化防控下的口罩遮挡对面部的特征提取(如嘴巴、鼻子、下巴等)产生了极大的负面影响,促使人脸识别应用需进一步考虑遮挡问题。有遮挡人脸识别的研究主要包括遮挡下的人脸特征鲁棒性提取和针对有遮挡部位的人脸信息有效恢复两个重要研究内容。本文从有遮挡人脸识别的关键问题和研究内容出发,综述了新型有遮挡人脸数据集及最新有遮挡人脸识别研究方法。有遮挡人脸数据集 人脸遮挡构造一个数据充足、标注良好且种类多样的数据集是训练模第 卷第 期 年 月计 算 机 应 用 研 究 型、提升模型性能的必要
6、条件。目前常用的人脸数据集有 、等,然而,这些数据集多数面向人脸识别应用主动配合环境,并非针对人脸遮挡问题专门设计,遮挡条件不足、缺乏非配合环境下的遮挡情况,不满足有遮挡人脸识别研究的迫切需求。通过使用模拟遮挡和数据增强的方法可以构建满足研究需求的有遮挡人脸数据集。)数据合成方法。等人 基于 将创建的合成口罩融合进人脸图像的面部区域,增强无遮挡人脸数据集中的遮挡条件;等人 提出一种 模块,利用 个面部特征点和 人脸重建方法 合成大量遮挡人脸图像;和 等人 ,开发了基于 库的口罩佩戴软件;等人 开源了遮挡添加工具 ;等人 提出了一种可以对每张图像各个类别(眼、鼻、配饰等)分别遮挡的方法。)数据增
7、强方法。等人 提出一种称做 的数据增强方法,采用随机遮挡模板代替鼻子下方的移除区域,利用区域数据增强方法,使用了剪切、随机擦除、及 等技术,可有效用于任何网络架构,并构建了真实蒙面人脸数据集 ,包含 个人的 张蒙面图像。与 相比,产生的内存和训练成本可忽略不计。新型有遮挡人脸数据集)。文献 ,提出了三种特殊类型的遮挡人脸数据集:口罩遮挡人脸检测数据集 、真实口罩遮挡人脸识别数据集 和模拟蒙面人脸识别数据集 。其中,的一部分样本来自相关研究,另一部分来源是通过爬虫抓取的,该数据集包括 个有遮挡人脸图像;包括 名有遮挡者的 张图片和 名不戴口罩的 张图片,这是目前世界上较大的真实口罩人脸数据集;包
8、括 个人的 张人脸图像。文献指出,可以同时使用模拟口罩数据集和原始未遮挡人脸数据集来提高有遮挡人脸识别的准确性。真实遮挡和模拟遮挡的样例如图 所示。图 真实遮挡和模拟遮挡的样例 )。针对目前遮挡数据集存在面部不一致或未对齐、识别难度大、缺乏无遮挡身份信息、数据多样性低等问题,等人 使用开源工具 创建了真实世界的遮挡人脸识别数据集 ,该数据集包括蒙面和未蒙面的身份图像。是一个经过人脸对齐处理的真实小型数据集,包含 个名人和政治家身份的共 张图像,每个身份平均有 张图像,图像尺寸为 。是目前数据多样性高,可用于训练遮挡人脸识别系统的数据集之一,如图 所示。)。当前的人脸分割数据集存在数据量小、遮挡
9、类型少、分辨率低和注释不精确等问题,限制了基于数据驱动的算法的性能。最接近满足该要求,但该数据集是为基于 的面部图像编辑任务而设计,忽略了人脸图像上的各种遮挡(头发和眼镜除外)。等人 提出一种新的高质量人脸遮挡数据集 ,该数据集包含 多张图片,具有太阳镜、手、口罩等多种类型,是目前较大的最全面的面部遮挡数据集,如图 所示。其中第一行是原始图像,第二行是数据增强图像。图 数据集(包含戴着不同类型口罩的各种政治家和名人的遮挡人脸图像)()图 数据集 表 主要介绍了口罩人脸数据集的具体内容和下载网址,表 通过分析各数据集,总结了数据集的数据集来源、数据集大小、数据任务以及发布年份,为之后口罩遮挡的人
10、脸识别任务奠定了一定的基础。表 人脸识别遮挡数据集描述 数据集网址描述 :训练精确的口罩人脸检测模型,还可以用来确定一个人是否戴口罩是目前较大的口罩人脸识别数据集,但是数据集面部不一致或不对齐,使用起来较困难;该数据集缺乏身份的正常面孔,在种族方面也不够多样模拟口罩数据集可以与原始的未遮挡人脸数据集一起使用,以提高有遮挡人脸识别的准确性 :数据集较小,是经过预处理的由名人和政治家组成的真实世界口罩数据集。与 不同,它是在真实蒙面图像上展示模拟蒙面数据集有效性的一种方法 未开源它是迄今为止较大、最全面的高质量人脸遮挡数据集,其中包含来自 和互联网的手动标记的人脸遮挡 有遮挡人脸识别传统方法传统学
11、习方法主要利用遮挡区域的面部特征和人脸的全局结构特征对人脸的遮挡区域进行表示、抑制或去除,以此来减少遮挡对目标检测的影响,提升人脸识别算法的效果,其主要方法有基于子空间的方法、稀疏表示法和局部特征分析方法等。基于子空间和稀疏表示方法强化有遮挡人脸的全局特征判别信息,基于局部特征的遮挡弱化方法降低遮挡区域的权重或者直接舍弃遮挡区域,均聚焦遮挡下的人脸特征鲁棒性提取这一关键问题。基于子空间的方法基于子空间的方法在保持特征区分性约束下,利用空间变换算法将人脸图像高维向量投射到低维度的子空间,使用数据中最主要的方面进行人脸特征提取。任安虎等人 提出一种 结合 算法的方法,基于有降噪处理、直方图和归第
12、期张庆辉,等:有遮挡人脸识别进展综述一化进一步提高了子空间算法的准确率以及抗干扰的能力;等人 使用多个相似性度量,通过一种弱机器单元构建子空间学习框架 ,实验表明 在分类精度和聚类结果方面都优于其他基于 的方法;赵雯等人 针对遮挡图像中噪声影响的问题,提出基于鉴别性低秩表示及字典学习的算法 。对这三类方法的总结及对比如表 所示。表 人脸识别遮挡数据集对比 数据集数据集来源数据集大小适用任务发布年份 主要包括两部分:)来自相关研究;)从互联网上抓取 张训练精确的口罩人脸检测模型,还可以用来确定一个人是否戴口罩 利用 爬虫工具抓取公众人物的正面图像和相应的蒙面图像,并手动删除错误不合理的人脸图像,
13、借助半自动注释工具裁剪精确的面部区域 名戴口罩者的 张和 名不戴口罩者的 张训练网络模型,用于口罩人脸识别任务,提高模型识别的准确率 使用基于 库的口罩佩戴软件,在现有的公共大规模人脸数据集上戴上模拟口罩 个人 张可用于训练模型,以提高模型口罩人脸识别的准确率 从互联网收集小型数据集,个身份,共 张可用于测试模型识别的精度 一种新的人脸遮挡数据集,其中包含来自 和互联网的手动标记的人脸遮挡 与 一起生成了用于训练提取模型的人脸遮挡和增强数据的数据集 表 有遮挡的基于子空间方法的总结及对比 算法名称模型网络特点优势局限性适用场景基于 结合 的算法去噪声,直方图均衡化,归一化;与 相结合提高算法的
14、抗干扰性和识别速度,降低 对光照的敏感性和误识率在非限制性环境识别率较低,训练样本要符合高斯分布传统 受人脸表情、光照、姿态和遮挡等外界干扰因素的影响新的子空间学习框架 使用多个相似性测量;构建弱机器单元();生成新的合成相似性子空间在分类精度和聚类结果方面效果较好,擅于表达数据在有遮挡条件下人脸很难识别,鲁棒性较差可以训练小样本数据集基于鉴别性低秩表示及字典学习算法提出 方法;提出 方法进行字典学习分离训练样本的遮挡,增大类间结构不相关性,提升样本的表示能力,减少噪声,减小重构误差,提高模式分类的性能算法复杂度高,未能将 和 的优点结合到一个目标函数训练样本中存在噪声或遮挡情况 稀疏表示法稀
15、疏表示法将人脸表示为训练样本的加权组合,用于克服遮挡的影响,学习出有区分度的人脸特征表示,是处理人脸识别各种挑战传统方法中的主流方法,在解决噪声方面鲁棒性很好 。王明沂 提出一种基于误差加权和协同表示的遮挡人脸识别方法,通过融合 、等多个特征增强了有遮挡数据集 和 上的人脸识别效果。基于此研究,可考虑将基于 的结构模型与常用分类器相结合来解决图像大面积遮挡的问题。等人 提出了一种区分性多尺度稀疏编码()来解决单人单样本人脸识别场景下具有不同类型遮挡情况的识别问题。该方法通过学习辅助字典,基于 对外部数据中可能的遮挡变化进行建模。模型具有很好的区分性,但不能完全忽略遮挡引起的异常像素。等人 提出
16、了一种基于结构元素的特征提取方法,结合局部和上下文信息,可将少镜头稀疏表示学习应用于有限训练样本下的少镜头遮挡人脸识别。当数据样本较少时,可考虑少镜头识别方法。相关方法的总结及对比如表 所示。表 有遮挡的稀疏表示法的总结及对比 算法名称模型网络特点优势局限性适用场景基于误差加权和协同 表 示 的 多 特 征分类将 、等特征提取方法与鲁棒性较好的分类器相结合在遮挡面积较大的情况下,识别效果较好,且下降速度比其他算法低算法结构复杂,计算量大,鲁棒性较差光照和表情变化、模拟遮挡、固定遮挡、无规则遮挡区分性多尺度稀疏编码开发多尺度误差测量策略;学习辅助字典;将基于学习字典和多尺度误差测量策略相结合区分
17、性高、不需要较多人脸样本;可产生稀疏、鲁棒和高度区分的编码,用于检测和忽略异常像素;有效处理多种遮挡变化,具有一定的鲁棒性和鉴别能力需要克服光照、表情和姿态的影响,不能完全忽略遮挡引起的异常像素具有不同类型遮挡情况;样本数据信息较少的情况基于遮挡的少镜头人脸识别方法提出结构元素的特征提取方法;引入自适应融合方法;融合结构元素特征、连接颗粒标记特征以及增强的 可以获取局部和上下文信息,结合多个特征的融合,识别精度高构建词典耗时长,鲁棒性差应用于有限训练样本、少镜头遮挡人脸识别 局部特征分析方法不同于稀疏表示法学习使用人脸全局信息学习字典对可能的遮挡进行建模,局部特征分析方法从另一个角度出发考虑人
18、脸局部信息的作用。一种思路是在特征提取以及分类过程中完全丢弃一些遮挡区域,减弱或者去除遮挡部分在面部区域中的作用。这类方法思路相对大胆奇特,不属于人脸识别主流方法,因此研究较少。等人 提出一种基于均值加权矩阵方法进行局部特征处理,先使用支持向量机分类器对人脸分块进行检测过滤掉遮挡部位,然后在剩余的非遮挡能反映人脸微小特征变化的区域使用均值加权矩阵刻画人脸信息。另一种思路是结合人脸全局信息和局部信息的优势,通过增加特征的多样性来解决遮挡带来的人脸特征缺失问题。岳震等人 提出一种基于双属性模型的 特征人脸识别算法。首先使用线性回归分类重构获取误差图像,然后与 全局信息相融合得到双属性信息,最后使用
19、 算子提升效果。该方法将全局信息与局部信息相结合,对光照、遮挡等不可控因素造成图像失真有较好的特征表征能力,具有一定的抗计 算 机 应 用 研 究第 卷干扰能力,但特征维度大、计算量大。结合上文,表 分析了传统方法在有遮挡人脸识别方法中的优缺点。总之,传统方法在传统数据集上有良好性能,但无约束场景下遮挡的识别效果并不好且鲁棒性较差,在识别性能上有很大的提升空间。表 遮挡人脸识别的传统方法对比 方法优点缺点基于子空间的方法计算量较小,描述能力强 忽略样本之间的差异性稀疏表示法使用少量样本对现有样本进行紧凑表示,提高识别效率忽略了遮挡的空间结构和连续性局部特征分析方法减弱了遮挡区域对识别的影响极端
20、情况时重建效果较差 有遮挡人脸识别深度学习方法基于子空间、稀疏表示、局部特征分析的传统学习方法,在传统无遮挡数据集上有较好的表现能力,然而不满足大规模无约束数据的识别需求。与传统学习方法相比,深度学习的重点是特征学习,它可以通过优化 学习更具有判别性的深度人脸特征,如 、等。受有遮挡人脸数据集发展及遮挡人脸识别挑战赛的推动(如 ,和 ),可将深度学习的方法应用到解决有遮挡下的人脸识别问题 ,。基于深度学习的人脸特征鲁棒性提取基于深度学习的人脸特征鲁棒性提取方法可以通过迁移学习和特征融合、局部特征分析、使用注意力机制、优化损失函数,结合红外热成像技术等强化人脸的关键性特征,从而挖掘遮挡人脸中的人
21、脸身份信息,抑制或消除遮挡的影响 ,。)迁移学习和特征融合。等人 使用口罩遮挡数据对 模型进行迁移学习,得到富含口罩信息的人脸身份特征,并通过在图像上裁剪人脸的遮挡区域模拟遮挡后人脸 呈 现 不 均 匀 特 征 映 射。该 方 法 与 和 相比,具有时间最佳、高内存、鲁棒性高等特点。由于简单的 遇到人脸遮挡,识别效果会变差,不能达到预期效果,所以需要更多新技术来提高其性能,可以尝试裁剪人脸的遮挡区域或者 学习等方法来提高实验效果。等人 从网络的层次特性角度出发,提出了一种基于浅层特征、中层特征和深层特征,主要使用每个卷积层来获取图像特征,适用于端到端网络特征提取的通用特征融合方法,能够提升人脸
22、识别在光照和遮挡下的识别精度。由于端到端的 结构过于重视人脸的深层特征,忽略了浅层和中层特征,而该特征融合方法可提取各层特征,弥补了提取部分特征的缺陷 。)局部特征分析。首先定位和去除面部遮挡区域,然后使用三种预训练模型 、和 获得眼睛、额头的深度特征,最终使用多层感知器应用于分类。此外,该方法将 范式应用于最后卷积层的特征图,可获得全连接层的轻量表示,能够提高遮挡情况下人脸识别的通用性。等人 挖掘遮挡区域与损毁特征元素之间的对应关系,设计了特殊的网络结构 (),结合针对遮挡区域的掩膜生成器 ()交互,可以建立基于卷积特征差异的掩膜字典并实现有遮挡人脸特征鲁棒性提取。该方法目前存在的问题是,由
23、于掩码未知,只保留最后的卷积层特征,对于大型数据图像,卷积层特征占用空间太大。并且,比对时需要进行特征提取,以及计算相似度,增加了一定的时间成本和计算难度。)改进注意力机制。等人 设计了 将 与 模块集成到同一网络,使用遮挡和非遮挡数据集进行训练可以捕获人脸区域的全局和局部信息用于有遮挡下的人脸识别。袁慧洁 关注遮挡部位的信息缺失问题,采用区域注意力模块定位未遮挡人脸,设计了基于双注意力机制的深度学习网络 ,可集中处理人脸图像中非遮挡区域对人脸特征进行嵌入。该方法验证了双注意力结合的有效性且不会明显增加计算量。同时,位置注意力机制能够让模型更有效地处理未被遮挡的部分,降低遮挡对人脸的影响,而通
24、道注意力机制可以增强网络学习通道特征。张博等人 首先估计人脸遮挡区域位置,然后基于掩码字典寻找遮挡位置所对应的掩码,最后基于注意力模块实现人脸不同区域权重更新,提取具有鲁棒性的人脸特征进行识别。叶子勋等人 融合注意力机制改进 ,兼顾了戴口罩和未戴口罩两种场景下的人脸识别任务。此外,针对口罩遮挡情况下识别率低下的问题,结合注意力机制进一步提出专注于人脸未遮挡区域(眼睛、眉毛等)的 ,结合两种尺度的特征层融合人脸关键部位信息,该方法极大地降低了复杂度,实现了轻量级效果,有效提升了速度与准确度。基于注意力机制的方法关注相关信息而忽略不相关信息 ,引发学术界关注,可结合局部特征分析的方法进一步提升深度
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 遮挡 识别 进展 综述
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。