一种基于FAS-Transformer的人脸防伪方法.pdf
《一种基于FAS-Transformer的人脸防伪方法.pdf》由会员分享,可在线阅读,更多相关《一种基于FAS-Transformer的人脸防伪方法.pdf(10页珍藏版)》请在咨信网上搜索。
1、第40 卷第3期2023年6 月D0I:10.13482/j.issn1001-7011.2023.03.004黑龙江大学自然科学学报JOURNAL OF NATURAL SCIENCE OF HEILONGJIANG UNIVERSITYVol.40No.3June,2023投稿网址:https:/一种基于 FAS-Transformer 的人脸防伪方法魏鑫,马宏斌,王英丽(黑龙江大学电子工程学院,哈尔滨150 0 8 0)摘要:针对人脸防伪方法在应对不同表征攻击和未知表征攻击时,普遍存在有效性和泛化性差的问题,提出了一种人脸防伪方法。将在自然语言处理领域应用的注意力机制引入人脸防伪任务,获
2、取特征之间的成对相似性关系,提升方法的有效性和泛化性。针对人脸防伪模型在训练过程中数据量不足的问题,引入迁移学习的思想,通过对FAS-Transformer预训练模型进行改进,使其快速地部署到二分类任务中。为验证所提出方法的有效性,分别设计了集内测试实验和集间测试实验,与主流方法进行了对比。实验结果表明,本方法获得了预期效果。关键词:注意力机制;人脸防伪;迁移学习;FAS-Transformer中图分类号:TP391文献标志码:A文章编号:10 0 1-7 0 11(2 0 2 3)0 3-0 36 9-10A face anti-spoofing method based on FAS-Tr
3、ansformerWEI Xin,M A H o n g b i n,W A NG Yi n g l i(College of Electronic Engineering,Heilongjiang University,Harbin 150080,China)Abstract:Face anti-spoofing methods generally have poor effectiveness and generalization when dealingwith different presentation attacks and unknown presentation attacks
4、.To solve these problems,the faceanti-spoofing method is proposed.The atention mechanism widely used in the field of natural languageprocessing is introduced into the face anti-spoofing task to obtain the pairwise similarity relationshipbetween features and improve the effectiveness and generalizati
5、on of the method.Aiming at the problem ofinsufficient data in the training process of face anti-spoofing model,the idea of transfer learning is intro-duced.By improving the FAS-Transformer pre-trained model,it can be quickly deployed to the binaryclassification task.In order to verify the effectiven
6、ess and generalization of the proposed method,intratest experiments and inter test experiments are designed to compare with the state-of-the-art methods.Theexperimental results show that the proposed method achieves the expected results.Keywords:attention mechanism;face anti-spoofing;transfer learni
7、ng;FAS-Transformer0引言人脸识别系统具备判别性高、非接触和响应时间短等特点,可为用户提供良好的体验,成为众多场景下身份认证的选择。然而,未受保护的人脸识别系统很难应对表征攻击。针对人脸识别系统的安全性问题,研究人员开始对人脸防伪方法进行研究。目前,人脸防伪方法大体上可以分为两种类型:传统方法和基于深度收稿日期:2 0 2 2-0 6-2 4基金项目:黑龙江省自然科学基金(YQ2020F012);装备重大基础研究项目通讯作者:马宏斌(19 7 0-),男,副教授,主要研究方向:网络安全、图像处理和人工智能,E-mail:m a h o n g b i n h l j u.e d
8、 u.c n引文格式:魏鑫,马宏斌,王英丽一种基于FAS-Transformer的人脸防伪方法J黑龙江大学自然科学学报,2 0 2 3,40(3):36 9-37 8.370学习的方法。传统的人脸防伪方法采用手工提取特征,从图片中提取具有针对性的特征进行检测。虽然针对性强,但当环境中出现变化因素时稳定性就会变差,在面对重放攻击时性能会急剧下降。2 0 14年,Yang等首次将深度学习引人了人脸防伪领域,使用卷积神经网络(Convolutional neural networks,CNN)代替手工提取特征)。Liu等在用CNN和循环神经网络(Recurrent neural network,R
9、NN)获取深度的同时,引人远程光电容积脉搏波信号作为辅助手段,让网络学习更具针对性2 。这些基于CNN 的研究方法,在应对如照片打印和视频重放等2 D攻击时表现尚佳,但面对3D面具攻击时稳定性会急剧下降,说明了此类方法泛化性能不足。应对防伪方法泛化性差的缺点,研究人员提出了基于多通道的人脸防伪方法3。这类方法的主要思想是通过融合多个通道的补充信息增加泛化性,但从系统设计的角度出发,此类方法对硬件设备要求严格。表征攻击手段在不断地更新,会影响系统的构建和实际部署。以上研究发现,近年来人脸防伪方法的研究思路大体可以概括为:添加辅助信号、融合多通道信息、将人脸防伪问题与其他问题相结合等,以此提升模型
10、的有效性及泛化性。这些方法确实在一定程度上提升了模型分类的精确度以及面对不同表征攻击的泛化性,但随之而来的高硬件成本、高计算复杂度和低解释性等问题仍待解决。2017年,谷歌提出Transformer模型,成功应用于机器翻译任务4。2 0 2 0 年,Dosovitskiy等将Transformer模型应用于图像分类任务5 提出Vision Transformer模型,同样取得了成功。相比于传统的神经网络,注意力机制的优势主要体现在以下几个方面:(1)每层的计算复杂度更低;(2)可以并行地进行计算;(3)可以有效地解决长输入序列的依赖问题;(4)可解释性强。这些优势为将Vision Transf
11、ormer模型应用于人脸防伪任务提供了可能,因为人脸防伪任务本质上是二分类任务。结合人脸防伪任务存在的问题以及注意力机制的优势,本研究进行基于注意力机制的人脸防伪方法研究。通过对VisionTransformer模型进行改进,构建了FAS-Transformer模型,将输入的人脸图像经过线性映射嵌入位置信息和判别信息,借助多头注意力获取特征向量之间的关系。针对人脸防伪模型训练普遍存在的数据量不足问题,采用迁移学习的思想,为实验引人预训练模型。同时,为增强模型的可解释性,对注意力进行可视化处理。1基本理论1.1 Transformer模型Transformer模型的提出是为了解决传统神经网络在处
12、理序列模型时存在的长期依赖和计算效率低的问题,在结构上首次引入全注意力机制代替传统的循环卷积神经网络。Transformer模型结构如图1所示,主要由编码器和解码器两部分构成,其中编码器用于将输人序列映射为符号表征,而解码器则会依据编码器的输出生成最终的预测。由于注意力机制中每个元素都要和其他元素进行交互,故它是一种位置无关的方法,需要嵌入位置编码。编码后的序列会通过多头注意力机制进行打分,比较输入序列元素之间的成对相似性关系,获取注意权重,进而对输出结果进行预测。多头注意力使得模型可以并行地进行计算,再将单个输出联合到一起作为输出。注意力的计算过程描述公式为:(1)式中:9 表示用于匹配的信
13、息;k表示被匹配的信息;u表示被提取的内容;缩放因子的作用是进行归一化,防止计算注意力时内积过大,使Softmax函数的梯度进人饱和区。MultiHead(q,k,)=Concat(head,.,head,)W式中:head,=Attention(qW),kwt,W,),i=1,2,3,nTransformer模型一经提出就引起了研究人员的广泛关注,这种不同于过去CNN和RNN的简单网络结构,使用全注意力机制避免了循环和卷积。得益于自身可并行计算的优势,所需的网络训练时间也更短。起初Transformer模型被用于处理Seq2seq问题,广泛用于机器翻译任务。由于模型的结构设计仅适用于一维序列
14、输入,因此,一直无法在计算机视觉领域得到重用。黑龙江大学自然科学学报Attention(q,k,v)=Softmax(-第40 卷(2)第3期魏鑫等:一种基于FAS-Transformer的人脸防伪方法371:输出预测Sofimax工线性层归一化前馈网络解码器N编码器N层归一化前馈网络层归一化多头注意力层归一化多头注意力层归一化掩码多头注意力位置嵌人位置嵌人输人图1Transformer模型结构Fig.1 Architecture of transformer model1.2Vision Transformer(ViT)模型为使Transformer模型适应计算机视觉任务,Dosovitsk
15、iy等提出了ViT模型。将输入图片格式由ERxWxC进行线性映射,转换为平铺的成块序列x,=R x(r-),满足Transformer 结构的一维输人,其中,(H,W)为原始图片分辨率,C为通道数,(P,P)为分块图片的大小,N=HW/P为图片分块总数。ViT模型结构如图2 所示。分类结果输出MLPNMLPTransformer编码器层归一化位置信息+嵌人多头注意力线性映射层归一化位置嵌人块Transformer编码器输入图片图2 VisionTransformer模型结构Fig.2Model architecture of Vision Transformer372ViT模型改进了Trans
16、former中的编码器结构获取图像像素间的相关性,为便于处理,在所有层使用D维的恒定向量,将所有块映射成相同维数。经过位置信息嵌入的块会经过层归一化处理,使用多头注意力机制计算注意力权重,并最终使用多层感知器进行分类,得到图片表征y。该过程如式(3)式(5)所示:(3)zi=MLP(LN(z)+zi,=1,L(4)y=LN(z)(5)式中:z表示多头注意力的输出;z表示多层感知机输出;z表示编码器输出。ViT模型将图片视为输人序列,通过线性映射使其适用于Transformer结构的一维输人,并利用注意力打分机制很好地实现了图像分类任务。2?适用于人脸防伪任务的FAS-Transformer模型
17、为使注意力机制成功应用于人脸防伪任务,提出了基于ViT模型改进的FAS-Transformer模型。为使模型对人脸真伪特征进行学习并作出区分,在输入人脸图像序列化后嵌人位置信息,并嵌入真伪判别信息。同时,对分类网络结构进行改进,采用全连接层配合Softmax函数进行最终的结果分类。FAS-Transformer模型结构如图3所示。黑龙江大学自然科学学报z,=MSA(LN(zI-1)+zI-1,l=1,-,L第40 卷?+真/伪输出输入图片MLP层归一化多头注意力层归一化全连接层位置及判别线性映射图3FAS-Transformer模型结构Fig.3Model architecture of FA
18、S-Transformer在对输入的人脸图像进行和VT模型相同的分块操作后经过线性映射,使用正余弦函数作为学习的位置编码函数,保证每个位置编码的唯一性。偶数位置采用正弦函数编码,奇数位置采用余弦函数编码,通过这种方式使模型能够学习到输人图像小块的相对位置信息。(6)(7)式中:pos表示位置;i表示特征维度;dmodel表示模型维度。为了使模型对人脸真伪特征进行学习,采用有监督训练,在嵌人位置信息的同时,嵌人真伪判别标识(其中,0 表示伪造特征,1表示真实特征)。模型结构中使用多头注意力将输入映射到不同的特征子空间。此后,计算每个头的注意力,再将计算得到的多个头的输出进行拼接,经过再次投影构成
19、多头注意力的整体输出。使用多头注意力的优势在于,可以信息嵌人第3期同时关注来自不同位置的不同表示子空间的信息,如果使用单一注意力在计算时就会使用平均去抑制这些信息。在模型训练的过程中,随着每一层参数的更新会导致上层输入数据分布的变化,堆叠的层数越多,这种分布变化越剧烈,这使得高层需要不断地适应底层数据的更新。为了加快模型的收敛,保证数据特征分布的稳定性,在训练单个样本时采用了层归一化。(8)式中:为样本;为均值;为方差;和为可学习参数。损失函数:为获取更好的实验结果,在训练过程中采用二值交叉熵(Binary cross-entropy,BCE)损失函数对网络进行监督,对参数进行微调。(9)式中
20、:N表示样本个数;y;表示样本标签;a表示样本权重值。测试策略:在测试阶段为了评估特征的真伪,需要将经注意力机制处理的特征与真实特征的权重均值做出比较,通过计算两者之间的距离获取最终分类打分,打分公式为:Score(x,)=ll(x;a)-c ll式中:x;表示人脸特征;表示特征所对应的权重;c表示真实特征的权重均值。3测试与结果分析3.1测试环境及实验参数硬件平台采用32 GB运行内存,11thGenIntel(R)C o r e(T M)i7-118 0 0 H 2.30 G H z 处理器,NVIDIAGeForceRTX3060GPU。软件平台采用基于Windows11搭建的Pytor
21、ch深度学习框架。实验采用的基本网络结构的实践方法已在Github上开源。实验参数设置如表1所示,其中训练Batch-size可以根据自身设备性能好坏适当提高,选择标准Adam作为优化器。将验证集上损失最少的模型作为最终的模型选择,模型的训练流程如算法1所示。初始化:预训练权重w、A d a m 优化器参数、批尺寸B、学习率lr、训练轮数E、样本总数N、各超参数;For e=O to E do:采样预处理后的批次数据 yi,x,Emo1For i in range(N):MSA x;,x a;yi,a;loss;更新参数Adam(loss,w,,,)End forEnd for魏鑫等:一种基于
22、FAS-Transformer的人脸防伪方法h=*Loss=-y,lna;+(1-y)n(1-a,)表1实验参数设置Table 1FExperimental parameter setting参数描述Epochs训练轮数Learning-rate学习率Batch_size批尺寸Image_size图像尺寸Patch_size块尺寸算法1 FAS-Transformer模型训练流程/线性映射并分块/嵌人标签及位置信息(获取图片表征)/比较输人序列元素间的相关性获取权重/得到表征z/计算BCE损失373x-+(10)数值201 1034224 22416 163743.2数据预处理为避免不同数据集
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 一种 基于 FAS Transformer 防伪 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。