欢迎来到咨信网! | 成为共赢成为共赢 咨信网助力知识提升 | 自信网络旗下运营:咨信网 自信AI创作助手 自信AI导航
咨信网
全部分类
  • 包罗万象   教育专区 >
  • 品牌综合   考试专区 >
  • 管理财经   行业资料 >
  • 环境建筑   通信科技 >
  • 法律文献   文学艺术 >
  • 学术论文   百科休闲 >
  • 应用文书   研究报告 >
  • ImageVerifierCode 换一换
    首页 咨信网 > 资源分类 > PDF文档下载
    分享到微信 分享到微博 分享到QQ空间

    一种基于FAS-Transformer的人脸防伪方法.pdf

    • 资源ID:595355       资源大小:4.42MB        全文页数:10页
    • 资源格式: PDF        下载积分:10金币
    微信登录下载
    验证码下载 游客一键下载
    账号登录下载
    三方登录下载: QQ登录
    二维码
    微信扫一扫登录
    下载资源需要10金币
    邮箱/手机:
    验证码: 获取验证码
    温馨提示:
    支付成功后,系统会自动生成账号(用户名为邮箱或者手机号,密码是验证码),方便下次登录下载和查询订单;
    支付方式: 支付宝    微信支付   
    验证码:   换一换

    开通VIP
     
    账号:
    密码:
    验证码:   换一换
      忘记密码?
        
    声明    |    会员权益      获赠5币      写作写作
    1、填表:    下载求助     索取发票    退款申请
    2、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
    3、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
    4、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
    5、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
    6、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
    7、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。

    一种基于FAS-Transformer的人脸防伪方法.pdf

    1、第40 卷第3期2023年6 月D0I:10.13482/j.issn1001-7011.2023.03.004黑龙江大学自然科学学报JOURNAL OF NATURAL SCIENCE OF HEILONGJIANG UNIVERSITYVol.40No.3June,2023投稿网址:https:/一种基于 FAS-Transformer 的人脸防伪方法魏鑫,马宏斌,王英丽(黑龙江大学电子工程学院,哈尔滨150 0 8 0)摘要:针对人脸防伪方法在应对不同表征攻击和未知表征攻击时,普遍存在有效性和泛化性差的问题,提出了一种人脸防伪方法。将在自然语言处理领域应用的注意力机制引入人脸防伪任务,获

    2、取特征之间的成对相似性关系,提升方法的有效性和泛化性。针对人脸防伪模型在训练过程中数据量不足的问题,引入迁移学习的思想,通过对FAS-Transformer预训练模型进行改进,使其快速地部署到二分类任务中。为验证所提出方法的有效性,分别设计了集内测试实验和集间测试实验,与主流方法进行了对比。实验结果表明,本方法获得了预期效果。关键词:注意力机制;人脸防伪;迁移学习;FAS-Transformer中图分类号:TP391文献标志码:A文章编号:10 0 1-7 0 11(2 0 2 3)0 3-0 36 9-10A face anti-spoofing method based on FAS-Tr

    3、ansformerWEI Xin,M A H o n g b i n,W A NG Yi n g l i(College of Electronic Engineering,Heilongjiang University,Harbin 150080,China)Abstract:Face anti-spoofing methods generally have poor effectiveness and generalization when dealingwith different presentation attacks and unknown presentation attacks

    4、.To solve these problems,the faceanti-spoofing method is proposed.The atention mechanism widely used in the field of natural languageprocessing is introduced into the face anti-spoofing task to obtain the pairwise similarity relationshipbetween features and improve the effectiveness and generalizati

    5、on of the method.Aiming at the problem ofinsufficient data in the training process of face anti-spoofing model,the idea of transfer learning is intro-duced.By improving the FAS-Transformer pre-trained model,it can be quickly deployed to the binaryclassification task.In order to verify the effectiven

    6、ess and generalization of the proposed method,intratest experiments and inter test experiments are designed to compare with the state-of-the-art methods.Theexperimental results show that the proposed method achieves the expected results.Keywords:attention mechanism;face anti-spoofing;transfer learni

    7、ng;FAS-Transformer0引言人脸识别系统具备判别性高、非接触和响应时间短等特点,可为用户提供良好的体验,成为众多场景下身份认证的选择。然而,未受保护的人脸识别系统很难应对表征攻击。针对人脸识别系统的安全性问题,研究人员开始对人脸防伪方法进行研究。目前,人脸防伪方法大体上可以分为两种类型:传统方法和基于深度收稿日期:2 0 2 2-0 6-2 4基金项目:黑龙江省自然科学基金(YQ2020F012);装备重大基础研究项目通讯作者:马宏斌(19 7 0-),男,副教授,主要研究方向:网络安全、图像处理和人工智能,E-mail:m a h o n g b i n h l j u.e d

    8、 u.c n引文格式:魏鑫,马宏斌,王英丽一种基于FAS-Transformer的人脸防伪方法J黑龙江大学自然科学学报,2 0 2 3,40(3):36 9-37 8.370学习的方法。传统的人脸防伪方法采用手工提取特征,从图片中提取具有针对性的特征进行检测。虽然针对性强,但当环境中出现变化因素时稳定性就会变差,在面对重放攻击时性能会急剧下降。2 0 14年,Yang等首次将深度学习引人了人脸防伪领域,使用卷积神经网络(Convolutional neural networks,CNN)代替手工提取特征)。Liu等在用CNN和循环神经网络(Recurrent neural network,R

    9、NN)获取深度的同时,引人远程光电容积脉搏波信号作为辅助手段,让网络学习更具针对性2 。这些基于CNN 的研究方法,在应对如照片打印和视频重放等2 D攻击时表现尚佳,但面对3D面具攻击时稳定性会急剧下降,说明了此类方法泛化性能不足。应对防伪方法泛化性差的缺点,研究人员提出了基于多通道的人脸防伪方法3。这类方法的主要思想是通过融合多个通道的补充信息增加泛化性,但从系统设计的角度出发,此类方法对硬件设备要求严格。表征攻击手段在不断地更新,会影响系统的构建和实际部署。以上研究发现,近年来人脸防伪方法的研究思路大体可以概括为:添加辅助信号、融合多通道信息、将人脸防伪问题与其他问题相结合等,以此提升模型

    10、的有效性及泛化性。这些方法确实在一定程度上提升了模型分类的精确度以及面对不同表征攻击的泛化性,但随之而来的高硬件成本、高计算复杂度和低解释性等问题仍待解决。2017年,谷歌提出Transformer模型,成功应用于机器翻译任务4。2 0 2 0 年,Dosovitskiy等将Transformer模型应用于图像分类任务5 提出Vision Transformer模型,同样取得了成功。相比于传统的神经网络,注意力机制的优势主要体现在以下几个方面:(1)每层的计算复杂度更低;(2)可以并行地进行计算;(3)可以有效地解决长输入序列的依赖问题;(4)可解释性强。这些优势为将Vision Transf

    11、ormer模型应用于人脸防伪任务提供了可能,因为人脸防伪任务本质上是二分类任务。结合人脸防伪任务存在的问题以及注意力机制的优势,本研究进行基于注意力机制的人脸防伪方法研究。通过对VisionTransformer模型进行改进,构建了FAS-Transformer模型,将输入的人脸图像经过线性映射嵌入位置信息和判别信息,借助多头注意力获取特征向量之间的关系。针对人脸防伪模型训练普遍存在的数据量不足问题,采用迁移学习的思想,为实验引人预训练模型。同时,为增强模型的可解释性,对注意力进行可视化处理。1基本理论1.1 Transformer模型Transformer模型的提出是为了解决传统神经网络在处

    12、理序列模型时存在的长期依赖和计算效率低的问题,在结构上首次引入全注意力机制代替传统的循环卷积神经网络。Transformer模型结构如图1所示,主要由编码器和解码器两部分构成,其中编码器用于将输人序列映射为符号表征,而解码器则会依据编码器的输出生成最终的预测。由于注意力机制中每个元素都要和其他元素进行交互,故它是一种位置无关的方法,需要嵌入位置编码。编码后的序列会通过多头注意力机制进行打分,比较输入序列元素之间的成对相似性关系,获取注意权重,进而对输出结果进行预测。多头注意力使得模型可以并行地进行计算,再将单个输出联合到一起作为输出。注意力的计算过程描述公式为:(1)式中:9 表示用于匹配的信

    13、息;k表示被匹配的信息;u表示被提取的内容;缩放因子的作用是进行归一化,防止计算注意力时内积过大,使Softmax函数的梯度进人饱和区。MultiHead(q,k,)=Concat(head,.,head,)W式中:head,=Attention(qW),kwt,W,),i=1,2,3,nTransformer模型一经提出就引起了研究人员的广泛关注,这种不同于过去CNN和RNN的简单网络结构,使用全注意力机制避免了循环和卷积。得益于自身可并行计算的优势,所需的网络训练时间也更短。起初Transformer模型被用于处理Seq2seq问题,广泛用于机器翻译任务。由于模型的结构设计仅适用于一维序列

    14、输入,因此,一直无法在计算机视觉领域得到重用。黑龙江大学自然科学学报Attention(q,k,v)=Softmax(-第40 卷(2)第3期魏鑫等:一种基于FAS-Transformer的人脸防伪方法371:输出预测Sofimax工线性层归一化前馈网络解码器N编码器N层归一化前馈网络层归一化多头注意力层归一化多头注意力层归一化掩码多头注意力位置嵌人位置嵌人输人图1Transformer模型结构Fig.1 Architecture of transformer model1.2Vision Transformer(ViT)模型为使Transformer模型适应计算机视觉任务,Dosovitsk

    15、iy等提出了ViT模型。将输入图片格式由ERxWxC进行线性映射,转换为平铺的成块序列x,=R x(r-),满足Transformer 结构的一维输人,其中,(H,W)为原始图片分辨率,C为通道数,(P,P)为分块图片的大小,N=HW/P为图片分块总数。ViT模型结构如图2 所示。分类结果输出MLPNMLPTransformer编码器层归一化位置信息+嵌人多头注意力线性映射层归一化位置嵌人块Transformer编码器输入图片图2 VisionTransformer模型结构Fig.2Model architecture of Vision Transformer372ViT模型改进了Trans

    16、former中的编码器结构获取图像像素间的相关性,为便于处理,在所有层使用D维的恒定向量,将所有块映射成相同维数。经过位置信息嵌入的块会经过层归一化处理,使用多头注意力机制计算注意力权重,并最终使用多层感知器进行分类,得到图片表征y。该过程如式(3)式(5)所示:(3)zi=MLP(LN(z)+zi,=1,L(4)y=LN(z)(5)式中:z表示多头注意力的输出;z表示多层感知机输出;z表示编码器输出。ViT模型将图片视为输人序列,通过线性映射使其适用于Transformer结构的一维输人,并利用注意力打分机制很好地实现了图像分类任务。2?适用于人脸防伪任务的FAS-Transformer模型

    17、为使注意力机制成功应用于人脸防伪任务,提出了基于ViT模型改进的FAS-Transformer模型。为使模型对人脸真伪特征进行学习并作出区分,在输入人脸图像序列化后嵌人位置信息,并嵌入真伪判别信息。同时,对分类网络结构进行改进,采用全连接层配合Softmax函数进行最终的结果分类。FAS-Transformer模型结构如图3所示。黑龙江大学自然科学学报z,=MSA(LN(zI-1)+zI-1,l=1,-,L第40 卷?+真/伪输出输入图片MLP层归一化多头注意力层归一化全连接层位置及判别线性映射图3FAS-Transformer模型结构Fig.3Model architecture of FA

    18、S-Transformer在对输入的人脸图像进行和VT模型相同的分块操作后经过线性映射,使用正余弦函数作为学习的位置编码函数,保证每个位置编码的唯一性。偶数位置采用正弦函数编码,奇数位置采用余弦函数编码,通过这种方式使模型能够学习到输人图像小块的相对位置信息。(6)(7)式中:pos表示位置;i表示特征维度;dmodel表示模型维度。为了使模型对人脸真伪特征进行学习,采用有监督训练,在嵌人位置信息的同时,嵌人真伪判别标识(其中,0 表示伪造特征,1表示真实特征)。模型结构中使用多头注意力将输入映射到不同的特征子空间。此后,计算每个头的注意力,再将计算得到的多个头的输出进行拼接,经过再次投影构成

    19、多头注意力的整体输出。使用多头注意力的优势在于,可以信息嵌人第3期同时关注来自不同位置的不同表示子空间的信息,如果使用单一注意力在计算时就会使用平均去抑制这些信息。在模型训练的过程中,随着每一层参数的更新会导致上层输入数据分布的变化,堆叠的层数越多,这种分布变化越剧烈,这使得高层需要不断地适应底层数据的更新。为了加快模型的收敛,保证数据特征分布的稳定性,在训练单个样本时采用了层归一化。(8)式中:为样本;为均值;为方差;和为可学习参数。损失函数:为获取更好的实验结果,在训练过程中采用二值交叉熵(Binary cross-entropy,BCE)损失函数对网络进行监督,对参数进行微调。(9)式中

    20、:N表示样本个数;y;表示样本标签;a表示样本权重值。测试策略:在测试阶段为了评估特征的真伪,需要将经注意力机制处理的特征与真实特征的权重均值做出比较,通过计算两者之间的距离获取最终分类打分,打分公式为:Score(x,)=ll(x;a)-c ll式中:x;表示人脸特征;表示特征所对应的权重;c表示真实特征的权重均值。3测试与结果分析3.1测试环境及实验参数硬件平台采用32 GB运行内存,11thGenIntel(R)C o r e(T M)i7-118 0 0 H 2.30 G H z 处理器,NVIDIAGeForceRTX3060GPU。软件平台采用基于Windows11搭建的Pytor

    21、ch深度学习框架。实验采用的基本网络结构的实践方法已在Github上开源。实验参数设置如表1所示,其中训练Batch-size可以根据自身设备性能好坏适当提高,选择标准Adam作为优化器。将验证集上损失最少的模型作为最终的模型选择,模型的训练流程如算法1所示。初始化:预训练权重w、A d a m 优化器参数、批尺寸B、学习率lr、训练轮数E、样本总数N、各超参数;For e=O to E do:采样预处理后的批次数据 yi,x,Emo1For i in range(N):MSA x;,x a;yi,a;loss;更新参数Adam(loss,w,,,)End forEnd for魏鑫等:一种基于

    22、FAS-Transformer的人脸防伪方法h=*Loss=-y,lna;+(1-y)n(1-a,)表1实验参数设置Table 1FExperimental parameter setting参数描述Epochs训练轮数Learning-rate学习率Batch_size批尺寸Image_size图像尺寸Patch_size块尺寸算法1 FAS-Transformer模型训练流程/线性映射并分块/嵌人标签及位置信息(获取图片表征)/比较输人序列元素间的相关性获取权重/得到表征z/计算BCE损失373x-+(10)数值201 1034224 22416 163743.2数据预处理为避免不同数据集

    23、中的背景环境对实验造成的影响,预先对数据集中的人脸进行剪裁。裁剪过程采用Dlib作为人脸检测器并使用开源计算机视觉库OpenCV首先获取人脸矩形坐标信息,再通过加载6 8 点预训练模型(Shape_predictor_68_face_landmarks)进行关键点预测,并使用自带函数实现人脸对齐操作。在对坐标、角度进行一系列计算后定位图片中的人脸,将提取到的关键区域保存。通过加载预训练模型,整个剪裁过程速度很快,对于数据集中存在视频的情况,设定顿数进行视频抽帧,再进行裁剪。为满足后续实验安排,图片裁剪大小统一设置为2 2 42 2 4,分块大小为16 16,并对经过预处理的图片采用垂直镜像对称

    24、的方式以0.5的概率进行数据扩充。黑龙江大学自然科学学报第40 卷输人图片预训练模型形状预测及人脸标定图4数据预处理流程Fig.4Data pre-processing flow3.3权重集内测试实验中使用表征攻击分类错误率(Attackpresentationclassification errorrate,A PCER)、真实呈现分类错误率(Basedpresentationclassification errorrate,BPCER)以及平均分类错误率(Attuckclassificationerror rate,A CER)进行评估。ACER是APCER和BPCER总和的一半,其中AP

    25、CER表示所有表征攻击中最高的假阳性率,其公式为:(11)2对于CASIA-MFSD和Replay-Attack之间的集间测试实验,使用半总错误率(Half total errorrate,HTER)、错误接受率(False accept rate,FA R)和错误拒绝率(Falserejection rate,FR R)进行评估,其公式为:(12)23.4集内测试实验为了验证所提出方法的有效性,设计了两组集内测试实验,分别在SiW和WMCA数据集上进行。3.4.1SiW集内测试实验SiW:数据集提供16 5个对象的活体和伪造视频6 。其中为每个对象录制8 个真实视频和2 0 个伪造视频,共有

    26、447 8 个视频。视频的顿数为30 fps,时长为15s清晰度为10 8 0 PHD。活体视频的收集分为4种类型:距离、姿态、光照和表情。伪造视频的攻击手段如打印照片和视频重放。为方便未来研究,数据集制作团队定义了子协议方便研究人员对人脸表征攻击方法的泛化性和模型在不同媒介上的表现能力及应对未知攻击时的表现进行评估。参考文献7 中的方法对评估集应用固定的预训练阈值0.3,应用到3种子协议中,使用ACER、A PCER和BPCER进行评估。实验结果如图5所示,选取了4种主流方法与本方法进行对比,分别是:Auxiliary6、人脸裁剪APCER+BPCERACER=FRR+FARHTER=第3期

    27、ResNet8 、D e n s e Ne t【9 和Meta-FAS-DR【10 ,可以看出,在3种协议的对比实验中,所提出的方法性能最佳。魏鑫等:一种基于FAS-Transformer的人脸防伪方法375302520151050FAS-TransformerFig.5 Inter test results under three protocols on SiW dataset3.4.2WMCA集内测试实验WMCA数据集记录了7 2 位不同身份对象的19 41个短视频,包括真实的和伪造的1。数据的记录通过渠道为:色彩、深度、红外线和热温度计。该数据集依赖强大的拍摄设备模仿3D表征攻击。不同

    28、通道的数据依靠不同类别的传感器进行采集。所用的数据集源自2 个传感器的采集,在信息采集时对背景进行改变。实验使用留一法,单独留出一种攻击类型放在训练集中,将其他的攻击类型用于评估集,这样就构成了一个简单的留一协议。测试所提出方法在不同攻击类型下的表现,并与基线方法进行比较,在实验过程中对标准的网络结构进行微调,将最后一层改为全连接层适应二分类任务,实验结果如表2 所示。由实验结果可知,在与ResNet50和DenseNet169两种方法比较后,所提出方法的性能更好,平均值达到了(14.48.2)%,远优于基线方法。表2 不同攻击类型下基线方法和所提出方法在WMCA数据集上的性能对比Table

    29、2 Performance comparison of baseline method and proposed method onWMCA dataset under different attack types方法面具ResNet5041.2DenseNet16931.1FAS-Transformer5.8注:表中数据表示经评估集测试的ACER值,单位:%。3.5集间测试实验为了验证本方法具备一定的泛化性,设置了集间测试实验,并选用 CASIA-FASD12及 Replay-Atack13两个数据集进行实验,整个实验过程可以简单概括为在一个数据集上训练模型,在另一个数据集上验证模型的性能。

    30、CASIA-FASD:该数据集包含来自50 个对象的真实和伪造人脸的录像。数据集中设计了3种伪造攻击:扭曲照片攻击、剪切照片攻击及视频攻击。Replay-Attack:该数据集包含在不同的光照条件下,来自50 名对象的共计130 0 个视频片段,由图片和视频攻击共同组成,是一个2 D人脸防伪攻击数据集。数据集中的数据被划分为4个子集:(1)训练数据用于训练防伪分类器;(2)开发集用于阈值的估计;(3)测试数据用于报告错误数;(4)注册数据用于验证人脸检测算法的敏感性。出现在一个数据集中的对象不会在其他数据集中再次出现。如表3所示,模型在HTER权重下获得了较好的性能,并且性能优于主流研究方法,

    31、这也验证了所提出方法具备一定的泛化性。ProtocollProtocol2Protocol3AuxiliaryResNet图5SiW数据集上3种协议下的集内测试结果眼镜化妆43.142.042.537.217.027.5DenseNet纹身重放30.123.67.532.25.416.5Meta-FAS-DR平均值标准差36.0 7.830.1 12.014.4 8.2376同时,实验结果显示出了一种规律,在图片分辨率较高的数据集上训练出的模型,在分辨率低的数据集上测试会显示出更好的精度。方法LBPCNNAuxiliaryFAS-Transformer注:表中数据表示经评估集测试的ACER值,

    32、单位:%。3.6注意力的优化为了更直观地展示注意力机制在人脸防伪任务中的工作原理,使用注意力图可视化的方法,直观地展现了注意力机制在处理人脸防伪任务时关注的位置。在实验过程中对底层注意力进行移除操作因为已有实验证明底层注意力效果不佳,对其进行移除操作可以实现去噪,保证注意力更集中。同时,对注意力头打分取平均值用于设置丢弃率,去除低分的输出。通过调整让注意力更加集中,优化实验效果。如图6 所示,经过优化后的注意力集中出现在人脸五官和面部与背景区域的边界处。黑龙江大学自然科学学报表3集间测试实验结果Table 3Intra test results测试集Replay-AttackCASIA-MFS

    33、D44.345.732.525.8第40 卷测试集Replay-AttackCASIA-MFSD42.140.633.423.5输人图片直接输出优化后图6 注意力图Fig.6Attention maps3.7特征可视化为了以更直观的方式显示模型在处理人脸特征过程中对不同类型特征所做出的区分,利用t-SNE可视化方法,对数据集中的部分特征进行可视化显示。t-SNE技术通过在二维或三维地图中给每个数据提供一点进行标识来可视化高维数据,该技术是随机邻域嵌入的一种变体,通过减少中心聚点的趋势提供更直观的可视化效果,也更易优化。Replay-Attack数据集集内测试过程中的真伪分类数据可视化处理的结果

    34、如图7所示,可以看出,所提出的模型对真伪特征进行了有效区分,特征会向自身类别聚拢,这为后续分类提供了依据。WMCA数据集不同攻击类型特征可视化的结果如图8 所示,实验选用了真实,眼镜、打印及重放攻击特征进行可视化,由结果图可知,不同攻击类型的特征在分类测试过程中同样提供了类别区分,但仍有少量特征会与其他类别特征出现重叠情况。输人图片直接输出优化后第3期魏鑫等:一种基于FAS-Transformer的人脸防伪方法AttackReal377BonafideclassesrintReplay图7Replay-Attack数据集特征可视化结果Fig.7Visualization results of

    35、Replay-Attackdataset feature3.8模型复杂度分析模型的复杂度可由两个指标进行描述:时间复杂度和空间复杂度。其中,时间复杂度通过模型计算量衡量,空间复杂度则是通过模型参数量衡量。为了对模型复杂度进行分析,通过实验对比了基线方法及本方法的计算复杂度及参数总量。本方法与基线方法模型计算复杂度的对比结果如图9 所示,本方法与基线方法各自参数总量的对比结果如图10 所示。可以看到,模型的计算复杂度及参数总量随着训练轮次的增加而增加,大幅度的超过了对比的基线方法,这为模型的进一步优化提供了方向。17.5-This paper15.0+ResNet-DenseNet12.510.

    36、07.55.02.50.00.02.55.07.510.012.515.017.520.0Epoch图9 模型计算复杂度折线图Fig.9 Line chart of model calculation complexity图8WMCA数据集4种特征可视化结果Fig.8Visualization results of four features ofWMCA dataset-This paper80-ResNetDenseNet60M402000.02.55.07.510.012.5 15.017.5 20.0Epoch图10 模型参数总量折线图Fig.10Line chart of total

    37、 model parameters4结 论将注意力机制应用到人脸防伪任务中,通过对ViT模型进行改进,将模型的分类层替换为全连接层,并添加真伪判别信息,提出一种基于FAS-Transformer的人脸防伪方法。为验证本方法的性能,设计集内和集间测试实验与主流方法进行对比。通过实验验证,本方法在同一数据集的不同协议类型、不同攻击类型及跨数据集测试结果中的有效性和泛化性均优于主流方法,较好地解决了人脸防伪方法在应对不同表征攻击类型时,普遍存在的泛化性差的问题,具备一定的实用价值。同时,为体现注意力机制可解释性强的优点,对注意力做可视化处理,方便对其工作原理进行理解。当然,仍有一些问题需要进一步研究

    38、,如不同数据集背景环境对实验结果的影响。本实验操作中对输人的图像进行了统一的剪裁,这是为了消除不同人脸防伪数据集间的背景差异,但也在一定程度上损失了背景环境信息。此外,FAS-Transformer模型虽然在性能上更优于主流方法,但也存在一定的局限性,如模型训练数据量大和计算复杂度较高等特点,这些问题值得进一步研究。378黑龙江大学自然科学学报第40 卷参考文献1 YANG J,LEI Z,LI S Z.Learn convolutional neural network for face anti-spoofing J.Computer Science,2014,9218:373-384.2

    39、 LIU Y,JOURABLOO A,LIU X.Learning deep models for face anti-spoofing:binary or auxiliary supervision C.Conference on Computer Visionand Patterm Recognition.Salt Lake City:IEEE,2018:389-398.3 LIU A,TAN Z,WAN J,et al.Faceanti-spoofing via adversarial cross-modality translation J.IEEE Transactions on I

    40、nformation Forensics andSecurity,2021:2759-2772.4 ASHISH V,NOAM S,NIKI P,et al.Attention is all you need c.In Advances in Neural Information Processing Systems.Long Beach,2017:5998 6008.5 DOSOVITSKIY A,BEYER L,KOLESNIKOV A,et al.An image is worth 16 16 words:transformers for image recognition at sca

    41、le C.Interna-tional Conference on Learning Representations.Virtual,2020:58-70.6 LIU Y,JOURABLOO A,LIU X.Learning deep models for face anti-spoofing:binary or auxiliary supervision C.Conference on Computer Visionand Pattern Recognition.Salt Lake City:IEEE,2018:389-398.7 LIU Y,STEHOUWER J,JOURABLOO A,

    42、et al.Deep tree learning for zero-shot face anti-spoofing C.Conference on Computer Vision andPattern Recognition.Long Beach:IEEE,2019:236-247.8 HE K,ZHANG X,REN S,et al.Deep residual learning for image recognition C.Conference on Computer Vision and Pattern Recognition.LasVegas:IEEE,2016:770-778.9 H

    43、UANG G,LIU Z,LAUTENS V,et al.Densely connected convolutional networks C.Conference on Computer Vision and Pattern Recognition.Honolulu:IEEE,2017:4700-4708.1o ZHAO C,QIN Y,WANGZ,et al.Meta anti-spoofing:learning to learn in face anti-spoofing C.Conference on Artificial Intelligence.Honolulu:AAAI,2019

    44、:11916-11923.11J CEORGE A,MOSTAANI Z,GEISSENBUHLER D,et al.Biometric face presentation attack detection with multi-channel convolutional neural net-work J.IEEE Transactions on Information Forensics and Security,2019:44-55.12 ZHANG Z,YAN J,LIU S,et al.A face anti spoofing database with diverse attack

    45、s C.International Conference on Biometrics.New Delhi:IAPR,2012:26-31.13 CHINCOVSKA I,ANJOS A,MARCEL S.On the effectiveness of local binary patterns in face anti-spoofing C.The International Conference ofBiometrics Special Interest Group.Darmstadt,2012:1-7.14 ZHAO C H,XIAO S Y,SU N.Ship recognition based on feature enhancement using attention mechanism J.Journal of Engineerning ofHeilongjiang University,2022,13(1):43-51.


    注意事项

    本文(一种基于FAS-Transformer的人脸防伪方法.pdf)为本站上传会员【自信****多点】主动上传,咨信网仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知咨信网(发送邮件至1219186828@qq.com、拔打电话4008-655-100或【 微信客服】、【 QQ客服】),核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
    温馨提示:如果因为网速或其他原因下载失败请重新下载,重复下载【60天内】不扣币。 服务填表




    页脚通栏广告
    关于我们 - 网站声明 - 诚招英才 - 文档分销 - 便捷服务 - 联系我们 - 成长足迹

    Copyright ©2010-2024   All Rights Reserved  宁波自信网络信息技术有限公司 版权所有   |  客服电话:4008-655-100    投诉/维权电话:4009-655-100   

    违法和不良信息举报邮箱:help@zixin.com.cn    文档合作和网站合作邮箱:fuwu@zixin.com.cn    意见反馈和侵权处理邮箱:1219186828@qq.com   | 证照中心

    12321jubao.png12321网络举报中心 电话:010-12321  jubao.png中国互联网举报中心 电话:12377   gongan.png浙公网安备33021202000488号  icp.png浙ICP备2021020529号-1 浙B2-20240490   



    关注我们 :gzh.png  weibo.png  LOFTER.png