二次解耦与活体特征渐进式对齐的域自适应人脸反欺诈.pdf
《二次解耦与活体特征渐进式对齐的域自适应人脸反欺诈.pdf》由会员分享,可在线阅读,更多相关《二次解耦与活体特征渐进式对齐的域自适应人脸反欺诈.pdf(13页珍藏版)》请在咨信网上搜索。
1、二次解耦与活体特征渐进式对齐的域自适应人脸反欺诈封筠1史屹琛1高宇豪1贺晶晶1余梓彤21(石家庄铁道大学信息科学与技术学院石家庄050043)2(大湾区大学广东东莞523000)()Domain Adaptation for Face Anti-Spoofing Based on Dual Disentanglement andLiveness Feature Progressive AlignmentFengJun1,ShiYichen1,GaoYuhao1,HeJingjing1,andYuZitong21(School of Information Science and Technol
2、ogy,Shijiazhuang Tiedao University,Shijiazhuang 050043)2(Great Bay University,Dongguan,Guangdong 523000)AbstractAlthough existing face anti-spoofing methods perform well in intra-domain testing,their performancesignificantlydegradesincross-domainscenarios.Currentcross-domainfaceanti-spoofingmethodsb
3、asedondomainadversarial alignment cannot guarantee that the alignment task directly serves the classification task since thealignmentandclassificationnetworksareindependentofeachother.Weproposeadomainadaptationforfaceanti-spoofing method based on domain invariant liveness features dual disentangleme
4、nt and progressive adversarialalignment.Firstly,thesourcedomainfeaturesareheuristicallydisentangledintodomainspecificfeaturesanddomaininvariantfeatures.Then,thegradientofclassifierisusedtoperformaseconddisentanglementofthelive-relatedandlive-unrelated features in the domain invariant features.To all
5、eviate optimization difficulties during training,acurriculumlearningmethodisadoptedtoprogressivelyaligntargetdomainfeaturesandthecombinationoflive-relatedandlive-unrelatedfeatures,graduallyincreasingtheproportionoflive-relatedfeatures,andenhancingthecorrelationbetweenthetargetdomainfeaturesandfacean
6、ti-spoofingtask.Fromacausalperspective,weprovideanexplanationforthelivenessalignmentdomainadaptation.ExperimentalresultsonCASIA-MFSD,IdiapReplay-Attack,MSU-MFSD,andOULU-NPUdatasetsdemonstratethattheproposedmethodachievesthebestaverageHTER value of 22.5%compared with ten existing methods and the curr
7、ent state-of-the-art performance on fourevaluationprotocols.EspeciallytheHTERvaluesofI-MandO-Mevaluationprotocolsachieve12.4%and12.8%,respectively.Theproposedmethodcansignificantlyreducetheerrorratesofthemodelinthetargetdomainandhasbettercross-domaingeneralizationability.Key wordsfaceanti-spoofing;d
8、omainadaptation;dualdisentanglement;domainadversarialprogressivealignment;curriculumlearning摘要现有的人脸反欺诈(faceanti-spoofing,FAS)方法虽然在域内测试表现良好,但在跨域场景下性能会大幅度下降.当前基于域对抗对齐的跨域人脸反欺诈方法,因其对齐网络和分类网络彼此独立,无法保证对齐任务直接服务于分类任务.提出了一种基于二次解耦与活体特征课程学习渐进式对抗对齐的域自适应人脸反欺诈(domainadaptationforfaceanti-spoofingbasedondualdisent
9、anglementandlivenessfeature收稿日期:2023-03-31;修回日期:2023-06-16基金项目:国家自然科学基金项目(61772070,61972267);河北省高等学校科学技术研究重点项目(ZD2021333)This work was supported by the National Natural Science Foundation of China(61772070,61972267)and the Key Projects of Science andTechnologyResearchinCollegesandUniversitiesofHebei
10、Province(ZD2021333).计 算 机 研 究 与 发 展DOI:10.7544/issn1000-1239.202330251JournalofComputerResearchandDevelopment60(8):17271739,2023curriculumlearningprogressiveadversarialalignment,DDCL)方法,首先将源域特征启发式解耦为域相关特征和域无关特征,之后使用分类器的梯度信息将域无关特征中的活体相关和无关特征进行第 2 次解耦.在训练过程中为减轻优化难度,通过课程学习的方式对目标域特征与活体相关、无关特征的组合进行渐进式对抗对
11、齐,逐步提高活体相关特征的比重,增强目标域特征与活体检测任务的相关性,从因果角度给出活体对齐域自适应的解释.在 CASIA-MFSD,IdiapReplay-Attack,MSU-MFSD 与 OULU-NPU 公开数据集上的实验结果表明,与现有 10 种方法相比,所提出的方法获得了 22.5%的最佳平均 HTER 值,并在 4 个测评协议上均达到了当前先进水平,尤其是 I-M 和 O-M 测评协议的 HTER 值分别达到了 12.4%和 12.8%,能显著降低模型在目标域上的错误率,具有更好的跨域泛化能力.关键词人脸反欺诈;域自适应;二次解耦;域对抗渐进式对齐;课程学习中图法分类号TP391
12、近年来,人脸识别系统被广泛应用于门禁、安防及支付等需要身份验证的场合,其高效、易用的特点备受赞誉.然而,人脸数据可通过社交媒体、视频网站等途径轻松获取,非法用户常使用恶意的伪造人脸对识别系统进行欺骗攻击.基于活体检测的人脸反欺诈(faceanti-spoofing,FAS)技术作为前置保护措施,可确保人脸识别系统的安全性和可靠性,近年来吸引了国内外研究者的广泛关注.随着深度学习技术在计算机视觉领域的快速发展,深度神经网络模型被广泛应用于人脸反欺诈任务,其训练需要大量数据,当测试数据与训练数据不服从同一分布时,模型的性能会大幅度下降.受限于数据采集的高额成本,收集各领域数据并完成标签并不现实.因
13、此,需要在数据受限的情况下提升模型的泛化能力,即提高在跨域场景下的性能.为了解决该问题,无监督领域自适应技术被应用于人脸反欺诈任务,使用有标签的源域数据与无标签的目标域数据共同训练得到一个在目标域上性能良好的模型.其主要思想是将源域数据与目标域数据的分布进行对齐,使源域的标签知识可以被引入无监督的目标域中.研究者从不同的层面采用相应的对齐策略进行域自适应人脸反欺诈方法研究,目前主流的对齐策略受生成对抗网络启发,使用领域对抗训练的方式对齐源域和目标域特征.领域对抗神经网络训练(domain-adversarialtrai-ningofneuralnetworks,DANN)1方法在对齐源域和目标
14、域特征时,将其作为一个整体进行对齐,如图 1(a)所示.然而,源域提取的特征中有大量与活体检测任务无关的信息,如人脸的轮廓、五官信息等.由于特征对齐与下游的分类任务并行、独立,所以将目标域的特征与这些无关信息对齐,不仅无法直接服务于活体检测任务,还可能使模型训练向次优方向推进.本文提出一种基于二次解耦与活体特征课程学习渐进式对抗对齐的域自适应人脸反欺诈(domainadap-tationforfaceanti-spoofingbasedondualdisentanglementand liveness feature curriculum learning progressiveadversa
15、rialalignment,DDCL)方法,如图 1(b)所示.在训练时加强源域和目标域信息的交互,使得对齐任务直接服务于分类任务.通过领域对抗训练,渐进式地将目标域特征向源域的活体相关特征对齐,在减轻优化难度的同时保证目标域提取到与活体任务更为相关的分类特征.MST(a)DANNMST(b)活体对齐S:源域特征T:目标域特征M:模型 单向直接影响 双向间接影响Fig.1Comparison diagram of different alignment strategiesfordomainadaptation图1域自适应不同对齐策略对比示意图本文的主要贡献包括 4 个方面:1)提出一种基于启
16、发式建模与分类器梯度的二次解耦方式,首先将源域特征解耦为域相关特征和域无关特征,之后将域无关特征解耦为活体相关特征和活体无关特征,用于后续领域特征对齐;2)提出一种基于课程学习的领域对抗渐进式特征对齐训练策略,对源域解耦出的活体相关、无关特征进行线性加权组合,将目标域特征与其对齐,即在模型初始训练阶段将目标域特征与源域的活体无关特征进行对齐,之后逐步提高活体相关特征所占比重,最终将目标域与源域活体相关特征进行对齐;3)从因果推断的角度出发,将本文所提 DDCL 方法与主流的对抗对齐域自适应方法进行比较,不同于之前方法的源域和目标域的对齐和分类彼此独立,DDCL 方法训练时源域和目标域信息交互更
17、为密切,特征对齐可直接服务于活体检测任务;1728计算机研究与发展2023,60(8)4)在 4 个公开数据集上的大量实验结果表明本文所提方法的优越性,可以显著提高无监督域自适应人脸反欺诈性能,与当前先进结果相比具有较强竞争力.1相关工作 1.1人脸反欺诈人脸反欺诈任务的目标是判断当前待检测人脸是来自于真实人脸还是各种材质的假体攻击.早期研究者根据专家的先验知识,设计了一系列的手工特征,如纹理特征2-4、图像质量5-6、生理信号7-8、脸部运动9-11等.纹理特征分析方法被广泛应用于人脸反欺诈技术,如 LBP2,12,SIFT13,SURF14,HOG15等.虽然手工特征方法对于真假人脸的判别
18、非常重要,但是因其受限于研究者掌握的先验知识,同时需要高分辨率图像数据,导致手工特征尽管在训练数据集上表现很好,但由于图像采集条件和攻击媒介的多样性,使得手工提取特征的方法难以具有高的鲁棒性.在计算机视觉领域,数据驱动的深度学习方法表现大幅度优于手工提取特征方法,将深度神经网络,如 CNN,Transformer 等引入人脸反欺诈任务,识别性能通常会有较大提升,是当前研究的重点.Yang等人16使用 CNN 作为特征提取器,分类真实人脸和欺诈样本.研究发现,纯神经网络往往难以满足判别要求,此后出现一系列辅助信息如深度图17-19、反射图15、光流信号20-22等与深度学习方法相结合,模型设计和
19、优化侧重各有不同.Yu 等人23巧妙地将手工LBP 特征与 CNN 结合,较普通 CNN 而言能捕获到更多连续的伪造线索,如晶格伪影;还使用神经架构搜索(neuralarchitecturesearch,NAS)技术自动探索网络架构最优参数,提高判别效率和精度,相比于现有方法其准确率高,但跨库测试错误率较高,模型泛化能力欠佳.1.2无监督域自适应人脸反欺诈为提升活体检测模型的泛化能力,充分利用全部数据,减小源域和目标域数据因光照、环境等因素产生的领域分布差异,研究者将域自适应技术引入人脸反欺诈.现有的无监督域自适应人脸反欺诈方法,主要包括数据分布对齐和领域对抗对齐 2 类方法.在数据分布对齐方
20、法中,Li等人24通过最小化源域和目标域特征空间之间的最大均值差异(maximummeandiscrepancy,MMD)25,学习到一个泛化性更强的分类器.Tu等人26通过减小源域和目标域之间基于核方法的MMD距离来提高模型的泛化性.然而仅仅通过减小领域之间的 MMD距离可能无法充分探索源域之间的有用信息,因此目前使用对抗迁移学习的方式成为研究热点27.在领域对抗对齐方法中,Kim等人28提出一种风格指导的领域自适应框架,通过风格选择归一化构造推理自适应模型,实现利用特定领域的风格信息指导,自动将模型适配到目标数据.Hamblin 等人29提出一种新的领域自适应框架,利用多模态数据改善 基
21、于 可 见 光 的 呈 现 攻 击 检 测(presentationattackdetection,PAD)任务.Wang等人30采用对抗训练方式由特征提取器获得源域和目标域的共同特征,同时使用三元组损失在特征空间上尽可能分散真实人脸和假体攻击,最后使用K 近邻分类.El-Din等人31认为只使用对抗训练方式进行领域自适应,会在目标域与源域攻击方式和设备类型不同的情况下无法得到好的结果,所以为保存一些目标域特有的属性,采用深度聚类生成伪标签进行辅助训练.1.3课程学习由易到难的学习策略在人类教育中很常见,研究者将其引入深度学习领域.课程学习作为一种模仿人类学习方式的深度学习训练范式,其主要思想
22、是模型先从简单数据开始学习,然后逐步增加学习数据的难度,直至学习整个数据集.Yang 等人32利用课程学习将目标域样本与动态选择的源域样本对齐,以利用源域样本的不同的可迁移性.Shu 等人33提出从较多的域内数据(类似于目标域)训练到较少的域内数据,指导模型在充分利用源域数据的同时适应目标域.Gong 等人34将每种特征与教师联系,设计一种多模态课程学习策略以整合来自不同特征模态的信息.Wang 等人35提出一个统一的动态课程学习框架,自适应地调整每个批次的抽样策略和权重,以提高泛化和辨别能力.2本文方法鉴于当前基于对抗训练的域自适应人脸反欺诈方法,通常无法保证对齐任务直接服务于活体分类任务,
23、模型往往会向着次优的方向训练,本文首先通过双解耦获得域无关活体相关特征,即将由启发式解耦所得到的域无关特征,进一步解耦为活体相关特征和活体无关特征.由于活体无关特征对齐简单,但对真假人脸分类任务而言,其作用弱于活体相关特征,在充分解耦的理想情况下,活体无关特征对分封筠等:二次解耦与活体特征渐进式对齐的域自适应人脸反欺诈1729类任务没有帮助,所以接着采用基于课程学习的渐进式特征对齐域对抗训练策略,即在训练前期将目标域与源域活体无关部分进行对齐,随着训练的迭代,逐步将目标域特征与源域的活体相关特征对齐,从而提升模型在目标域上的泛化能力,本文所提DDCL 方法的整体流程如图 2 所示.分类器源域目
24、标域计算流程特征相减操作DIFE迭代GRL域判别器解耦DIFEhydF(x)forifspcfsftfalifnegfpos=sgcls fsgcls=finvH(x)fsyFig.2PipelineofDDCLmethodproposedinthispaper图2本文 DDCL 方法整体流程xiNi=1(xi 0,2553HW)NHWygclsfnegfposfnegfposfaliftfali输入模型的数据包含多个领域的真实人脸和假体攻击,其中是训练集大小,是图像尺寸.整体模型主要由域无关特征提取器(domaininvariantfeatureextractor,DIFE)、域判别器(di
25、scriminator)和分类器(classifier)3 部分构成.DIFE通过启发式建模提取源域和目标域共有的域无关特征,域判别器用于判断输入的特征来自源域还是目标域,分类器根据提取好的特征进行真实人脸和假体攻击的分类.利用源域数据训练分类器之后,计算标签 对于源域特征的梯度,使用梯度对源域特征进行解耦得到活体无关特征和活体相关特征.随着训练轮次的迭代,调整和的加权参数组合为,通过对抗训练将目标域特征与对齐.2.1形式化定义现有在源域上训练的人脸反欺诈模型通常不能很好地推广到目标域数据.为了解决该问题,本文的研究重点是如何提升人脸活体在跨域场景下的泛化能力,首先对无监督域自适应人脸反欺诈任
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 二次 活体 特征 渐进 对齐 自适应 人脸反 欺诈
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。