![点击分享此内容可以赚币 分享](/master/images/share_but.png)
结合多视角学习与一致性表征的人脸伪造检测.pdf
《结合多视角学习与一致性表征的人脸伪造检测.pdf》由会员分享,可在线阅读,更多相关《结合多视角学习与一致性表征的人脸伪造检测.pdf(9页珍藏版)》请在咨信网上搜索。
1、现有的人脸伪造检测方法通常在已知域上表现较好,但面临过拟合的风险,在应对未知场景时无法保持良好的检测能力。为解决此问题,提出一种结合多视角学习与一致性表征的人脸伪造检测框架。为捕获更全面的伪造痕迹,将输入图像转换为两种互补视角并采用双流骨干网络进行多视角特征学习。引入一致性度量,以补丁级监督的方式明确约束不同视角输出的局部特征的相似度。为提高检测精度,采用特征分解策略进一步优化伪造特征,减少不相关因素的干扰,并以伪造特征空间的决策作为最终的预测结果。在基准数据集上听语音聊科研与作者互动进行的大量实验表明,所提出的方法优于现有的主流模型,具备良好的跨域泛化能力。关键词:人脸伪造;频域特征;多视角
2、学习;一致性度量中图分类号:文献标志码:开放科学(资源服务)标识码():文章编号:(),(,):,:;近年来,以生成式对抗网络 (,)为代表的深度生成模型得到了业界的广泛关注,进而掀起了一场伪造图像的热潮 ,“深度伪造”一词由此而来。深度伪造是指借助深度学习算法,实现对音频和视频的模拟和伪造,主要包括语音模拟、图像生成、换脸、表情重塑等。一个没有任何专业知识储备的普通用户,只需简单操纵电子设备中的应用软件即可实现对一幅图像或一段视频中人物面部区域的篡改和伪造 。人脸图像中包含着丰富且敏感的个人身份信息,因此,对人脸图像的伪造需要引起格外重视,一旦被不法分子出于恶意目的使用,后果将不堪设想 。除
3、对个人隐私的威胁外,深度伪造技术对国家和社会同样会带来极大的安全隐患,例如会损坏企业的公众形象、散播虚假消息并引导政治舆论、促使恐怖主义行动等 。为了降低这些伪造内容的传播力度和可信度,迫切需要研究有效的检测手段以应对由此带来的种种威胁 。现有的人脸伪造检测方法可大致分为两种类收稿日期:基金项目:国家自然科学基金资助项目();湖南省研究生科研创新资助项目();湖南省自然科学基金资助项目()作者简介:张军(),女,湖南长沙人,教授,博士,博士生导师,:;于淼淼(通信作者),女,山东青岛人,博士研究生,:第 期张军,等:结合多视角学习与一致性表征的人脸伪造检测型:一种是采用手工设计的特征描述符结合
4、小型分类器来判断输入图像的真伪 ,这类方法适用于特定伪造场景下的检测任务,但在处理复杂场景时通常表现不佳;另一种是基于卷积神经网络(,)的深度学习检测方法 ,这类方法凭借 卓越的特征学习和数据拟合能力在数据集内部测试中取得了令人满意的检测性能。然而,输入图像中存在大量与标签无关的干扰信息,如背景、身份等,导致有利于当前分类的任意模式和线索都可能被检测器注意并学习到,而关键的伪造特征却被忽略。因此,如何从整个特征空间中挖掘出真实人脸与伪造人脸之间最具判别性的特征是研究的重点 。对此,多视角学习策略结合伪造特征分解方案是解决该问题的有效手段。目前大部分工作将人脸伪造检测问题定义为一种二元分类任务,
5、即采用图像级标注对模型输出的预测结果进行监督训练。为了学习全面且泛化的特征表达,仅采用图像级监督信号并不能充分地引导模型进行可靠的特征学习,而引入额外的像素级监督信号(如:伪造区域掩码、人脸深度图等)会不同程度地增加计算开销,进而限制了在现实场景中的应用。基于以上分析,可以采用自监督学习结合二元监督学习的解决方案,进一步提升人脸伪造检测模型的检测性能。相关工作 面向特定伪造的检测模型研究帧内图像伪影或不一致的生物信号是判断图像真伪最主要的依据之一。文献 利用真实视频和伪造视频中眼睛运动方式的差异来检测输入视频的真伪。等 观察到伪造的人脸区域在融合到源视频之前都要经过仿射变换,这一过程会留下独特
6、的伪影,并以此来判断图像是否被篡改过。等 通过分析嘴巴区域张开时的异常表现来识别虚假视频。等 采用基于中层语义分析的检测方法,设计了两个具有少 量 层 的 深 度 神 经 网 络 模 型 和 ,通过关注图像的介观性质来判断图像的真伪。等 提出了一种多任务学习框架,既能检测出被伪造的图像,同时又能对伪造区域进行定位。与 上 述 方 法 不 同,等 认为真假人脸图像之间的差异通常是细微且局部的,因此将这一挑战重新定义为细粒度分类问题,并开发了一个多注意力检测框架,在注意图的指导下将增强的纹理特征和高层次的语义特征结合起来进行最终分类。上述方法大都适用于特定的伪造模式,在域内评估中表现较好,但当检测
7、训练集中未出现的攻击类型时,性能会不同程度地下降。可泛化的人脸伪造检测模型可泛化的人脸伪造检测旨在寻找不同伪造算法遗留下来的共同的伪造痕迹,以实现对任意类型的伪造样本进行准确检测的目的。为了涵盖更全面的伪造表征,等 提出了一种双流网络框架,人脸分类分支利用真实的和伪造的人脸图像进行训练来捕获高水平的篡改伪迹证据,补丁三元组分支利用隐藏特征提取器捕获局部补丁的低水平的噪声残差证据,最终将两个分支相融合实现了鲁棒的篡改检测。等 同样采用双流检测网络,两个分支分别以 域和频域信息作为输入,融合模块将两个流的输出结合起来,再经骨干网络和 长 短 期 记 忆(,)递归神经网络抽取帧间信息以对视频的真伪进
8、行判断。等 将相位谱的空间域表示与原始 域合并起来,得到 通道的输入图像,并送入 网络中进行分类。等 设计了一种通用的人脸伪造检测算法,只利用真实人脸图像进行简单的融合来自动合成换脸图像以及融合边界图,这两类数据一同输入 骨干网络中进行训练,训练好的模型通过预测融合边界来判断图像的真伪。此方法在面对低分辨率的图像时检测性能会显著下降,并且不适用于检测由 完全生成的伪造图像。由于整个特征空间中同时包含了与标签相关的信息以及干扰信息,而干扰信息的存在会迷惑检测器做出错误的决策,因此,从整个特征空间中逐步挖掘出真实人脸与伪造人脸之间最具判别性的特征,尽可能消除干扰因素对决策的影响,是本研究的重点。方
9、法本文提出一种结合多视角学习与一致性表征的人脸伪造检测方法,整体流程如图 所示。多视角学习模块旨在从原始图像中提取全面且丰富的互补信息。块间一致性度量模块采用余弦相似性度量促使不同视角的相同位置的局部特征更加接近。特征分解与分类模块旨在将判别性特征空间从整个特征空间中进一步分离出来,减小决策中不相关信息的干扰。国 防 科 技 大 学 学 报第 卷图 所提方法整体流程 频域特征对于人脸伪造检测任务来说,一些关键的判别性线索无法直接从原始 图像中学习到,而是隐藏在频域中,因此,频域特征和空间特征作为两种互补特征,同时利用它们能获得更全面更泛化的特征表示。在提取频域特征时,采用固定的或手工设计的滤波
10、器很难自适应地充分暴露细微的伪造痕迹,因此选择采用一种自适应频率感知的特征提取方法。首先将输入图像 经离散余弦变换(,)由原始 空间转换到频 域 中,然 后 通 过 将 二 元 基 础 滤 波 器 ,和可学习频率滤波器 ,相结合 来 自 适 应 地 将 其 划 分 为 多 个 频 域 分量 。具体来说,前 个基础滤波器将频谱大致分为 个子带,分别对应低频(整个频谱的前 )、中频(频谱的 和 之间)和高频(频谱的最后 )成分。此外,考虑到分割的频率成分可能不足以挖掘出真假人脸之间全面的伪造痕迹,因此这里又增加了一个额外的基础滤波器 ,用于捕获图像的全频(整个频谱)成分。个可学习频率滤波器用于自适
11、应地调整和选择基础滤波器之外的感兴趣的频率响应。最后,利 用 逆 离 散 余 弦 变 换(,)将划分的频率成分反变换到空间域上。上述过程可以表示为:()(),()式中:()和 ()分别表示 和 操作;函 数()()()用于将 归一化为 ,。随后,将获得的四个频域分量 ,沿通道维度进行堆叠,最终得到频域特征 。双流特征提取网络及特征融合模块作为对频域信息的补充,对原始 图像采用一般的数据增强技术(如随机翻转)生成增强后的空间图像,记为。接下来,将 和 输入双流特征提取网络中学习全面丰富的特征表示。考虑到 网络在图像取证方面显示的优越性能,选择其作为双流框架的骨干网络(每个分支不共享参数),主要由
12、三层组成:网络浅层、网络中间层和网络深层。将两个分支中每层输出的特征图经过特别设计的特征融合模块(,)进行融合和增强,得到三个不同尺度的混合特征。示意图如图 所示。首先采用元素相加运算混合两个输入特征,记为 ;随后是一个自注意力机制,其目的是学习通道维度上各个子特征图之间的相关关系,并为它们分配不同的权重。具体来说,将特征 按通道划分为 组子特征图 ()(,),然后将其平铺成 维特征向量,再分别利用三个嵌入函数 、和 生成三个矩阵:()()()()第 期张军,等:结合多视角学习与一致性表征的人脸伪造检测图 示意图 接着,将 和 组合起来,生成权重矩阵:(槡 )()得到的 即描述了当前的局部特征
13、与其他局部特征之间的相关性。理论上,来自伪造区域的局部特征之间的权重较大,而来自伪造区域的局部特征与来自非伪造区域的局部特征之间的权重较小。再次,将矩阵 和 进行融合:()最后,将所有生成的(,)按通道串联起来,得到增强后的特征图。这里设置 ,即将每个通道的特征图单独划分为一组。块间一致性度量考虑到仅采用图像级标注对学习鲁棒的和泛化的特征表征方面能力不足,存在过拟合的问题,因此,采用一致性学习策略,在不引入额外的监督信号的情况下,促使同一人脸实例的不同视角的特征更加相似,以自我监督的方式提高输出特征的一致性。将频域分支输出的最终特征记为 ,分支输出的最终特征记为 ,并将 和 空间上划分为 大小
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 结合 视角 学习 一致性 表征 伪造 检测
![提示](https://www.zixin.com.cn/images/bang_tan.gif)
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。