基于特征图融合的对抗样本生成方法.pdf
《基于特征图融合的对抗样本生成方法.pdf》由会员分享,可在线阅读,更多相关《基于特征图融合的对抗样本生成方法.pdf(10页珍藏版)》请在咨信网上搜索。
1、第 47 卷 第 4 期燕山大学学报Vol.47 No.42023 年 7 月Journal of Yanshan UniversityJuly 2023 文章编号:1007-791X(2023)04-0337-10基于特征图融合的对抗样本生成方法张世辉1,2,张晓微1,宋丹丹1,路佳琪1(1.燕山大学 信息科学与工程学院,河北 秦皇岛 066004;2.燕山大学 河北省计算机虚拟技术与系统集成重点实验室,河北 秦皇岛 066004)收稿日期:2022-01-22 责任编辑:唐学庆基金项目:国家自然科学基金资助项目(61379065);中央引导地方科技发展资金资助项目(216Z0301G);河
2、北省自然科学基金资助项目(F2019203285)作者简介:张世辉(1973-),男,河北赞皇人,博士,教授,博士生导师,主要研究方向为视觉信息处理、模式识别,Email:sshhzz 。摘 要:为检验现有深度学习算法的鲁棒性和安全性,提出一种基于特征图融合的对抗样本生成方法。首先,分析卷积神经网络在图像分类任务中所提取不同层次特征图的特点,提出利用多层次特征图进行对抗扰动构造的方法思想;其次,引入通道注意力模块对卷积层输出特征图进行权重分配,以此代表不同特征图对分类结果的影响程度;再次,构建基础网络用于选取高权重特征图,并对显著特征信息进行像素值修改来生成扰动特征图;最后,将不同扰动特征图融
3、合为对抗扰动,并添加至原始输入样本中生成对抗样本。实验结果表明,所提对抗样本生成方法在 CIFAR-10 和 MNIST 数据集上兼顾了攻击成功率和样本视觉感知效果,与现有代表性对抗样本生成方法相比,在高难度的非交互式黑盒模型上取得了较好的攻击效果。关键词:对抗样本;特征图;通道注意力模块;卷积神经网络;图像分类中图分类号:TP391.41;TP18 文献标识码:A DOI:10.3969/j.issn.1007-791X.2023.04.0070 引言目前,人 工 智 能 领 域 的 安 全 问 题 广 受 关注1-2。深度学习作为人工智能的一个重要分支,在图像分类3、语音识别4、生物科学5
4、和目标检测6等领域具有广泛应用。在深度学习带来极大便利的同时,研究者发现深度学习模型极易受到对抗样本的攻击7-8。攻击方通过对原始样本进行人类视觉系统不易察觉的修改,从而生成可诱导深度学习模型误分类的对抗样本,使得深度学习在高安全性需求场景中的部署和应用面临巨大挑战。因此,关于对抗样本生成问题的研究具有重要的现实意义和学术价值。现有对抗样本生成方法根据目标网络信息的已知程度,可分为基于白盒的对抗样本生成方法和基于黑盒的对抗样本生成方法。其中,基于白盒的对抗样本生成方法9-12已知目标网络的结构和参数,该类方法主要通过求解目标网络的梯度信息生成扰动,并将生成的扰动添加至原始输入样本进而生成对抗样
5、本。本文所提对抗样本生成方法主要面向黑盒模型,因此下面侧重于基于黑盒的对抗样本生成方法的描述。在实际应用场景中,攻击方除目标网络的输入输出结果外通常无法获得其他信息,故基于黑盒的对抗样本生成方法可代表更一般的应用场景。2018 年,Dong 等人13将动量项整合至迭代攻击 中,提 出 MI-FGSM(Momentum Iterative Fast Gradient Sign Method)方法,通过在迭代过程中累积损失函数的梯度,以稳定优化过程并避免不良的局部最大值,从而生成具有可迁移性的对抗样本。2019 年,Xie 等人14将输入多样性策略整合至迭代攻击中,提出 DI2-FGSM(Dive
6、rse Inputs Iterative Fast Gradient Sign Method)方法,通过对输入图像进行随机裁剪和随机填充的变换来增加生成对抗样本的可迁移性。MI-FGSM 和 DI2-FGSM方法均基于 FGSM 方法进行相应改进,从而适应338 燕山大学学报2023黑盒模型的攻击环境。2019 年,Carlini 等人15为了有效评估对抗样本性能,提出一种难度更大的非交互式黑盒(Non-interactive blackBox,NoBox)模型,NoBox 模型作为黑盒模型的延伸,攻击方在对抗样本的生成过程中无法访问目标网络的任何信息,包括输入信息与输出信息,即无法与目标网络
7、进行任何交互访问。在基于 NoBox 模型的攻击环境下,攻击方仅可依靠对抗样本的可迁移性来达到攻击目标网络的目的。2020 年,Wu 等人16基于类 ResNet 网络的跳跃连接操作提出 SGM(Skip Gradient Method)对抗样本生成方法,跳跃连接有助于保留更多的浅层特征信息,使得生成的对抗样本可有效迁移至其他分类器。该方法虽然可以在一定程度上提高对抗样本的可迁移性,但迁移后的对抗样本在 NoBox 攻击环境下的攻击成功率显 著 降 低。同 年,Avishek 等 人17提 出 AEG(Adversarial Example Games)方法,通过生成器与假设分类器之间的对抗性
8、训练生成可迁移性对抗样本。由于对抗性训练需要有效的约束条件使得博弈双方达到理想的纳什均衡状态,因此 AEG 方法在 NoBox 攻击环境下所构造的对抗样本图像可视化结果较差。2021 年,Philipp 等人18提出 BN-MI-FGSM(Batch Normalization Momentum Iterative Fast Gradient Sign Method)方法,通过利用 BN 层使卷积神经网络更倾向于学习非鲁棒特征的特点生成具有可迁移性的对抗样本。虽然该方法生成的对抗样本具有较好的可迁移性,但在 NoBox 攻击环境下对抗样本对于不同目标网络的攻击成功率波动幅度较大,稳定性较差。结
9、合上述关于现有代表性方法的分析,在不与目标网络产生任何交互信息的前提下,本文通过构建基础网络获取原始输入样本的显著特征信息,并基于显著特征信息完成对抗样本生成任务。本文方法主要贡献如下:1)提出利用多层次特征图进行对抗扰动构造的思想。依据卷积神经网络分类过程中所提取的不同层次特征图,选取对图像分类结果影响较大的部分特征图进行扰动修改,上采样至相同尺寸后进行融合操作,得到用于对抗样本生成的对抗扰动。2)提出一种基于特征图融合的对抗样本生成方法。基于利用多层次特征图进行对抗扰动构造的思想,构建基础网络用于提取原始输入样本的多层次特征图及其权重向量,依据权重向量进行特征图选取,并设计扰动修改方法对所
10、选特征图进行像素级的扰动修改操作,将获取的对抗扰动叠加至原始输入样本生成误导目标网络分类的对抗样本。3)与现有代表性方法不同的是,本文方法中的基础网络可由任意卷积神经网络嵌入通道注意力模块实现,显著提高了方法的普适性,且对抗样本生成过程重点关注原始输入样本的特征信息,使得生成的对抗样本具有良好的可迁移性,同时本文方法不需要目标网络的任何信息,即本方法可完全适应 NoBox 攻击环境。1 方法概述本文所提基于特征图融合的对抗样本生成方法总体思路如下。首先,基于卷积神经网络嵌入注意力模块,构建并训练基础网络;其次,根据基础网络中的卷积层与注意力模块分别获取原始输入样本的不同特征图及相应的权重向量;
11、再次,根据扰动特征图获取方法依次进行特征图选取和扰动修改操作;最后,将多张扰动特征图融合为对抗扰动,并逐像素叠加至原始输入样本以生成对抗样本。所提对抗样本生成方法的总体流程如图 1所示。2 基于特征图融合的对抗样本生成方法2.1 问题定义设(x,y)是符合自然图像数据分布 Pnature的数据集(X,Y)中的一组数据样本,其中 xX 为原始输入样本,yY 为对应的数据类别标签。对抗样本x通过对原始输入样本 x 进行像素级的扰动修改,来诱导目标网络 ftarget:XY 误分类。给定原始数据集合(X,Y)Pnature,在目标网络 ftarget的任何信息均未知的情景下(NoBox 攻击环境),
12、采用有效的对抗样本生成方法,使得目标网络误分类对抗样本,即 ftarget(x)ftarget(x)。2.2 特征图扰动修改思想随着深度学习的发展,计算机可以快速准确地识别图像中所包含的目标信息。现有基于深度第 4 期张世辉 等 基于特征图融合的对抗样本生成方法339 学习的图像分类方法中,主要采用多层卷积操作提取输入图像的特征信息,这些特征信息直接影响目标类别的分类结果,且在此过程中会生成一系列包含不同信息的特征图。其中,浅层卷积操作生成的特征图更多包含纹理与细节特征等信息,而深层卷积操作生成的特征图更多包含轮廓、形状、最强特征等影响人类视觉系统感知的全局信息。图 1 对抗样本生成方法的总体
13、流程Fig.1 The overall process of the adversarial example generation method 针对图像分类任务,对抗样本通过向原始输入样本中添加精心设计的像素级扰动,达到诱导卷积神经网络误分类的目标。结合上述关于卷积操作生成特征图的特点,本文提出对多层次特征图进行扰动修改,并用于构造对抗扰动的思想。在具有 n 个卷积层的卷积神经网络中,对多层次特征图进行扰动修改来构造对抗扰动的总体思路如图 2 所示。图 2 基于卷积神经网络的多层次特征图扰动修改示意图Fig.2 Sketch map of multi-level feature map pe
14、rturbation modification based on convolutional neural networks 由于不同卷积神经网络的下采样层大小、数量及位置均不相同,因此图 2 中并未考虑下采样层。考虑篇幅限制,图 2 对所选取的特征图进行等比例缩放。由图 2 可知,为保证生成对抗样本与原始输入样本在人类视觉系统感知上的相似程度,本文选取对图像分类结果影响较大的部分特征图执行扰动修改操作。由于卷积神经网络在提取图像特征信息的过程中,每个卷积层产生的特征图尺寸(通道数高宽)并不相同,且浅层特征图的尺寸大于深层特征图,因此需要对选取的部分特征图进行上采样操作,以便后续特征图融合操作
15、的执行。2.3 基础网络的构建由上述关于特征图扰动修改思想的阐述可知,在对特征图执行扰动修改和融合操作之前,需要提取输入图像的不同层次特征图,且卷积神经网络可以根据所提取的特征图对输入图像正确分类。由于不同卷积神经网络的卷积层和下采样层的数量并不相同,因此对于输入图像的特征图提取也会因网络结构的不同而存在差异。在图像分类任务中,常用的卷积神经网络包括 VGGNet19、GoogLeNet20、ResNet21和 AlexNet22等,其 中ResNet 有效解决了网络性能随网络层数增加而退化的问题,使其在图像分类任务中得到广泛应用。为了体现所提对抗样本生成方法的普适性,也为了便于与现有代表性方
16、法进行实验对比,因此本文选取 ResNet 用于构建基础网络。为了实现生成对抗样本的扰动不可感知效果,本文在 ResNet 的各个卷积层之后嵌入通道注意力模块,从而构造用于提取多层次特征图及其权重向量的基础网络。其中,通道注意力模块对卷积层生成的多层次特征图进行权重分配操作,而高权重特征图包含更多影响卷积神经网络分类340 燕山大学学报2023的特征信息,从而仅对高权重特征图进行扰动修改。综上所述,本文所设计的基础网络如图 3所示。图 3 基础网络Fig.3 Basic network 由图 3 可知,基础网络由 ResNet 嵌入通道注意力模块得到。通道注意力模块可以对卷积层所生成的多层特征
17、图执行权重分配操作,且后续卷积层会对加权后的多层特征图执行卷积操作。在实际训练过程中,通道注意力模块可以有效地提升 ResNet 对于原始输入样本的分类准确率。同时,通道注意力模块的加入不需要额外的损失函数对其进行指导训练,即基础网络的训练过程为argmin(f(x),y;),(1)其中,为基础网络 f 的参数,为参数最优值。2.4 扰动特征图的获取对基础网络中各卷积层所提取的特征图依次执行特征图选取操作和特征图扰动修改操作,即可得到用于构造对抗扰动的扰动特征图。2.4.1 特征图选取现有对抗样本生成方法多数需要对原始输入样本的所有特征图进行扰动添加操作,造成对抗样本生成时间过长。根据对抗扰动
18、的可视化图像可知,对抗扰动的添加区域集中在图像的显著特征区域,即人类视觉关注的重要局部区域。鉴于通道注意力模块可以突出图像中的显著信息,且对于无用信息能够起到一定的抑制作用,因此所提对抗样本生成方法依据基础网络中所嵌入的通道注意力模块选取对分类结果影响较大的部分特征图,避免对全体特征图进行扰动修改操作。同时通道注意力模块的引入可限制扰动修改区域,有效减少扰动修改量,有利于生成具有良好视觉感知效果的对抗样本。本文通过基础网络的卷积层和通道注意力模块分别获取原始输入样本的各层特征图及相应的权重向量,具体操作流程如图 4 所示。其中,特征图和权重向量用于特征图扰动修改操作,加权特征图则用于基础网络的
19、后续卷积操作。图 4 获取特征图及权重向量的操作流程Fig.4 Operation process of obtaining feature maps and weight vectors 由图 4 可知,特征图可以直接通过卷积层获取,而权重向量需要执行两个计算操作得到。首先使用全局平均池化操作得到每张特征图的全局信息,计算公式为Zc=1H WHh=1Ww=1Fc(h,w),(2)其中,c=1,2,C,Zc代表第 c 张特征图的全局信息,H、W 和 C 分别为通道注意力模块输入特征图的高度、宽度和通道数,Fc(h,w)为第 c 张特征图中坐标为(h,w)的像素点值。然后,将式(2)所获取的不同
20、层次的全局信息值整合为全局信息向量 Z=Z1,Z2,ZC,并通过相应操作得到输入特征图的权重向量,具体计算公式为S=(W1(W0Z),(3)其中,SRC11为经过通道注意力模块计算所得第 4 期张世辉 等 基于特征图融合的对抗样本生成方法341 输入特征图的权重向量,()为 Sigmoid 函数,()为 ReLU 函数,W0RCtC和W1RCCt分别表示两层全连接层的权重系数,t 为降维系数。得到各卷积层生成特征图的权重向量 S 后,利用排序算法对权重向量中各值进行排序,使用其中权重较高的特征图作为待扰动特征图。选取待扰动特征图的计算公式为M=TOP(IS,F,k),(4)其中,M 为待扰动特
21、征图,IS为权重向量 S 排序后所返回的特征图索引序列,F 为卷积层所生成的特征图,TOP 函数依据索引序列 IS中前 k 位的索引值,选取卷积层生成特征图 F 中相同索引位置的特征图,即权重值最高的 k 张特征图。对于基础网络中各卷积层生成的特征图均执行上述选取操作,即可得到不同尺寸的待扰动特征图。2.4.2 特征图扰动修改卷积神经网络通过卷积层提取原始输入样本中的特征信息用于类别分类,而具有较高权重的特征图可以代表更为重要的特征信息。因此,对已选特征图进行扰动修改可以有效模糊卷积神经网络分类所需的特征信息,从而诱导卷积神经网络误分类。为生成高质量对抗样本,本文设计了一种特征图扰动修改方法,
22、旨在通过较小的扰动修改改变特征图所包含的重要特征信息。鉴于特征图高亮区域包含显著特征信息,该区域所对应的像素点值也相应较大,故本文方法通过修改特征图中较大像素点值来模糊特征图中所包含的特征信息。具体地,以单张特征图为例,通过对待扰动特征图中各像素点值进行排序操作,并返回对应的像素点索引序列,依据索引序列对前 l 个较大像素点值进行扰动修改,达到对单张特征图扰动修改的目的。单张特征图Mi中像素点索引序列的计算公式为IMi=sort(Mi),(5)其中,i=1,2,k。通过像素点索引序列在单张特征图Mi中定位到前 l 个最大值像素点位置,进一步对其执行扰动修改操作。为有效模糊特征图中所包含的特征信
23、息,本文方法将扰动区域内的像素点值均置为相反数,且对于特征图中非扰动区域内的像素点值均置为 0,即原始输入图像中的非感兴趣区域不作扰动修改。所有待扰动特征图执行上述扰动修改操作,即可得到相应的仅保留感兴趣区域信息的扰动特征图。2.5 对抗样本的生成由于基础网络中具有不同程度的下采样操作,所提取特征图的尺寸也均不相同,因此需要对扰动特征图进行相应的上采样操作至相同尺寸,并进一步通过融合操作得到最终用于生成对抗样本的对抗扰动 r。为保证对抗样本与原始输入样本之间的视觉感知效果,本文方法引入缩放因子 0,1 用于限制对抗扰动添加量。最终,将对抗扰动 r 逐像素叠加至原始输入样本 x 中,即可得到高迁
24、移性的对抗样本x,用于攻击未知的目标网络 ftarget,如式x=r+x。(6)3 实验结果及分析3.1 实验基本设置3.1.1 实验环境及数据集实验硬件环境为 Intel Xeon Gold-5118 2.30 GHz(CPU)、NVIDIA RTX 2080 Ti(GPU);软件环境为 Ubuntu 14.04.5 LTS、CUDA 10.0、Python 3.8.0 和 PyTorch 1.6.0。不失一般性,本文使用对抗样本生成领域常用的 CIFAR-1023和 MNIST24作为实验数据集。其中,CIFAR-10 为彩色图像数据集,包含飞机、汽车、鸟、猫等 10 类生活中常见的 60
25、 000 张 3232的彩色图像,其中训练样本 50 000 张,测试样本10 000 张。MNIST 为手写数字数据集,包含 10 类共 70 000 张 2828 的手写数字图像,其中训练样本 60 000 张,测试样本 100 00 张。3.1.2 评价指标为验证所提对抗样本生成方法的有效性,本文采用攻击成功率(Attack Success Rate,ASR)评估对抗样本生成方法对于目标网络的误导能力,采用 L2范数评估对抗样本的图像质量。为评估对抗样本生成方法在不同目标网络中攻击成功率342 燕山大学学报2023的稳定程度,引入方差 s2作为评价指标。所述三项评价指标具体定义为ASR=
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 特征 融合 对抗 样本 生成 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。