针对图像识别的一种分步对抗防御方法研究_徐茹枝.pdf
《针对图像识别的一种分步对抗防御方法研究_徐茹枝.pdf》由会员分享,可在线阅读,更多相关《针对图像识别的一种分步对抗防御方法研究_徐茹枝.pdf(10页珍藏版)》请在咨信网上搜索。
1、 针对图像识别的一种分步对抗防御方法研究*徐茹枝1,王 硕1,龙 燕2,宗启灼1(1.华北电力大学控制与计算机工程学院,北京 1 0 2 2 0 6:2.国家电投集团数字科技有限公司,北京 1 0 2 2 0 0)摘 要:随着深度学习技术的不断发展,其在图像识别领域的应用也取得了巨大突破,但对抗样本的存在严重威胁了模型自身的安全性。因此,研究有效的对抗防御方法,提高模型的鲁棒性,具有深刻的现实意义。为此,基于快速生成对抗样本和保持样本预测结果相似性之间的博弈,提出了一种分步防御方法。首先,对通用样本进行随机数据增强,以提高样本多样性;然后,生成差异性对抗样本和相似性对抗样本,增加对抗训练中对抗
2、样本的种类,提高对抗样本的质量;最后,重新定义损失函数用于对抗训练。实验结果表明,在面对多种对抗样本的攻击时,分步防御方法表现出了更优的迁移性和鲁棒性。关键词:图像增强;对抗训练;分步防御;深度学习中图分类号:T P 3 9 1.4 1文献标志码:Ad o i:1 0.3 9 6 9/j.i s s n.1 0 0 7-1 3 0 X.2 0 2 3.0 6.0 0 9R e s e a r c h o n a s t e p-b y-s t e p a d v e r s a r i a l d e f e n s e m e t h o d f o r i m a g e r e c o
3、g n i t i o nXU R u-z h i1,WANG S h u o1,L ONG Y a n2,Z ONG Q i-z h u o1(1.S c h o o l o f C o n t r o l a n d C o m p u t e r E n g i n e e r i n g,N o r t h C h i n a E l e c t r i c P o w e r U n i v e r s i t y,B e i j i n g 1 0 2 2 0 6;2.S t a t e P o w e r I n v e s t m e n t C o r p o r a t i
4、 o n D i g i t a l T e c h n o l o g y C o.,L t d.,B e i j i n g 1 0 2 2 0 0,C h i n a)A b s t r a c t:A t p r e s e n t,w i t h t h e c o n t i n u o u s d e v e l o p m e n t o f d e e p l e a r n i n g t e c h n o l o g y,i t s a p p l i c a t i o n i n t h e f i e l d o f i m a g e r e c o g n i
5、 t i o n h a s a l s o m a d e a g r e a t b r e a k t h r o u g h.H o w e v e r,t h e e x i s t e n c e o f a d v e r-s a r i a l s a m p l e s s e r i o u s l y t h r e a t e n s t h e s e c u r i t y o f t h e m o d e l i t s e l f.T h e r e f o r e,i t i s o f p r o f o u n d p r a c t i c a l s
6、 i g n i f i c a n c e t o s t u d y e f f e c t i v e a d v e r s a r i a l d e f e n s e m e t h o d s a n d i m p r o v e t h e r o b u s t n e s s o f t h e m o d e l.T h e r e f o r e,b a s e d o n t h e g a m e b e t w e e n q u i c k l y g e n e r a t i n g a d v e r s a r i a l s a m p l e s
7、 a n d m a i n t a i n i n g t h e s i m i-l a r i t y o f s a m p l e p r e d i c t i o n r e s u l t s,a s t e p-b y-s t e p a d v e r s a r i a l d e f e n s e m e t h o d i s p r o p o s e d.T h e m e t h o d f i r s t p e r f o r m s r a n d o m d a t a e n h a n c e m e n t o n t h e c o mm o
8、n s a m p l e s t o i m p r o v e t h e s a m p l e d i v e r s i t y.S e c o n d l y,i t g e n e r a t e s t h e d i f f e r e n c e a d v e r s a r i a l s a m p l e s a n d t h e s i m i l a r i t y a d v e r s a r i a l s a m p l e s,s o a s t o i m p r o v e t h e v a r i e t y a n d q u a l i
9、t y o f t h e a d v e r s a r i a l s a m p l e s i n t h e a d v e r s a r i a l t r a i n i n g.F i n a l l y,t h e l o s s f u n c t i o n i s r e d e f i n e d f o r a d v e r s a r i a l t r a i n i n g.F i n a l l y,e x p e r i m e n t a l v e r i f i c a t i o n s h o w s t h a t t h e a l g
10、o r i t h m h a s b e t t e r m o b i l i t y a n d r o b u s t n e s s i n t h e f a c e o f m u l t i p l e a t t a c k s a g a i n s t t h e s a m p l e.K e y w o r d s:i m a g e e n h a n c e m e n t;a d v e r s a r i a l t r a i n i n g;s t e p-b y-s t e p d e f e n s e;d e e p l e a r n i n g1
11、 引言在大数据时代背景下,深度学习理论和技术取得了突破性进展,为人工智能数据和算法层面提供了强有力的支撑1。早在2 0 1 2年的I m a g e N e t大规模视觉识别挑战赛中,深度学习就已经展现出强大的处理能力2。随着其不断发展,训练模型的结*收稿日期:2 0 2 2-0 7-2 0;修回日期:2 0 2 2-0 9-0 9基金项目:国家自然科学基金(6 1 9 7 2 1 4 8)通信作者:王硕(1 2 0 2 1 2 2 2 7 0 9 7n c e p u.e d u.c n)通信地址:1 0 2 2 0 6 北京市昌平区华北电力大学控制与计算机工程学院A d d r e s s
12、:S c h o o l o f C o n t r o l a n d C o m p u t e r E n g i n e e r i n g,N o r t h C h i n a E l e c t r i c P o w e r U n i v e r s i t y,C h a n g p i n g D i s t r i c t,B e i j i n g 1 0 2 2 0 6,P.R.C h i n a C N 4 3-1 2 5 8/T PI S S N 1 0 0 7-1 3 0 X 计算机工程与科学C o m p u t e r E n g i n e e r i
13、n g&S c i e n c e第4 5卷第6期2 0 2 3年6月 V o l.4 5,N o.6,J u n.2 0 2 3 文章编号:1 0 0 7-1 3 0 X(2 0 2 3)0 6-1 0 2 0-1 0构越来越复杂3,训练时间不断减少,总体性能也在不断提升。其中,图像识别技术已经在导航、自然资源分析、生物医学、人脸识别及智能机器人等众多领域得到了广泛应用。但是,由于对抗样本的存在,深度学习模型在其应 用 领 域 的 安 全 性 也 受 到 了 严 重 的 威 胁。S z e g e d y等人4首先向图像分类问题中的数据集添加细小扰动生成对抗样本,成功地以高置信度欺骗 了 深
14、 度 神 经 网 络D NN s(D e e p N e u r a l N e t-w o r k s)。同时有研究表明,还存在利用面部识别系统F R S(F a c e R e c o g n i t i o n S y s t e m)的漏洞进行非法身份认证的危害,也有涉及医疗数据、人物图像数据的隐私窃取危害,更有针对自动驾驶汽车、语音操控系统的恶意控制危害5。因此,如何提高深度学习模型的鲁棒性,成为了研究人员关注的重点。在已有的对抗防御方法中,对抗训练和数据增强是相对有效的方法。对抗训练将原始样本和对抗样本同时作为深度学习模型的训练数据集,通过训练不断优化模型参数,进而提高模型的鲁棒性
15、。但是,利用单一的对抗样本进行训练,所得到的模型在防御多种对抗攻击时表现并不出色,因此训练中对抗样本的选择变得十分关键。而数据增强能够通过翻转、添加噪声等操作增加训练样本的多样性,或根据现有数据生成新的样本进行数据集扩充、数据质量的增强,进而利用数据增强后的样本训练模型,以达到提升模型的稳健性、泛化能力的效果6。但是,单一地使用数据增强方法进行对抗防御,其效果并不佳。除此之外,大多数对抗防御验证实验所使用的数据集为通用数据集,其相比于真实世界的图像,缺少了随机噪声、概率遮挡等问题,缺乏一定的现实性。针对以上问题,本文主要工作包括以下3个方面:(1)提出随机数据增强方法,利用概率随机函数向原始样
16、本加入噪声或进行仿射变换,使之更加贴近现实场景,提高了通用样本数据集的多样性。(2)利用复用梯度算法及交叉熵损失函数分步生成差异性对抗样本和相似性对抗样本,增加了对抗训练中对抗样本的种类,优化了模型的决策边界。(3)分步构造不同对抗样本的损失函数,并基于4种卷积神经网络模型进行对抗训练,优化模型参数使损失函数最小化。最终实验结果表明,针对不同对抗样本的攻击,分步防御方法具有更好的迁移性和鲁棒性。2 相关工作2.1 图像数据增强图像数据增强是指在有限的图像数据集基础上,利用传统的图像处理方法或机器学习算法,来挖掘图像背后的价值信息,使图像价值最大化。图像数据增强方法的分类如图1所示。F i g
17、u r e 1 C l a s s i f i c a t i o n o f i m a g e d a t a e n h a n c e m e n t m e t h o d s图1 图像数据增强方法分类其中,传统的图像处理方法是对图像本身执行包括仿射变换、色彩转换及像素更改在内的操作;而基于机器学习的算法对图像进行数据增强,是指利用生成对抗网络GAN(G e n e r a t i v e A d v e r s a r i a l N e t w o r k s)或自动编码算法对原始样本进行图像增强。仿射变换包括图像翻转、缩放、边缘填充和平移等操作。色彩转 换是指 将 图 像 在R
18、 G B(R e d-G r e e n-B l u e)、H S V(H u e-S a t u r a t i o n-V a l u e)、L A B(c i e L A B)等不同的色彩空间上进行转换,以不同的方式对每个分量进行加权6,最终实现图像数据增强的一种方法。L u等人7提出了用于人脸识别任务的颜色空间框架和L u C 1 C 2颜色空间。图2为图像经过数据增强后的效果。F i g u r e 2 E n h a n c e d p i c t u r e s a f t e r u s i n g L u C 1 C 2 c o l o r s p a c e 图2 L u
19、C 1 C 2颜色空间增强后的图像效果像素更改包括添加噪声、模糊和数据融合等操作。常见的噪声有椒盐噪声、高斯噪声等。图像模糊是一种对原始图像的卷积操作,对像素进行平滑处理,达到模糊图像的效果。图像融合则是通过取2幅图像像素值的平均值,或随机裁剪图像后将裁剪后的图像拼接在一起形成新图像来融合2幅图像。图3为E RM(Em p i r i c a l R i s k M i n i m i z a t i o n)和M I XU P82种融合方法的效果图。1201徐茹枝等:针对图像识别的一种分步对抗防御方法研究F i g u r e 3 C o m p a r i s o n o f i m a
20、g e s o f E RM a n d M I X U P m e t h o d s图3 E RM和M I XU P 2种方法图像效果对比2.2 复用梯度算法已知的黑盒攻击主要有基于迁移9和基于访问1 02种攻击方法。黑盒攻击的主要特点是无法得知被攻击模型的详细信息。C h e n等人1 0采用零阶优化Z OO(Z e r o c h-O r d e r O p t i m i z a t i o n)算法来估计损失函数的梯度,但该算法需要对每个像素点进行多次迭代,并进行大量的查询,攻击效率低。复用梯度算法解决了这一问题。复用梯度算法可以减少生成对抗样本所需要的迭代次数,其目标就是得到一种
21、合适的优化策略,以获取目标损失函数的最优梯度方向。而优化的本质就是通过计算得到目标函数的极值点,在此所求的极值点即为损失函数的梯度值。复用梯度算法的提出得益于冲量优化1 1及文献1 2 中指出的平移优化1 2的启发。其核心思想为,在计算当代扰动时,对上代、当代及下代3代梯度值进行加权计算。算法流程图如图4所示。F i g u r e 4 F l o w c h a r t o f m u l t i p l e x i n g g r a d i e n t a l g o r i t h m 图4 复用梯度算法流程图图4中,gt为当代梯度;gt-1为迭代过程中的上代梯度;g t为下代估计梯度
22、;,为加权的超参数,并且满足(+)1。在对以上3个梯度进行加权后,得到生成当前扰动的梯度值gt+1。迭代计算公式如式(1)所示:gt+1=gt-1+gt+1-()x*t J x*t+s i g ngt(),y()x*t J x*t+s i g ngt(),y()(1)其中,x*t为迭代第t次的样本;y为原始样本的预测标签;为步长且为一个常数,通过控制的大小来进一步降低迭代次数。和为加权的超参数,并且满足(+)1。相比 于 已 有 的F G S M(F a s t G r a d i e n t S i g n M e t h o d)1 3、M I-F G S M(M o m e n t u
23、m I t e r a t i v e F a s t G r a d i e n t S i g n M e t h o d)1 1、NAG-F G S M(N e s t e r o v A c c e l e r a t e d G r a d i e n t F a s t G r a d i e n t S i g n M e t h-o d)1 2算法,复用梯度算法不仅利用上代梯度的动量惯性加快梯度的收敛速度,同时还推算了下代梯度方向,减少了当前方向对下代梯度方向的影响,发挥了预先调整作用。该算法可以有效减少对抗样本生成的迭代次数。2.3 对抗训练对抗训练(A d v e r s
24、a r i a l T r a i n i n g)是训练模型区分样本是真实样本还是对抗样本的过程,是提高深度学习模型鲁棒性的一种重要方法1 4。整个过程也可以理解为对模型参数进行正则化,从而降低对扰动的敏感度。对抗训练过程如图5所示,将对抗样本加入训练模型进行迭代优化,最终得到鲁棒性模型。F i g u r e 5 P r o c e s s o f a d v e r s a r i a l t r a i n i n g 图5 对抗训练过程M a d r y等人1 5提出了一种更为直观的解释。如图6 a所示,在人眼可分辨的范围内,线两侧的样本点之间已经划分清楚。对于神经网络模型来说,样本
25、点是一个范数的领域。如图6 b所示,每一个样本点都有一个二维的领域范围,但已有的边界范围并不能做到细致地区分,对抗训练就相当于向样本数据集中加入“五角星”的样本,以纠正决策边界的决策错误。经过对抗训练后的鲁棒性模型,如图6 c所示,对所有的样本数据添加不超过这个领域范围的扰动均可以被正确分类。F i g u r e 6 O p t i m i z a t i o n o f d e c i s i o n b o u n d a r y图6 决策边界的优化从梯度图的角度来看,对抗训练更多的是学习物体结构特征,而不是纹理的细节特征,图7为经过对抗训练可解释性的梯度图。3 分步对抗防御方法针对图像
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 针对 图像 识别 一种 分步 对抗 防御 方法 研究 徐茹枝
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。