基于信息瓶颈的深度学习模型鲁棒性增强方法.pdf
《基于信息瓶颈的深度学习模型鲁棒性增强方法.pdf》由会员分享,可在线阅读,更多相关《基于信息瓶颈的深度学习模型鲁棒性增强方法.pdf(8页珍藏版)》请在咨信网上搜索。
1、基于信息瓶颈的深度学习模型鲁棒性增强方法董庆宽何浚霖*(西安电子科技大学综合业务网国家重点实验室西安710071)摘要:作为深度学习技术的核心算法,深度神经网络容易对添加了微小扰动的对抗样本产生错误的判断,这种情况的出现对深度学习模型的安全性带来了新的挑战。深度学习模型对对抗样本的抵抗能力被称为鲁棒性,为了进一步提升经过对抗训练算法训练的模型的鲁棒性,该文提出一种基于信息瓶颈的深度学习模型对抗训练算法。其中,信息瓶颈以信息论为基础,描述了深度学习的过程,使深度学习模型能够更快地收敛。所提算法使用信息瓶颈理论提出的优化目标推导出的结论,将模型中输入到线性分类层的张量加入损失函数,通过样本交叉训练
2、的方式将干净样本与对抗样本输入模型时得到的高层特征对齐,使模型在训练过程中能够更好地学习输入样本与其真实标签的关系,最终对对抗样本具有良好的鲁棒性。实验结果表明,所提算法对多种对抗攻击均具有良好的鲁棒性,并且在不同的数据集与模型中具有泛化能力。关键词:深度学习;对抗训练;信息瓶颈;对抗样本;鲁棒性中图分类号:TP18文献标识码:A文章编号:1009-5896(2023)06-2197-08DOI:10.11999/JEIT220603Robustness Enhancement Method of Deep Learning ModelBased on Information Bottlene
3、ckDONGQingkuanHEJunlin(State Key Laboratory of Integrated Service Networks,Xidian University,Xian 710071,China)Abstract:Asthecorealgorithmofdeeplearningtechnology,deepneuralnetworkiseasytomakewrongjudgmentontheadversarialexampleswithimperceptiveperturbation.Thissituationbringsnewchallengestothesecur
4、ityofdeeplearningmodel.Theresistanceofdeeplearningmodeltoadversarialexamplesiscalledrobustness.Inordertoimprovetherobustnessofthemodeltrainedbyadversarialtrainingalgorithm,anadversarialtrainingalgorithmofdeeplearningmodelbasedoninformationbottleneckisproposed.Amongthis,informationbottleneckdescribes
5、theprocessofdeeplearningbasedoninformationtheory,sothatthedeeplearningmodelcanconvergefaster.Theproposedalgorithmusestheconclusionsderivedfromtheoptimizationobjectiveproposedbasedontheinformationbottlenecktheory,addsthetensorinputtothelinearclassificationlayerinthemodeltothelossfunction,andalignsthe
6、cleansampleswiththehigh-levelfeaturesobtainedwhentheadversarialsamplesareinputtothemodelbymeansofsamplecross-training,sothatthemodelcanbetterlearntherelationshipbetweentheinputsamplesandtheirtruelabelsduringthetrainingprocessandfinallyhasgoodrobustnesstotheadversarialsamples.Experimentalresultsshowt
7、hattheproposedalgorithmhasgoodrobustnesstoavarietyofadversarialattacks,andhasgeneralizationabilityindifferentdatasetsandmodels.Key words:Deeplearning;Adversarialtraining;Informationbottleneck;Adversarialexample;Robustness1 引言随着深度学习的发展,生活中越来越多的地方开始将各种技术与深度学习相结合,在自然语言处理、机器视觉等多个领域中取得了令人瞩目的成果。但深度学习模型实际上
8、相当脆弱,当输入被添加了人眼无法分辨的微小的扰动时,会导致模型产生高置信度的误判。这种含有微小扰动且能干扰模型正常工作的输入被称为对抗样本。自从Szegedy等人1提出对抗样本的概念后,多种对抗攻击与对抗防御算法被提出。在图像分类方面,常见的攻击算法有基于反向梯度的FGSM(FastGradientSignMethod)2、被证明是最强1阶攻击收稿日期:2022-05-12;改回日期:2022-10-13;网络出版:2022-10-20*通信作者:何浚霖基金项目:陕西省自然科学基础研究计划(2020JM-184)FoundationItem:TheScienceBasicResearchPla
9、ninShaanxiProvinceofChina(2020JM-184)第45卷第6期电子与信息学报Vol.45No.62023年6月JournalofElectronics&InformationTechnologyJun.2023的PGD(ProjectGradientDescent)3,基于超平面分类的DeepFool4以及基于优化的C&W(CarliniandWagnerAttacks)5。这些算法被认为是训练鲁棒性网络的有效手段,并且被广泛用于评判深度学习模型的鲁棒性。对抗防御算法通常通过使用更大的训练集、修改模型结构、修改损失函数等方法来提升模型的鲁棒性。这些防御算法大致可以分为
10、对抗训练算法3,612和图像预处理算法1317两大类。图像预处理算法将对抗样本中的扰动看作噪声,通过对输入图像去噪的方式来防御对抗攻击。但是在去除输入样本中的噪声时,容易将样本中包含的信息也一同去除,会使模型对干净样本的正确率大幅下降。对抗训练使用梯度攻击算法获得对抗样本,使用干净样本与对抗样本一同训练模型,使训练的模型拥有更好的鲁棒性,是目前最常用的方法,也是目前最优秀的对抗防御方法之一。但该类算法的训练过程耗时较长,模型收敛较慢,同时因为训练时同时使用干净样本与对抗样本,模型对干净样本的正确率也会产生一定幅度的下降。Tishby等人1820于1999年以信息论为基础首次提出信息瓶颈方法,给
11、出了优化问题的数学定义和迭代算法,并且证明了算法的收敛性,指出深度神经网络的实质是对信息的压缩。并且尝试使用信息瓶颈理论对深度学习网络的特征拟合与特征压缩这两个阶段进行解释。Kolchinsky等人21与Alemi等人22类似,通过在网络中添加VAE编码器结构来实现信息瓶颈理论,仅使用干净样本来训练模型来增强模型的鲁棒性。他们的工作将信息瓶颈理论提出的优化目标推广到了包括离散域与连续域的更一般的领域,为本文将信息瓶颈引入对抗训练提供了理论推导基础。为了进一步提升对抗训练的鲁棒性,本文提出一种基于信息瓶颈理论的对抗训练防御算法,主要贡献如下:(1)将信息瓶颈理论引入了对抗训练,使深度学习模型能够
12、更好地学习输入数据与真实标签之间的关系,将对抗样本的高层特征向干净样本的高层特征对齐,从而提升深度学习模型的鲁棒性。(2)在多个数据集与深度学习模型中对算法进行了仿真,展示了算法在不同对抗攻击、不同深度学习模型以及不同的数据集中都具有良好的防御性能与泛化性能。2 相关工作对抗训练作为最常用的方法,无需修改模型f(xi,yi)L的结构,只需要将对抗样本加入训练集,就能够使训练的模型拥有更好的鲁棒性。给定由 参数化的网络,数据集,损失函数,扰动值 与扰动的限制范围 对抗训练通常可以看作以下的优化问题。minimaxL(f(xi+),yi)(1)对抗训练利用对抗攻击使模型获得内部最大化,同时使用梯度
13、下降法对模型进行训练,使模型获得外部最小化,这正是Madry等人3提出的min-max优化框架。为了能够更好地获得内部最大化,多种对抗攻击算法被提出。f(x,y)xf(x,y)FGSM算法2是最早来近似内部最大化的方法,能够使用较少的时间使深度学习模型获得鲁棒性,算法的公式化呈现为式(2)。给定由 参数化的网络,数据集,即可算出当前输入的梯度。将梯度用符号函数sign()与扰动范围 限制后,就得到了最终的扰动。将扰动与输入叠加就能够获得对抗样本,使深度学习模型作出错误的判断。=sign(xf(x,y)(2)使用FGSM算法进行对抗训练所获得的深度学习模型仅对FGSM算法本身生成的样本有良好的鲁
14、棒性,原因是FGSM算法只迭代了1次,获得的梯度并不是准确的,因而PGD算法3在FGSM算法的基础上对扰动进行N次迭代,每次迭代都将获得的扰动限制在指定的范围内,算法的公式化呈现为式(3)。这种方式能够获得更贴近于模型的梯度,因而获得的扰动也更有效,进一步提升了深度学习模型的鲁棒性。因为使用PGD进行对抗训练的每次训练都需要经过N次迭代,因此耗时将会是普通训练的N倍。xn+1=clip(xn+sign(xf(x,y)(3)为了避免PGD算法带来的大量资源消耗,Fast-AT算法6对FGSM算法进行了改进,为FGSM算法在开始前添加非零的随机初始化步骤,并在最后将扰动限制在指定范围内,算法的公式
15、化呈现为式(4)。无论随机初始化步骤将为扰动带来什么样的值,这一操作都能够使FGSM在不牺牲速度的情况下拥有比肩使用PGD进行对抗训练的性能。=clip(random(,)+sign(xf(x,y)(4)在监督学习中,信息瓶颈将深度学习模型的训练过程表述为最大化地压缩输入,并且保留关于标签的信息。信息瓶颈理论使用互信息来衡量输出中含有的输入信息,将深度学习模型的训练过程看作最小化隐藏变量与输入数据之间的互信息,并最大2198电子与信息学报第45卷化隐藏变量与输出数据的互信息的过程。Alemi等人22将马尔可夫过程引入信息瓶颈,并使用变分推理构造优化目标的下界后,使深度学习网络在训练时能够更快地
16、收敛,同时使输入更难通过信息瓶颈传递细小、特殊的扰动,从而使模型对对抗输入更具鲁棒性。该方法在深度学习模型中加入了新的结构,改变了模型的结构,不能简单地进行部署。本文提出的算法将信息瓶颈引入了对抗训练中,能够在不对深度学习模型进行修改的前提下,在输入干净样本时正确率仅产生小幅下降,同时大幅提升模型对其他对抗攻击的鲁棒性。3 基于信息瓶颈的模型鲁棒性增强方法深度神经网络通常由前方的特征提取层与后方的线性分类层组成,通常能够将线性分类层的输入看作深度神经网络将输入通过特征提取层后获得的高层特征。高层特征确定了深度神经网络最终将输入样本分为哪一类,如图1。x xL=I(z,y;)I(z,x;)信息瓶
17、颈理论将深度神经网络的高层特征看作信息瓶颈,高层特征应该尽可能地保留与其对应的真实标签有关的信息,并遗忘其他无关的信息。因此,将深度神经网络中的高层特征抽象为隐藏变量z,记网络参数为,输入的对抗样本为,因而需要使隐藏变量z与网络输出y的互信息最大,使隐藏变量z与网络输入 的互信息最小,即最大化目标函数。下面将从由目标函数推导至损失函数与算法的实际应用两个方面来讲述。3.1 训练优化的目标函数推导L=I(z,y;)I(z,x;)首先通过信息瓶颈理论提出的目标函数推导至损失函数,因为整个过程未改变网络结构且都在同一个网络中完成,下面的推导将省略网络参数,公式变量对照如表1。I(z,y)I(z,y)
18、首先来推导的下界。由互信息的定义,可以得到隐藏变量z与网络输出y之间的互信息。I(z,y)=H(p(y)H(p(y|z)(5)H(p(y)p(y)q(y)其中,是变量y的熵,为网络输出y的边缘概率分布。算法的目的是希望对抗样本经由目标网络后获得的高层特征与干净样本经由目标网络后获得的高层特征尽可能相似,从而使目标网络在不同的情况下都能给出正确的输出。因而在此引入与输入样本相对应真实标签的边缘分布概率。p(y|z)q(y)当与相同时,目标网络就能够在输入是对抗样本时获得与输入是干净样本相同的输出。对于两个概率分布,本文在这里使用KL散度来衡量二者之间的差距。KLp(y|z)|q(y)0(6)且交
19、叉熵CEp(y)|q(y)=H(p(y)+KLp(y)|q(y)(7)因而有I(z,y)H(p(y)H(p(y|z)KLp(y|z)|q(y)=H(p(y)CEp(y|z)|q(y)(8)H(p(y)I(z,y)I(z,x)其中,与网络参数无关,仅与真实标签相关,因此是常数,与优化过程无关。由式(4)确定了隐藏变量z与输出y的互信息的下界,下面将推导的上界。p(z)为输入对抗样本时隐藏变量的边缘分布,设q(z)为输入干净样本时隐藏变量的边缘分布I(z,x)=p(x,z)lnp(z|x)p(z)dzd x=p(x,z)lnp(z|x)dzd xp(x,z)lnp(z)dzd x=p(x,z)ln
20、p(z|x)dzd xp(z)lnp(z)dz(9)KLp(z)|q(z)0p(z)lnp(z)dz p(z)lnq(z)dz由KL散度的非负性,有则I(z,x)p(x,z)lnp(z|x)dzd xp(z)lnq(z)dzd x=p(x,z)lnp(z|x)q(z)dzd x=p(x)p(z|x)lnp(z|x)q(z)dzd x=p(x)KLp(z|x)|q(z)d x(10)图1深度神经网络示意图表 1 公式变量对照表公式变量名称公式变量名称L目标函数p()边缘概率分布 x 对抗样本q()边缘概率分布y 网络输出 信息瓶颈通过率z 隐藏变量H()熵I()互信息KL()KL散度LIB损失函
21、数CE()交叉熵第6期董庆宽等:基于信息瓶颈的深度学习模型鲁棒性增强方法2199p(x)KLp(z|x)|q(z)d xI(z,x)可得是的上界。L=I(z,y;)I(z,x;)将上述推导的下界和上界分别代入目标函数,得其下界I(z,y)I(z,x)CE(p(y|z)|q(y)p(x)p(z|x)lnp(z|x)q(z)dzd x+H(p(y)(11)可以看到式(11)确定了需要最大化的目标函数的下界,因此只需要将下界最大化就可以优化目标函数。CE(p(y|z)|q(y)p(x)p(z|x)lnp(z|x)q(z)dzd x=L记。H(p(y)LL因为仅与真实标签相关,与网络参数无关。因此在仿
22、真过程中,可以通过最大化 来使目标函数最大化。在仿真中需要对下界进行估算,使用经验概率分布p(x)=1NNn=1 xn(x)(12)L将式(8)代入 可以得到L CEp(y|z)|q(y)1NNn=1p(z|xn)lnp(z|xn)q(z)dz(13)L对 添加一个负号,就能够将最大化转为最小化。LIB=CEp(y|z)|q(y)+1NNn=1KLp(z|xn)|q(z)(14)CEp(y|z)|q(y)其中,表示对抗样本进入模型后的交叉熵,这部分可以看作正常训练损失函数。KLp(z|xn)|q(z)p(z|xn)q(z)102是模型中由高层特征获得的后验分布与先验分布之间的KL散度,控制了信
23、息通过瓶颈的多少,随使用的数据集进行调整。Shamir等人23,Still等人24,Alemi等人22对 的取值进行了相关研究,通常。KLp(z|xn)|q(z)与正常训练损失函数相比,这一部分的增加使模型能够在训练过程中,以对齐模型的高层特征的方法使模型在面对对抗样本时能够获得与干净样本相似的高层特征,从而做出正确的判断。3.2 基于信息瓶颈的深度学习防御模型训练方法基于上述算法推导,本文提出一个基于信息瓶颈的防御模型,包含3部分:目标模型、样本交叉训练与特征对齐。目标模型可以是目前使用的任意图像分类模型。样本交叉训练可以让目标模型保持在干净样本下的正确率,同时也能更好地学习样本间的联系。特
24、征对齐是使用基于信息瓶颈理论推导而来的结论,能够使目标模型更好地学习输入样本与真实标签之间的关系,使模型的高层特征对齐,不容易被微小的扰动干扰。q(z)p(z|xn)p(y|z)图2展示了整个算法的流程。首先使用干净样本训练一个高正确率的模型,记为DNN0,同时将目标模型记为DNN1。将干净样本输入DNN0,从模型中输入线性分类层中取得此时的高层特征。然后使用Fast-AT算法生成对抗样本,将对抗样本输入DNN1,从模型中输入线性分类层中取得此时的高层特征与输出。q(y)将以上取得的数据与真实标签一同代入式(10)作为损失函数来更新模型的参数。同样地,将干净样本输入DNN1进行1次如上过程的模
25、型参数更新,最后获得的模型DNN1就是所需的模型。4 实验结果及分析4.1 实验设置算法使用Python3.8与Pytorch1.9.0在GeForceRTX3070上实现与测试,优化器使用Adam25,对抗攻击算法使用FoolBox开源库中的实现的FGSM2,PGD3,DeepFool3与C&W4对模型进行测试。实验数据集使用CIFAR10,MNIST与Fashion-MNIST数据集,Fashion-MNIST的复杂度略高于MNIST,数据集信息如表2。实验共包含3项测试,第1项是算法与不同防御方法的比较,第2项是算法在不同深度学习模型中的泛化性,第3项是算法在不同数据集中的泛化性。在CI
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 信息 瓶颈 深度 学习 模型 鲁棒性 增强 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。