联邦学习系统攻击与防御技术研究综述.pdf
《联邦学习系统攻击与防御技术研究综述.pdf》由会员分享,可在线阅读,更多相关《联邦学习系统攻击与防御技术研究综述.pdf(25页珍藏版)》请在咨信网上搜索。
1、第4 6卷 第9期2 0 2 3年9月计 算 机 学 报CH I N E S E J OUR NA L O F C OMP UT E R SV o l.4 6 N o.9S e p.2 0 2 3 收稿日期:2 0 2 2-0 3-2 0;在线发布日期:2 0 2 3-0 1-1 6.本课题得到北京市自然科学基金(N o.M 2 1 0 3 3)、国家自然科学基金(N o.6 1 9 3 2 0 1 1,6 1 9 7 2 0 1 7)、腾讯微信犀牛鸟基金资助.高 莹(通信作者),博士,副教授,中国计算机学会(C C F)高级会员,主要研究领域为隐私计算、区块链.E-m a i l:g a o
2、 y i n g b u a a.e d u.c n.陈晓峰,博士研究生,主要研究领域为区块链、联邦学习.张一余,硕士研究生,主要研究领域为联邦学习、隐私计算.王 玮,硕士研究生,主要研究领域为隐私计算.邓煌昊,硕士研究生,主要研究领域为联邦学习.段 培,硕士,主要研究领域为机器学习、数据挖掘.陈培炫,硕士,主要研究领域为分布式计算、机器学习.联邦学习系统攻击与防御技术研究综述高 莹1),2),3),4)陈晓峰2)张一余2)王 玮2)邓煌昊2)段 培5)陈培炫5)1)(贵州大学公共大数据国家重点实验室 贵阳 5 5 0 0 2 5)2)(北京航空航天大学网络空间安全学院 北京 1 0 0 1
3、9 1)3)(空天网络安全工业和信息化部重点实验室 北京 1 0 0 1 9 1)4)(中关村实验室 北京 1 0 0 0 9 4)5)(腾讯公司 广东 深圳 5 1 8 0 5 4)摘 要 联邦学习作为一种使用分布式训练数据集构建机器学习模型的新兴技术,可有效解决不同数据用户之间因联合建模而导致的本地数据隐私泄露问题,从而被广泛应用于多个领域并得到迅速发展.然而,现有的联邦学习系统已被证实在数据收集阶段、训练阶段和推理阶段都存在潜在威胁,危及数据的隐私性和系统的鲁棒性.本文从安全威胁和隐私威胁两类潜在威胁入手,围绕机密性、完整性和可用性(C I A三元组)给出了联邦学习场景中安全属性的详细定
4、义,并对联邦学习中各类攻击方式和防御手段进行了系统全面综述.首先,本文对横向、纵向联邦学习过程,以及潜在威胁分别进行了概述,并从对抗性攻击和非对抗性攻击两个角度,分析了投毒攻击、对抗样本攻击和推理攻击等常见攻击的基本概念、实施阶段和现有方案.进一步地,依据不同的攻击方式,将防御手段划分为鲁棒性提升方法和隐私性增强技术两类:鲁棒性提升方法主要防御系统遭受的对抗性攻击,包括数据消毒、鲁棒性聚合、异常检测、对抗训练、知识蒸馏和剪枝等,隐私性增强技术主要防御系统遭受的非对抗性攻击,包括同态加密、安全多方计算、差分隐私和区块链等.最后,本文给出了联邦学习中鲁棒性和隐私性方面的未来研究方向.关键词 联邦学
5、习;安全威胁;隐私威胁;鲁棒性提升方法;隐私性增强技术中图法分类号T P 1 8 1 D O I号1 0.1 1 8 9 7/S P.J.1 0 1 6.2 0 2 3.0 1 7 8 1A S u r v e y o f A t t a c k a n d D e f e n s e T e c h n i q u e s f o r F e d e r a t e d L e a r n i n g S y s t e m sGAO Y i n g1),2),3),4)CHE N X i a o-F e n g2)Z HANG Y i-Y u2)WANG W e i2)D E NG H u
6、 a n g-H a o2)DUAN P e i5)CHE N P e i-X u a n5)1)(S t a t e K e y L a b o r a t o r y o f P u b l i c B i g D a t a,G u i z h o u U n i v e r s i t y,G u i y a n g 5 5 0 0 2 5)2)(S c h o o l o f C y b e r S c i e n c e a n d T e c h n o l o g y,B e i h a n g U n i v e r s i t y,B e i j i n g 1 0 0 1
7、 9 1)3)(K e y L a b o r a t o r y o f A e r o s p a c e N e t w o r k S e c u r i t y,M i n i s t r y o f I n d u s t r y a n d I n f o r m a t i o n T e c h n o l o g y,B e i j i n g 1 0 0 1 9 1)4)(Z h o n g g u a n c u n L a b o r a t o r y,B e i j i n g 1 0 0 0 9 4)5)(T e n c e n t I n c,S h e n
8、z h e n,G u a n g d o n g 5 1 8 0 5 4)A b s t r a c t A s a n e m e r g i n g t e c h n o l o g y o f b u i l d i n g m a c h i n e l e a r n i n g(ML)m o d e l u s i n g d i s t r i b u t e d t r a i n i n g d a t a s e t s,f e d e r a t e d l e a r n i n g(F L)c a n e f f e c t i v e l y s o l v e
9、 t h e p r o b l e m o f l o c a l d a t a p r i v a c y d i s c l o s u r e c a u s e d b y j o i n t m o d e l i n g b e t w e e n d i f f e r e n t d a t a o w n e r s.T h e r e f o r e,i t i s w i d e l y u s e d i n m a n y f i e l d s a n d h a s d e v e l o p e d r a p i d l y.F L k e e p s t
10、 h e d a t a o f p a r t i c i p a n t s l o c a l a n d o n l y u p l o a d s m o d e l p a r a m e t e r s t o t h e s e r v e r,w h i c h e f f e c t i v e l y p r o t e c t s t h e p r i v a c y o f l o c a l d a t a.H o w e v e r,t h e e x i s t i n g F L s y s t e m s h a v e b e e n p r o v e
11、 d t o h a v e p o t e n t i a l t h r e a t s i n t h e d a t a c o l l e c t i o n s t a g e,t r a i n i n g s t a g e a n d i n f e r e n c e s t a g e,w h i c h e n d a n g e r t h e p r i v a c y o f d a t a a n d t h e r o b u s t n e s s o f t h e s y s t e m.I n t h e d a t a c o l l e c t i
12、 o n s t a g e a n d t r a i n i n g s t a g e,a t t a c k e r s m a y p o i s o n t h e t r a i n i n g d a t a o r t h e m o d e l,t h e r e b y e n d a n g e r i n g t h e s e c u r i t y o f t h e s y s t e m.I n t h e i n f e r e n c e s t a g e,a t t a c k e r s m a y i n p u t s a m p l e s t
13、 o a d d m i n o r m a l i c i o u s p e r t u r b a t i o n s,c a u s i n g t h e c l a s s i f i e r t o i n c o r r e c t l y c l a s s i f y t h e s a m p l e p r o c e s s w i t h a v e r y h i g h p r o b a b i l i t y,w h i c h w i l l l e a d t o p r i v a c y d i s c l o s u r e.M o s t o f
14、 t h e e x i s t i n g r e s e a r c h w o r k d e s c r i b e s a t t a c k a n d d e f e n s e m e t h o d s i n ML,w h i c h a r e n o t n e c e s s a r i l y a p p l i c a b l e t o F L m o d e l s,a n d o n l y f o c u s s e s o n a f e w a t t a c k t h r e a t s a n d t r a d i t i o n a l d
15、e f e n s e s,l a c-k i n g a d e t a i l e d a n d c o m p r e h e n s i v e o v e r v i e w o f t h e c u t t i n g-e d g e d e f e n s e s.S t a r t i n g w i t h t w o k i n d s o f p o t e n t i a l t h r e a t s:s e c u r i t y t h r e a t a n d p r i v a c y t h r e a t,w e g i v e a d e t a
16、i l e d d e f i n i t i o n o f s e c u r i t y a t-t r i b u t e s i n F L s c e n a r i o s a r o u n d c o n f i d e n t i a l i t y,i n t e g r i t y a n d a v a i l a b i l i t y(C I A t r i p l e t),a n d s u m-m a r i z e v a r i o u s a t t a c k m e t h o d s a n d d e f e n s e m e a n s i
17、 n F L s y s t e m a t i c a l l y a n d c o m p r e h e n s i v e l y.F i r s t l y,w e s u mm a r i z e t h e h o r i z o n t a l a n d v e r t i c a l f e d e r a t e d l e a r n i n g(V F L)p r o c e s s a n d p o t e n t i a l t h r e a t s r e s p e c t i v e l y,a n d a n a l y z e t h e b a
18、s i c c o n c e p t s,i m p l e m e n t a t i o n s t a g e s a n d e x i s t i n g s c h e m e s o f c o mm o n a t t a c k s s u c h a s p o i s o n i n g a t t a c k,s a m p l e a t t a c k a n d i n f e r e n c e a t t a c k f r o m t h e p e r s p e c-t i v e s o f a n t a g o n i s t i c a t t
19、 a c k a n d n o n-a n t a g o n i s t i c a t t a c k.A d v e r s a r i a l a t t a c k s i n c l u d e p o i s o n i n g a t-t a c k s,a d v e r s a r i a l s a m p l e a t t a c k s,f r e e-r i d i n g a t t a c k s,S y b i l a t t a c k s,a n d a t t a c k s a g a i n s t c o mm u-n i c a t i o
20、n b o t t l e n e c k s.N o n-a d v e r s a r i a l a t t a c k s i n c l u d e m o d e l e x t r a c t i o n a t t a c k s,i n f e r e n c e a t t a c k s,a n d GAN-b a s e d a t t a c k s.F u r t h e r,a c c o r d i n g t o d i f f e r e n t a t t a c k m e t h o d s,d e f e n s e m e a n s a r e
21、d i-v i d e d i n t o t w o c a t e g o r i e s:r o b u s t n e s s e n h a n c e m e n t m e t h o d s a n d p r i v a c y e n h a n c i n g t e c h n o l o g i e s.T h e r o b u s t n e s s e n h a n c e m e n t m e t h o d s m a i n l y d e f e n d a g a i n s t a n t a g o n i s t i c a t t a c
22、k s,i n c l u d i n g d a t a s a n i t i z a t i o n,r o b u s t n e s s a g g r e g a t i o n,a n o m a l y d e t e c t i o n,c o u n t e r m e a s u r e t r a i n i n g,k n o w l e d g e d i s t i l l a t i o n,p r u n i n g a n d o t h e r m e t h o d s.T h e p r i v a c y e n h a n c i n g t e
23、c h n o l o g y m a i n l y d e f e n d s t h e s y s t e m a g a i n s t n o n-a n t a g o n i s t i c a t t a c k s,i n c l u d i n g h o m o m o r p h i c e n c r y p t i o n,s e c u r e m u l t i-p a r t y c o m p u t i n g,d i f f e r e n t i a l p r i v a c y a n d b l o c k c h a i n.A n d t
24、h e s c h e m e s r e l a t e d t o r o b u s t n e s s e n h a n c e-m e n t m e t h o d s a n d p r i v a c y e n h a n c e m e n t t e c h n i q u e s i n F L a r e s o r t e d o u t a n d s u mm a r i z e d.F i n a l-l y,t h e p a p e r g i v e s f u t u r e r e s e a r c h d i r e c t i o n o f
25、 r o b u s t n e s s a n d p r i v a c y i n F L:(1)E s t a b l i s h a s e-c u r e a n d s t a b l e a t t a c k d e t e c t i o n a n d e v a l u a t i o n m o d e l,e n d o w F L s y s t e m w i t h s e l f i n s p e c t i o n a n d e v a l u a t i o n c a p a b i l i t i e s,a n d p r o v i d e
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 联邦 学习 系统 攻击 防御 技术研究 综述
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。