基于GAN的联邦学习成员推理攻击与防御方法_张佳乐.pdf
《基于GAN的联邦学习成员推理攻击与防御方法_张佳乐.pdf》由会员分享,可在线阅读,更多相关《基于GAN的联邦学习成员推理攻击与防御方法_张佳乐.pdf(13页珍藏版)》请在咨信网上搜索。
1、2023 年 5 月 Journal on Communications May 2023 第 44 卷第 5 期 通 信 学 报 Vol.44 No.5基于 GAN 的联邦学习成员推理攻击与防御方法 张佳乐1,2,朱诚诚1,2,孙小兵1,2,陈兵3(1.扬州大学信息工程学院,江苏 扬州 225127;2.江苏省知识管理与智能服务工程研究中心,江苏 扬州 225127;3.南京航空航天大学计算机科学与技术学院,江苏 南京 211106)摘 要:针对联邦学习系统极易遭受由恶意参与方在预测阶段发起的成员推理攻击行为,以及现有的防御方法在隐私保护和模型损失之间难以达到平衡的问题,探索了联邦学习中的成
2、员推理攻击及其防御方法。首先提出 2 种基于生成对抗网络(GAN)的成员推理攻击方法:类级和用户级成员推理攻击,其中,类级成员推理攻击旨在泄露所有参与方的训练数据隐私,用户级成员推理攻击可以指定某一个特定的参与方;此外,进一步提出一种基于对抗样本的联邦学习成员推理防御方法(DefMIA),通过设计针对全局模型参数的对抗样本噪声添加方法,能够在保证联邦学习准确率的同时,有效防御成员推理攻击。实验结果表明,类级和用户级成员推理攻击可以在联邦学习中获得超过 90%的攻击精度,而在使用 DefMIA 方法后,其攻击精度明显降低,接近于随机猜测(50%)。关键词:联邦学习;成员推理攻击;生成对抗网络;对
3、抗样本;隐私泄露 中图分类号:TP391 文献标志码:A DOI:10.11959/j.issn.1000436x.2023094 Membership inference attack and defense method in federated learning based on GAN ZHANG Jiale1,2,ZHU Chengcheng1,2,SUN Xiaobing1,2,CHEN Bing3 1.School of Information Engineering,Yangzhou University,Yangzhou 225127,China 2.Jiangsu Engi
4、neering Research Center Knowledge Management and Intelligent Service,Yangzhou 225127,China 3.College of Computer Science and Technology,Nanjing University of Aeronautics and Astronautics,Nanjing 211106,China Abstract:Aiming at the problem that the federated learning system was extremely vulnerable t
5、o membership inference attacks initiated by malicious parties in the prediction stage,and the existing defense methods were difficult to achieve a balance between privacy protection and model loss.Membership inference attacks and their defense methods were ex-plored in the context of federated learn
6、ing.Firstly,two membership inference attack methods called class-level attack and user-level attack based on generative adversarial network(GAN)were proposed,where the former was aimed at leaking the training data privacy of all participants,while the latter could specify a specific participant.In a
7、ddition,a membership inference defense method in federated learning based on adversarial sample(DefMIA)was further proposed,which could effectively defend against membership inference attacks by designing adversarial sample noise addition methods for global model parameters while ensuring the accura
8、cy of federated learning.The experimental results show that class-level and user-level membership inference attack can achieve over 90%attack accuracy in federated learning,while after using the DefMIA method,their attack accuracy is significantly reduced,approaching random guessing(50%).Keywords:fe
9、derated learning,membership inference attack,generative adversarial network,adversarial example,privacy leakage 收稿日期:20221125;修回日期:20230306 通信作者:朱诚诚, 基金项目:国家自然科学基金资助项目(No.62206238);江苏省自然科学基金资助项目(No.BK20220562);江苏省高等学校基础科学(自然科学)研究基金资助项目(No.22KJB520010);扬州市科技计划项目市校合作专项基金资助项目(No.YZ2021157,No.YZ2021158)
10、Foundation Items:The National Natural Science Foundation of China(No.62206238),The Natural Science Foundation of Jiangsu Province(No.BK20220562),The Natural Science Foundation of Jiangsu Higher Education Institutions of China(No.22KJB520010),The Yangzhou City-Yangzhou University Science and Technolo
11、gy Cooperation Fund Project(No.YZ2021157,No.YZ2021158)194 通 信 学 报 第 44 卷 0 引言 近年来,随着物联网、边缘计算、5G 等技术的不断发展及用户终端数量的爆炸式增长,传统云计算架构下的集中式机器学习模型由于其高时延、高并发、弱隐私保护等缺陷,已经逐渐演化为能够支撑边缘智能化应用的分布式联邦学习架构。联邦学习在结构上具有特殊的隐私保护性,它允许各个参与方(用户)下载全局模型到本地,利用本地数据对模型进行训练并更新参数,最终这些参数被汇总到服务器端进行聚合平均,生成新的全局模型1-4。在这一过程中,由于参与方的数据保留在本地终端
12、,其隐私得到了较大程度的保护。可以说,联邦学习已呈现出极具实用性的发展潜力,有关联邦学习的研究方向也被国内外学者广泛关注。联邦学习尽管在隐私保护方面取得了一定突破,但是仍面临着诸多安全与隐私问题。大量研究成果表明,联邦学习框架极易受到各种推理攻击的威胁,如成员推理5、特征推理6、属性推理7和梯度推理8。其中,成员推理是针对训练数据集的主动攻击之一,其目的是确定某个数据样本是否被用于模型训练过程。Shokri 等9首次在机器学习模型中提出了通过黑盒应用程序接口(API)构造的成员推理攻击方法,并证实了通过区分训练和非训练样本在模型输出结果上的差异,能够成功获得某一预测样本是否为模型训练数据成员的
13、信息。在联邦学习的场景中,攻击者的角色是复杂多变的,其既可以作为参与方加入训练过程(如图 1 所示),不断获取服务器反馈的全局模型参数并进行成员推理攻击10-11,也可以作为不可信的中央服务器,通过收集参与方上传的本地参数来推理训练数据12。图 1 联邦学习中的成员推理攻击模型 此外,生成对抗网络(GAN,generative ad-versarial network)的广泛应用进一步加强了成员推理攻击对联邦学习的威胁强度13。通过使用 GAN中的辨别器和生成器,攻击者可以利用训练模型中的参数来生成伪样本,或者获取与其他参与方训练数据集相同分布的数据样本14,这些生成的数据样本对成员推理攻击的
14、发起提供了有力途径。目前,传统机器学习模型的成员推理防御机制主要集中于参数保护方面,即防止攻击者获得未受保护的模型参数,常用的方法有安全聚合15、同态加密16和差分隐私17等。除此之外,也有部分研究表明,通过在攻击模型中加入一个特定的噪声向量,能够成功地将隐私效用权衡的效果最大化18。然而,上述对模型参数做直接修改的防御方法将导致模型精度的严重下降,同时,复杂的密码算法也给资源受限的参与方带来巨大的计算资源消耗。此外,联邦学习中参与方训练数据的不可见性也增加了防御难度。针对上述问题,本文首先探索了 GAN 模型在联邦学习成员推理攻击中的增强效果,并基于 GAN生成的增强数据,提出 2 种针对不
15、同联邦学习场景的成员推理攻击方法:类级和用户级成员推理攻击。其中,类级成员推理攻击主要适用于横向联邦学习场景,即攻击者仅关注所推理样本是否属于训练数据,并不在意该样本具体属于哪个用户;与之相反,用户级成员推理攻击旨在推断出联邦学习中特定参与方的训练数据信息,攻击者不仅能够推理出某一指定样本是否属于训练数据,还可以判断出该样本属于哪个用户,用户级攻击可应用于参与方训练数据的类标签相互独立的场景,如纵向联邦学习。此外,针对上述 2 种攻击类型,本文进一步提出一种基于对抗样本的联邦学习成员推理攻击防御方法(DefMIA),在保证全局模型准确率的同时,使联邦学习中成员推理攻击准确率接近于随机猜测。本文
16、的主要贡献包括以下 3 个方面。1)提出了2种基于GAN的联邦学习成员推理攻击方法:类级和用户级成员推理攻击,其中,类级成员推理攻击旨在泄露所有参与方的训练数据,用户级成员推理攻击则面向某一特定的联邦学习参与方,并证明了这 2 种攻击在联邦学习场景中的有效性。2)提出了 DefMIA 方法,将全局模型的输出置信度向量构造为对抗样本,使其能够误导攻击模型的正确分类结果,进而有效防御成员推理攻击。相第 5 期 张佳乐等:基于 GAN 的联邦学习成员推理攻击与防御方法 195 较于传统基于差分隐私或密码系统的防御方法,DefMIA 方法不需要对模型参数进行任何修改,最大化地保证了全局模型的可用性。3
17、)在3个基准数据集上对所提2种攻击方法进行了实验测试,并验证了 DefMIA 方法的有效性。实验结果表明,无论是类级成员推理攻击还是用户级成员推理攻击,都能在联邦学习上获得较高攻击准确率。然而,在使用 DefMIA 方法后,上述 2 种方法的攻击准确率大大降低,接近于随机猜测。1 相关工作 1.1 对抗性攻击 尽管联邦学习能够在架构上对参与方的训练数据隐私提供一定的保护作用,但模型安全问题仍然存在19。其主要原因在于联邦学习中的本地训练数据对中心服务器是不可见的,导致服务器无法验证上传参数的准确性。本文将针对联邦学习模型发起的攻击类型统称为对抗性攻击,其主要通过干扰联邦学习训练或推理过程,来影
18、响联邦学习模型的收敛速度或推理结果。近年来,有关联邦学习对抗性攻击的研究成果包括模型反转攻击20、投毒攻击21-22、对抗样本攻击23等,这些攻击可按不同目的分为保密性攻击、完整性攻击和可用性攻击24。其中,保密性攻击指泄露、窃取用户敏感数据的攻击类型,该类攻击不仅试图窃取本地训练数据,还试图暴露隐私数据或反向推断出训练模型3,但该攻击中的攻击者不会干扰训练进度或修改模型,而是通过扮演参与方的角色来间接发起攻击;与保密性攻击不同,完整性攻击的目的是通过毒化模型使模型产生错误的输出,典型的完整性攻击包括标签翻转25和后门攻击26,它们通过训练误导目标模型,使其输入攻击者指定的预测结果27;可用性
19、攻击的目的是攻击分类的可用性,通过恶意后门、对抗样本等方法28,使联邦学习中的目标模型无法使用。1.2 成员推理攻击 成员推理攻击是一种针对机器学习模型的隐私攻击类型,通过获取模型的预测向量,以确定预测数据是否来自模型的原始训练数据集11。在传统的机器学习与联邦学习中都能够进行成员推理攻击,可对用户信息安全造成严重的威胁29。Shokri等9首次提出了可用于分类器模型的成员推理攻击方法,通过模拟与目标模型相似的影子模型来获取模型的预测输出向量,进而创建有关成员信息的二分类模型,以判断某一给定样本是否属于原始训练数据集。随后,Nasr 等12提出针对联邦学习系统的成员推理攻击,在该攻击场景中,攻
20、击者可以假扮良性参与方,从服务器获取聚合模型,以发起面向所有参与方训练数据的成员推理攻击。此外,基于GAN 模型在联邦学习中的数据增强特性,Zhang 等30探索了 GAN 模型在构造成员推理攻击方案中的作用,攻击者通过部署一个 GAN 模型来生成攻击模型训练样本31,从而有效提升成员推理攻击的准确率;Chen 等10提出在联邦学习场景下,成员推理攻击的发起方也可以是不可信服务器,通过在服务器端部署多任务 GAN 模型,攻击者能够获取用户级的伪样本6,从而利用各参与方上传的本地模型发起细粒度成员推理攻击。值得注意的是,不管是用户还是服务器,攻击者均能够部署 GAN 模型以生成伪样本,进而增加攻
21、击成功率。1.3 成员推理防御 在联邦学习场景下,由于各参与方从服务器端获取全局模型,且本地训练过程完全自主化,全局模型参数很容易被恶意参与方获取。因此,与传统的机器学习相比,联邦学习更易受到成员推理攻击。针对上述问题,研究者进行了广泛的研究,文献32表明,在训练阶段引入对抗样本可以误导攻击模型的预测结果。根据这一发现,Jia 等18提出了一种基于效用损失的方法来防御黑盒设置下的成员推理攻击,通过将精心设计的噪声添加到模型的置信度向量中,攻击模型可能会被误导为随机结果。该方法尽管对成员推理攻击起到了一定的抵制作用,但会对模型收敛速度与模型精度造成负面影响。2 联邦学习中的成员推理攻击 2.1
22、威胁模型 不失一般性,本文假设攻击者为联邦学习中的某一恶意用户9,10,12,30,该用户通过在本地部署GAN 模型,生成接近真实样本的伪样本并将其作为攻击模型的训练数据,进而实现高精度的成员推理攻击。具体来说,本文提出的联邦学习成员推理攻击威胁模型包括以下 3 个方面。1)攻击目标。对于类级成员推理攻击,攻击者的目标是通过获取联邦学习中的传输参数,在不影响全局模型的前提下,隐蔽推理出某一给定样本的成员信息;对于用户级成员推理攻击,攻击者的目标不局限于推理出某一指定样本是否属于模型训练196 通 信 学 报 第 44 卷 数据,其最终目的为判断出该样本属于哪个用户。因此,本文所提成员推理攻击威
23、胁模型的分类任务可以由以下指标来衡量:成员推理准确率,即给定样本在成员推理模型上的分类性能;主任务准确率,即联邦学习全局模型的性能。2)攻击知识。在联邦学习中,攻击者可以观察到系统初始化模型结构和每个通信轮次下发的全局模型参数。因此,攻击者可以获得联邦学习模型的每个细节,包括模型结构、学习算法 L 和模型参数,这些信息可用于训练 GAN 模型生成伪样本以及成员推理攻击的初始化。3)攻击能力。攻击者具有以下能力:获得每个通信轮次的全局模型;作为参与方控制本地训练和本地数据;修改本地模型的超参数;随机更新和选择本地参数。同时,攻击者存在以下限制:无法获得其他参与方上传的本地模型参数(各参与方的本地
24、模型参数仅用于在服务器端的加权平均过程);无法访问其他参与方的本地数据。2.2 类级成员推理攻击 2.2.1 攻击概述 在联邦学习场景下,全局模型参数由所有参与方的本地模型参数聚合产生,因此,由恶意参与方发起的成员推理攻击主要用于判断成员信息和类标签信息,即类级成员推理攻击。具体来说,在联邦学习场景下,攻击者可以观察到全局模型结构和参数信息,其攻击模型对于攻击者来说是一个白盒设置。基于上述白盒设置,攻击者作为参与方加入联邦学习并发起类级成员推理攻击,即攻击者使用GAN 生成的数据训练二分类攻击模型,以区分训练数据中的成员和非成员样本。图 2 所示为类级成员推理攻击模型。利用目标模型的真实标签和
25、预测结果来训练攻击模型,攻击模型通过学习模型输出的分布来区分目标模型的成员和非成员。本文定义target()f为目标模型,traintargetD为目标模型的训练集,其中,数据样本traintargettarget(,)x iy iD,x i表示目标模型的输入,y i表示来自标签类targetc的x i的真 实 标 签。由 于 联 邦 学 习 模 型 的 预 测 结 果target()Yfx高度依赖于真实标签,因此本文使用目标模型的预测输出结果target()fx来训练成员推理攻击模型,进而保证所训练的攻击模型可以区分给定样本是否来自目标模型的训练数据集。然而,在联邦学习的场景下,攻击者拥有的
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 GAN 联邦 学习 成员 推理 攻击 防御 方法 张佳乐
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。