基于激励机制的联邦学习优化算法_田有亮.pdf
《基于激励机制的联邦学习优化算法_田有亮.pdf》由会员分享,可在线阅读,更多相关《基于激励机制的联邦学习优化算法_田有亮.pdf(12页珍藏版)》请在咨信网上搜索。
1、2023 年 5 月 Journal on Communications May 2023 第 44 卷第 5 期 通 信 学 报 Vol.44 No.5基于激励机制的联邦学习优化算法 田有亮1,2,3,吴柿红1,2,李沓1,2,王林冬1,2,周骅4(1.贵州大学公共大数据国家重点实验室,贵州 贵阳 550025;2.贵州大学计算机科学与技术学院,贵州 贵阳 550025;3.贵州大学密码学与数据安全研究所,贵州 贵阳 550025;4.贵州大学大数据与信息工程学院,贵州 贵阳 550025)摘 要:针对联邦学习的训练过程迭代次数多、训练时间长、效率低等问题,提出一种基于激励机制的联邦学习优化
2、算法。首先,设计与时间和模型损失相关的信誉值,基于该信誉值,设计激励机制激励拥有高质量数据的客户端加入训练。其次,基于拍卖理论设计拍卖机制,客户端通过向雾节点拍卖本地训练任务,委托高性能雾节点训练本地数据从而提升本地训练效率,解决客户端间的性能不均衡问题。最后,设计全局梯度聚合策略,增加高精度局部梯度在全局梯度中的权重,剔除恶意客户端,从而减少模型训练次数。关键词:联邦学习;激励机制;信誉值;拍卖策略;聚合策略 中图分类号:TN92 文献标志码:A DOI:10.11959/j.issn.1000436x.2023095 Federated learning optimization algo
3、rithm based on incentive mechanism TIAN Youliang1,2,3,WU Shihong1,2,LI Ta1,2,WANG Lindong1,2,ZHOU Hua4 1.State Key Laboratory of Public Big Data,Guizhou University,Guiyang 550025,China 2.College of Computer Science and Technology,Guizhou University,Guiyang 550025,China 3.Institute of Cryptography&Da
4、ta Security,Guizhou University,Guiyang 550025,China 4.College of Big Data and Information Engineering,Guizhou University,Guiyang 550025,China Abstract:Federated learning optimization algorithm based on incentive mechanism was proposed to address the issues of multiple iterations,long training time a
5、nd low efficiency in the training process of federated learning.Firstly,the repu-tation value related to time and model loss was designed.Based on the reputation value,an incentive mechanism was de-signed to encourage clients with high-quality data to join the training.Secondly,the auction mechanism
6、 was designed based on the auction theory.By auctioning local training tasks to the fog node,the client entrusted the high-performance fog node to train local data,so as to improve the efficiency of local training and solve the problem of performance im-balance between clients.Finally,the global gra
7、dient aggregation strategy was designed to increase the weight of high-precision local gradient in the global gradient and eliminate malicious clients,so as to reduce the number of model training.Keywords:federated learning,incentive mechanism,reputation value,auction strategy,aggregation strategy 收
8、稿日期:20230227;修回日期:20230406 基金项目:国家重点研发计划基金资助项目(No.2021YFB3101100);国家自然科学基金资助项目(No.U1836205,No.62272123);贵州省高层次创新型人才基金资助项目(黔科合平台人才20206008);贵阳市科技计划基金资助项目(筑科合20211-5,筑科合20222-4);贵州省科技计划基金资助项目(黔科合平台人才20205017,黔科合支撑2022一般 065);贵州大学人才引进基金资助项目(贵大人基合字2015-53)Foundation Items:The Key Research and Developmen
9、t Program of China(No.2021YFB3101100),The National Natural ScienceFoundation of China(No.U1836205,No.62272123),Project of High-Level Innovative Talents of Guizhou Province(No.20206008),Science and Technology Program of Guiyang(No.20211-5,No.20222-4),Science and Technology Program of Guizhou Province
10、(No.20205017,No.2022065),Guizhou University Talent Introduction Research Fund(No.GDRJHZ2015-53)170 通 信 学 报 第 44 卷 0 引言 机器学习在工业生产1、自动驾驶2-3、医疗卫生4、零售业等行业中得到了广泛应用。为了在充分利用各个企业的数据进行模型训练从而得到更精确结果的同时保护数据的隐私,联邦学习应运而生。联邦学习作为解决数据孤岛问题的有效方法,不需要把数据进行汇集就可以把存储在不同设备上的数据充分利用起来进行模型训练5。联邦学习虽然具有很多优势,但是也不可避免地存在一些问题,例如,联邦
11、学习训练轮次多、训练时间长,为提高训练效率,目前存在一些方案利用客户端的自利性设计激励机制,激励拥有高质量数据的客户端加入训练6-7,从而提升模型训练效率。其次,传统的联邦学习在客户端执行本地训练,但客户端之间性能不均衡,会导致客户端完成本地训练的时间差别大、到达服务器的局部模型的时间间隔大,从而造成设备之间相互等待,增加训练时间8,这被称为“流浪者”问题。为解决“流浪者”问题,有方案提出部分模型聚合方案,在该方案中,服务器在每轮训练中仅等待适当数量的设备模型,不需要等待所有局部模型8。最后,人们广泛接受的联邦平均(FedAvg)算法9没有考虑到各个客户端在训练中的贡献,从而导致训练需要进行多
12、轮才能达到预期精度,这在一定程度上增加了训练时间,降低了模型训练效率。在实际应用中,任务发布者对模型训练的时间不是无限包容的,对于急需获得训练结果的任务发布者来说,超出时间训练得到的结果是没有意义的。因此优化联邦学习训练模型、提升训练效率是有必要的。本文通过设计激励机制、拍卖方案和聚合策略提升模型训练效率。考虑到模型精度的动态性,基于合约理论设计信誉值计算机制,根据客户端每轮训练的具体贡献给予客户端奖励;同时,基于雾节点低时延高存储10的特点,设计拍卖方案,激励客户端把训练任务委托给高性能雾节点,从而提升本地训练效率;最后,增加高精度局部梯度在全局梯度中的占比,从而实现模型的优化。本文主要贡献
13、如下。1)设计与时间和模型损失相关的信誉值计算机制。基于该信誉值建立奖励机制,激励拥有高质量数据且高性能的客户端加入训练,只有使用高质量数据高效训练客户端才能获得高奖励。2)为解决具有高质量数据的客户端性能低、时延长的问题,基于拍卖理论设计拍卖策略,客户端通过向高性能雾节点拍卖本地训练任务,委托雾节点训练本地数据从而提升本地训练效率,解决客户端间的性能不均衡问题。3)设计全局梯度聚合策略,增加高精度局部梯度在全局梯度中的权重,剔除恶意客户端,从而减少模型训练次数。1 相关工作 2016 年,谷歌9给出了联邦学习的定义,即联邦学习是机器学习的一种分布式训练范式,其不需要把数据进行汇集,在每一轮训
14、练中仅传递模型之间的参数就可实现模型训练。联邦学习的这一优势使它在医疗保健3、工业制造1、自动驾驶11等领域中得到广泛应用,用于解决数据分散且私密的问题。虽然它有很多优点,但是也不可避免地存在一些问题12-13。首先,传统的联邦学习假设客户端自愿奉献自己的数据加入训练14,然而,由于客户端的自利性,拥有高质量数据的客户端不愿意参与模型训练,这将会影响训练的精度与轮次,降低模型训练效率。为解决这个问题,Kang 等15提出使用主观逻辑计算各个客户端执行任务后的信誉值,基于合约理论设计激励机制,通过奖励贡献多的客户端获得更多的奖励,进而激励拥有高质量数据的客户端加入训练,由于合约理论的激励机制设计
15、的合约是提前规定的,客户端只能选择是否接受合约,缺乏一定的灵活性,同时,基于主观逻辑模型设计信誉值存在主观性判断因素,没有量化的评价标准。Zeng 等16针对 Kang 等15存在的提前规定的合约不灵活性问题,提出多维采购拍卖方案,使客户端有更多机会提交任何资源组合和预期付款。Deng 等17针对Kang 等15使用主观逻辑模型设计信誉值存在的问题,使用模型质量参数来计算信誉值,从而判断客户端的可靠性,提高信誉值在系统中的价值。不同于 Zeng 等16使用多维拍卖实现对客户端的选择,即选择拥有高质量数据的客户端加入训练,不同于Deng 等17仅使用模型质量参数衡量信誉值,本文使用拍卖方式选择高
16、性能雾节点为客户端进行本地训练,在进行信誉值计算时不仅考虑到当前轮次的数据质量,也兼顾历史训练的数据质量以及客户端执行相似任务获得的信誉值对当前任务信誉值的影响。第 5 期 田有亮等:基于激励机制的联邦学习优化算法 171 其次,客户端之间的性能不均衡使本地训练时间差大,从而导致局部梯度到达服务器的时间间隔大,客户端间相互等待,从而降低模型训练速度,这是并行计算中普遍存在的问题18-19。为缩短客户端间的等待时间,Niu 等20提出异步解决方案,在收到单个客户端的局部梯度后,立即更新全局梯度,并把该全局梯度传递给各个客户端,进而解决客户端性能不均衡的问题,然而当客户端间的数据分布不一致时,训练
17、的结果将不正确。为解决 Liu等8中的问题,Nishio 等21提出联邦学习的客户端选择(FedCS)协议过滤掉低性能客户端,但是该方案会与高性能客户端训练结果过度拟合。此外,Liu 等8提出聚合陈旧与常规模型以加快收敛速度,但是要求客户端在每轮训练的同时上传模型参数和梯度参数,这意味着传输的数据量是 FedAvg9的 2 倍,因此数据传输时间将会增加。为了不增加数据传输时间,同时解决客户端间性能不均衡的问题,Liu 等8提出部分模型平均(FedPA)算法,服务器只聚合适当数量的客户端局部梯度,但是聚合的客户端数量针对不同的训练任务会有所变化,因此需要额外的工作确定参与聚合的客户端数量。最后,
18、传统的联邦学习使用 FedAvg9的方式聚合,忽略了使用高质量数据进行训练的客户端在训练中的贡献,从而增加训练的轮次,为解决该问题,Deng 等17提出具有质量意识的联邦学习(FAIR)方案,使用与数据质量相关的参数作为梯度聚合的权重,增加高质量数据的局部梯度在全局梯度中的占比,减少模型训练的轮次。不同于文献9的平均梯度聚合算法和文献17的聚合算法,本文使用模型质量及模型训练时间作为客户端贡献的衡量标准,设计聚合策略降低模型训练的轮次。然而,目前没有方案同时从以上 3 个方面入手设计方案减少模型训练轮次,缩短一次迭代时间,从而实现联邦学习模型的优化和模型训练效率的提升。本文从以上 3 个方面考
19、虑,通过设计信誉值22,激励具有高质量数据的客户端加入训练,设计聚合策略从而减少训练轮次,利用拍卖机制使低性能客户端可以通过委托低时延高性能雾节点进行训练,从而解决客户端性能不均衡的问题,提升本地训练效率。2 基础知识 2.1 联邦学习 联邦学习可以实现各个客户端不需要汇集数据就可用客户端的数据进行模型训练23。具体操作是各个客户端从服务器下载全局参数并使用自己的本地数据进行模型训练,把训练得到的局部梯度上传至中央服务器,中央服务器聚合各个客户端的局部梯度后把全局梯度传送给客户端进行下一轮的模型训练,直到模型收敛。神经网络可以表示为(,)f x wy,其中,x为客户端的输入,w为模型参数,y为
20、使用参数w和函 数f得 到 的 输 出。整 个 训 练 集 表 示 为,1,2,iiDx yiT,其中,T表示数据条数。数据集D的平均损失函数24为 (,)1(,)(,)iiffiix yDD wx y wD (1)其 中,对 于 特 定 的 损 失 函 数(,)fx y w,有(,),(,)(,)fx y wl y f x wl y y。联邦学习的训练目标是通过改变w最小化损失函数,其每轮迭代的计算式24为 1(,)jjjjfww Dw(2)其中,表示学习率,1jw表示第1j轮训练后的模型参数,jD表示从数据集D中随机选择的子集。在服务器端对每个客户端进行平均梯度聚合,计算式8为 1Nijj
21、iiDwwD(3)其中,jiw表示第j轮训练后客户端i的模型参数;iD表示客户端i的本地数据集,1,2,iN,12,NDD DD表示联合数据集,N表示客户端的数量。2.2 设计目标 定义 1 个人理性。如果每个节点在每一轮训练中的收益非负,则该机制是个人理性的。定义 2 真实性。形式上,对于每个节点,机制的真实出价jib等于节点的学习成本jil,如果在每次竞拍中,节点不能通过不真实的出价(jjiibl,jib表示不真实的出价)来获得更高的收益,则机制具有真实性17。3 系统模型 系统模型如图1所示,主要由5个部分组成,分别为服务器、雾节点、客户端、区块链和任务发布者。172 通 信 学 报 第
22、 44 卷 1)服务器。执行局部梯度聚合任务,并把训练得到的全局梯度传送至雾节点进行下一轮的训练,同时与客户端签署参与模型训练的合约。2)雾节点。执行本地训练任务,并把训练得到的局部模型上传至服务器,参与本地训练任务的竞拍,在拍卖获胜后与客户端签署本地训练任务委托合约。3)客户端。收集本地数据,发布本地训练任务拍卖,确定竞拍获胜的雾节点,与竞拍获胜的雾节点签署本地训练任务委托合约,并把参与训练的数据传送给竞拍获胜的雾节点。为防止数据的隐私泄露,客户端需对本地数据进行加噪后再向雾节点传送训练数据,同时与服务器签署参与模型训练的合约。4)区块链。部署智能合约,对客户端的信誉值进行管理,根据参与者在
23、训练中的表现分发奖励。5)任务发布者。发布训练任务。4 算法设计 为了提升训练的效率,设计与时间和模型损失相关的信誉值计算策略,并设计激励机制激励拥有高质量数据的客户端加入训练。为了提升客户端的本地训练效率,设计拍卖机制,提供客户端通过向雾节点拍卖本地训练任务从而提升本地训练效率的机会。最后,通过设计聚合算法,增加使用高质量数据进行训练的客户端在全局梯度中的占比,实现训练效率的提升。表1为本文涉及的参数和参数描述。本文方案由如下6个部分组成。表 1 本文涉及的参数和参数描述 参数 描述 data_size 本地训练数据的大小 iP 雾节点i竞拍的价格 iT 雾节点i一次迭代的时间 nc 执行一
24、个数据样本的 CPU 周期数 if 设备i的频率 cmp()iiEf 客户端i用于计算的能量消耗 lossni 客户端i在第n轮训练后的模型损失 loss_avgn 第n轮训练后的平均模型损失 d 任务发布者与客户端签署合约需要交纳的押金r 客户端与雾节点签署合约需要交纳的押金 taskx 任务x curret _ task 当前任务 jiw 客户端i的第j轮训练梯度 jw 第j轮训练的全局梯度 exT 任务发布者期望的总训练时间 rT 实际训练的总时间 jit 客户端i在第j轮训练所用的时间 图 1 系统模型 第 5 期 田有亮等:基于激励机制的联邦学习优化算法 173 1)任务发布。任务发
25、布者发布训练任务,并发布奖励规则和资源要求(包含加入训练的本地数据大小、本地训练的时间阈值、数据类型、训练最终需要达到的精度、期望的训练时间);客户端根据自己的实际情况判断是否能从中获利并选择是否签署合约,签署合约的双方需交纳押金。2)本地数据加噪。为保护本地数据隐私,客户端根据自己的风险承受能力对本地数据进行加噪21,隐私预算越大,隐私保护程度越低,但是会获得更高的精度;隐私预算越小,隐私保护程度越高,但是会获得更低的精度25-26。每个客户端具体的隐私预算设置不是本文重点,因此不对数据的加噪细节进行详细阐述,只是使用相同的隐私预算值对数据进行加噪。3)本地训练任务拍卖。客户端向雾节点发布本
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 激励机制 联邦 学习 优化 算法 田有亮
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。