![点击分享此内容可以赚币 分享](/master/images/share_but.png)
冗余数据去除的联邦学习高效通信方法_李开菊.pdf
《冗余数据去除的联邦学习高效通信方法_李开菊.pdf》由会员分享,可在线阅读,更多相关《冗余数据去除的联邦学习高效通信方法_李开菊.pdf(15页珍藏版)》请在咨信网上搜索。
1、2023 年 5 月 Journal on Communications May 2023 第 44 卷第 5 期 通 信 学 报 Vol.44 No.5冗余数据去除的联邦学习高效通信方法 李开菊1,2,许强3,王豪1,4(1.重庆邮电大学计算机科学与技术学院,重庆 400065;2.重庆大学计算机学院,重庆 400044;3.香港城市大学电机工程系,香港 999077;4.旅游多源数据感知与决策技术文化和旅游部重点实验室,重庆 400065)摘 要:为了应对终端设备网络带宽受限对联邦学习通信效率的影响,高效地传输本地模型更新以完成模型聚合,提出了一种冗余数据去除的联邦学习高效通信方法。该方法
2、通过分析冗余更新参数产生的本质原因,根据联邦学习中数据非独立同分布特性和模型分布式训练特点,给出新的核心数据集敏感度和损失函数容忍度定义,提出联邦核心数据集构建算法。此外,为了适配所提取的核心数据,设计了分布式自适应模型演化机制,在每次训练迭代前动态调整训练模型的结构和大小,在减少终端与云服务器通信比特数传输的同时,保证了训练模型的准确率。仿真实验表明,与目前最优的方法相比,所提方法减少了 17%的通信比特数,且只有 0.5%的模型准确率降低。关键词:联邦学习;通信效率;核心数据;模型演化;准确率 中图分类号:TP391 文献标志码:A DOI:10.11959/j.issn.1000436x
3、.2023072 Communication-efficient federated learning method via redundant data elimination LI Kaiju1,2,XU Qiang3,WANG Hao1,4 1.School of Computer Science and Technology,Chongqing University of Posts and Telecommunications,Chongqing 400065,China 2.College of Computer Science,Chongqing University,Chong
4、qing 400044,China 3.Department of Electrical Engineering,City University of Hong Kong,Hong Kong 999077,China 4.Key Laboratory of Tourism Multisource Data Perception and Decision,Ministry of Culture and Tourism,Chongqing University of Posts and Telecommunications,Chongqing 400065,China Abstract:To ad
5、dress the influence of limited network bandwidth of edge devices on the communication efficiency of federated learning,and efficiently transmit local model update to complete model aggregation,a communication-efficient federated learning method via redundant data elimination was proposed.The essenti
6、al reasons for generation of redundant update parameters and according to non-IID properties and model distributed training features of FL were analyzed,a novel sensitivity and loss function tolerance definitions for coreset was given,and a novel federated coreset construction algorithm was proposed
7、.Furthermore,to fit the extracted coreset,a novel distributed adaptive sparse network model evolution mechanism was designed to dynamically adjust the structure and the training model size before each global training iteration,which reduced the number of communication bits between edge devices and t
8、he server while also guarantees the training model accuracy.Experimental results show that the proposed method achieves 17%reduction in communication bits transmission while only 0.5%degradation in model accuracy compared with state-of-the-art method.Keywords:federated learning,communication efficie
9、ncy,coreset,model evolution,accuracy 收稿日期:20221016;修回日期:20230204 通信作者:王豪, 基金项目:国家自然科学基金资助项目(No.42001398);重庆市自然科学基金资助项目(No.cstc2020jcyj-msxmX0635);重庆市博士后研究项目特别资助项目(No.2021XM3009);中国博士后基金资助项目(No.2021M693929)Foundation Items:The National Natural Science Foundation of China(No.42001398),The Natural Scie
10、nce Foundation of Chongqing(No.cstc2020jcyj-msxmX0635),Chongqing Postdoctoral Research Program Special Funding(No.2021XM3009),China Postdoctoral Foundation(No.2021M693929)80 通 信 学 报 第 44 卷 0 引言 随着智能边缘设备的普及和应用,个性化、低时延的人工智能应用需求,如人脸识别、智能驾驶、智能监控等不断涌现。传统的基于云的集中式机器学习(ML,machine learning)1算法虽然可以训练更加准确的人工智能
11、模型,但存在高传输时延、高网络带宽压力以及用户隐私泄露等弊端。联邦学习(FL,federated learning)2允许多个分布式边缘设备在云服务器的统一协调下,协作完成一个全局模型的训练,而不需要传输自身所采集的原始数据。与直接传输原始数据的集中式 ML 算法相比,FL 选择上传训练后的模型参数,能有效地降低对云端的网络带宽压力,同时保护用户的隐私3。然而,由于联邦学习中边缘设备网络带宽资源受限,通信效率问题一直是制约联邦学习落地实现的一个重要瓶颈4。目前,已有不少提高联邦学习通信效率的方法。一类是通过降低总的通信轮数加快模型收敛的方法5;另一类是减少单次模型聚合中总通信比特数的方法,如模
12、型的稀疏化、量化等数据压缩技术6。传统的基于模型压缩的方法的主要思想是从原始的训练参数中去除一部分冗余的更新,只传输少量的梯度信息来达到减少通信量的目的。模型压缩的方法虽然已被证明能在一定程度上提高联邦学习的通信效率,但并没有从本质上探索冗余更新参数产生的根本原因。因此,如何从本质上探究冗余更新参数产生的原因,进而提高联邦学习的通信效率是本文的主要研究内容。随着智能设备使用量的急剧增长,设备所产生和采集的原始数据规模也呈现海量增长的趋势。为满足高质量智能应用服务的需求,需要在边缘设备上布置高度复杂化的人工智能模型来完成模型训练,这间接导致在多个分布式设备上产生高维模型更新参数。然而,在联邦学习
13、场景中,边缘设备所采集的原始数据通常具有冗余特性7-8,如视频和智能感知数据,仅有小部分数据对模型训练来说是重要的或者有用的。例如,图像数据就包含了大量的冗余数据,尤其是图像中变化不明显的部分9。冗余信息只能对模型训练带来极小的帮助,但需要布置更复杂的网络模型来完成训练,这间接导致网络模型参数数量也呈现高维增长的趋势。本文旨在提出一种新的提高联邦学习通信效率的优化方法。该方法通过探索冗余更新参数产生的本质原因,从数据的角度考虑,从原始数据集中去除一部分冗余数据,并布置一个适配的小型演化模型使训练所需的网络模型更小,在减少终端与云服务器间通信量的同时,保证训练模型的准确率。本文的主要贡献如下。1
14、)提出了冗余数据去除的联邦学习高效通信优化框架。该框架探索了冗余更新参数产生的本质原因,并从根本上提高了联邦学习的通信效率,为提高联邦学习通信效率开辟了一个新的视角。与目前基于模型压缩的方法相比,所提方法从原始数据集中去除冗余数据,并部署一个更小的匹配的演化网络模型,间接地减少了每个边缘设备总的传输比特。2)提出了一种联邦核心数据集构建算法,以去除原始数据集中的冗余数据。该算法在充分考虑联邦学习的非独立同分布(non-IID,non-independently identically distribution)特性的基础上,重新定义了核心数据集敏感度和损失函数容忍度公式,扩展了现有集中式或基于
15、独立同分布(IID,independently identically distribution)的核心数据集构建算法在联邦场景中的应用。3)提出了一种分布式自适应模型演化机制。该机制考虑初始化稀疏的网络模型、本地模型和聚合模型的自适应演化,定义网络模型连接重要性以及重要性评估机制,在每次训练迭代前动态调整了训练模型的结构和大小,在降低边缘设备模型复杂度的同时,保证了训练模型的准确率。4)理论上证明了所提方法的收敛性,且在实验中验证了所提方法的有效性。仿真实验表明,与目前最优的方法相比,所提方法减少了 17%的通信比特传输数目,且只有 0.5%的模型准确率降低。1 相关工作 与本文密切相关的工
16、作主要包括模型的稀疏化和模型参数的量化减少 2 个方面,下面分别对这2 个方面的相关工作进行阐述。模型的稀疏化主要是从原始更新向量中选择一部分更新参数上传至云服务器,来减少每轮迭代终端与云端的通信比特数。文献10-12主要基于评估局部更新对全局模型的贡献度,选择一部分重要的11或者相关的12本地更新参与全局模型的聚合。文献4,13-14研究联合减少上行和下行通信量的优化方法。其中,文献4提出稀疏三元第 5 期 李开菊等:冗余数据去除的联邦学习高效通信方法 81 压缩(STC,sparse ternary compression)框架,扩展了现有的 top-k 梯度稀疏化压缩技术,实现了下游压缩
17、以及权重更新的三元化和最优 Golomb 编码;文献13提出联合训练的三元量化(FTTQ,federated trained ternary quantization)算法,通过自我学习的量化因子优化客户端的量化网络;文献14提出通用梯度稀疏化(GGS,general gradient sparsification)框架,设计梯度修正和本地梯度更新批归一化层 2 个机制。文献15-17考虑通信与其他因素的平衡,包括梯度稀疏程度控制的最佳通信与计算15、测试精度与稀疏编码开销16,以及通信效率与隐私保护17之间的均衡。模型参数的量化减少是通过将原始更新参数限制在一个缩小的数值集上。文献18-20
18、研究有精度损失的模型量化方法。其中,文献18提出signSGD 的量化方法,该方法把更新参数的每个梯度值量化为二进制符号;文献19联合考虑周期性平均、部分设备参与以及量化消息传递 3 个关键特征,提出一种具有周期性平均和量化的通信优化方法;文献20联合量化模型训练过程中的局部更新和全局更新。文献21-22研究通信与精度均衡的模型量化方法。其中,文献21动态调整通信和精度之间的平衡,提出增强的 FFL(fast federated learning)方案;文献22提出 AdaQuantFL 的自适应量化策略,通过在训练过程中自适应地改变模型量化的水平来实现通信效率和模型误差之间的均衡。文献23-
19、24研究其他方法来实现模型参数的量化。其中,文献23将随机梯度分解为规范梯度和归一化块梯度,提出分层梯度量化框架;文献24提出由量化指标模块、量化策略模块和量化优化模块组成的自动梯度量化方法。无论是模型的稀疏化还是模型参数的量化方法,它们都只是从模型更新参数的角度,通过从原始更新向量中选择一部分子更新梯度或者是量化的更新上传至云服务器,来减少冗余更新参数的传输,从而达到减少通信量的目的。这些方法虽然已被证明能在一定程度上提高联邦学习的通信效率,但并没有探索冗余更新参数产生的根本原因。此外,文献25针对 k-center 和 k-median 聚类问题提出了基于最远点算法的核心数据集构建方法。该
20、方法最初是针对中心式环境的最小闭包球(MEB,minimum enclosing ball)问题提出的,其主要思想是通过迭代地在原始数据集中选择离当前中心足够远或者最远的点添加至核心数据集,直至核心数据集包含了给定范围内的所有数据点为止。文献26提出了一种基于随机采样的核心数据集构造算法,其主要思想是从原始数据集中随机采样构建一个核心集。这类方法虽然在一定程度上提高了核心数据集的构建效率,但通常需要一个大的核心集来实现与原始数据集的良好近似。Lu 等27提出了一种支持各种 ML 问题的鲁棒性核心数据集构建算法,该算法可以支持各种机器学习问题。虽然上述方法在实践中被证明有效,但这些方法要么只考虑
21、了集中式环境下的核心数据集构造,要么只考虑了典型的满足数据 IID 的分布式场景的数据集构造,而这与典型的联邦学习 non-IID 去中心化场景有着本质区别。因此,不能直接将现有的基于中心式或者传统分布式的核心数据集构建算法直接应用于本文的联邦学习场景中,需要根据联邦学习数据的 non-IID 特性,设计新的核心数据集构建算法。2 冗余数据去除的高效通信方法 2.1 问题定义 表 1 总结了本文所用到的符号和对应的含义。为了提高联邦学习的通信效率,本文将联邦学习的整个优化过程表示为一个双目标优化问题。第一个优化目标 P1是减少终端设备与云服务器之间的总传输比特数,主要包括上行和下行传输比特数。
22、具体地,定义tb为所有设备在第t轮迭代上传至云服务器的总传输比特,tb为第t轮迭代服务器传输至终端设备的下行传输比特数。那么,整个模型训练过程的总传输比特数可定义为每轮迭代传输比特数的累加。假设全局模型经过T轮迭代后收敛,记TB为累计通信比特数,则有 1TTtttBbb(1)那么,第一个优化目标1P为 1minimize TPB(2)由于通信比特的减少不应该以牺牲模型的准确率为代价,因此,本文的第二个优化目标2P是保证训练模型的准确率。记TA为经过T轮迭代后全局模型的收敛准确率,则有 82 通 信 学 报 第 44 卷 2maximize TPA (3)表 1 符号和对应的含义 符号 含义()
23、F 全局加权平均损失函数()iF 设备 Ni第 t 轮迭代的本地损失函数()itF 设备 Ni第 t 轮迭代的梯度值 i 设备 Ni的学习率,i t 设备 Ni第 t 轮迭代的本地模型更新 t 第 t 轮迭代的全局模型参数 T 第 T 轮迭代的全局模型参数 iD 设备的本地数据集 D 全体样本空间 N 终端设备数目 损失函数容忍度 原始数据集 X 的核心数据集 TA 全局模型的收敛准确率 TB 累计通信比特数 2.2 模型框架 为了实现式(3)中的目标,本文从数据冗余的角度,提出了冗余数据去除的联邦学习高效通信方法。如图1所示,所提方法的总体流程主要包括4 个步骤,以第t轮迭代为例进行如下说明
24、。1)核心数据集构建。每个设备i从其原始数据集i中去除一部分冗余数据,得到核心数据集i。注意,虽然i的规模比i要小很多,但i具有与i相同的样本空间。2)本地模型训练。每个设备i根据其核心数据集i进行本地模型训练,得到其本地模型更新,i t。3)模型演化。每个设备i根据第t轮迭代的模型剪枝率t对其本地模型进行稀疏化,然后上传稀疏化后的本地模型,i t至云服务器。云服务器在接收到稀疏化后的本地模型之后,进行全局模型聚合,并得到更新的全局模型1t。此外,为了适配所有用户的核心数据和减少下行的通信比特数,所提方法在云服务器端对更新的全局模型进行二次剪枝。4)模型下发。云服务器将剪枝之后的全局模型1t下
25、发给每个设备,模型训练进入第1t 轮迭代。2.3 联邦核心数据集构建 基于敏感度取样的核心数据集构建是目前主流 图 1 冗余数据去除的联邦学习高效通信方法 第 5 期 李开菊等:冗余数据去除的联邦学习高效通信方法 83 的工作,其主要包括集中式28和分布式292种场景。直接将现有方法应用于联邦学习场景不仅会严重影响核心数据集的提取质量,改变原有数据的分布特点,甚至会严重降低训练模型的准确率。与传统方法相比,所提方法进行了2个方面的改进。一方面,基于联邦学习的non-IID特性,给出了新的核心数据集损失函数容忍度的定义。设置核心数据集联合损失函数容忍度,并将定义为只有一个设备的核心数据集被用于模
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 冗余 数据 去除 联邦 学习 高效 通信 方法 李开菊
![提示](https://www.zixin.com.cn/images/bang_tan.gif)
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。