分布式网络的多任务扩散算法综述.pdf
《分布式网络的多任务扩散算法综述.pdf》由会员分享,可在线阅读,更多相关《分布式网络的多任务扩散算法综述.pdf(18页珍藏版)》请在咨信网上搜索。
1、文章编号:1003-0530(2023)11-1901-18第 39 卷 第 11 期2023 年11 月信号处理Journal of Signal ProcessingVol.39 No.11Nov.2023分布式网络的多任务扩散算法综述靳丹琦1 陈捷2 陈景东2(1.武汉大学电子信息学院,湖北武汉 430072;2.西北工业大学航海学院智能声学与临境通信研究中心,陕西西安 710072)摘 要:在分布式网络中,如何从带噪的实时数据流中估计潜在的模型参数是一个非常重要而极具挑战的问题。应对该问题的一种有效途径是设计扩散算法,通过网络局部信息交换和自组织协同方式来估计网络中所有节点的模型参数。
2、相关方面早期的研究主要关注的是单任务问题,即所有节点估计同一个模型参数。但实际应用中不同节点往往需要应对不同的估计任务,同时多个待估计的模型参数又可能具备一定的关联性,所以近年来人们将研究重点聚焦到了多任务问题,包括多任务关系建模以及参数优化问题的设计与求解等,并取得了一些重要进展。本文对分布式网络中多任务问题的建模以及当前常用的多任务扩散算法进行简要综述,内容涵盖无监督类型的扩散算法和有监督类型的扩散算法等。具体而言,针对使用无监督方式设计多任务扩散算法,介绍了静态组合矩阵的选取、自适应组合矩阵的设计、两个组合矩阵的组合结构,并简单讨论了三者的适用场景。针对使用有监督方式设计多任务扩散算法,
3、讨论了基于梯度投影法和正则化架构的两种设计方式,并借助文献中的一些典型算法对这些设计方式进行说明。论文侧重于算法原理、算法架构和求解思路等方面的探讨,具体的算法实现细节感兴趣的读者可以参考相应的文献。关键词:分布式参数估计;自适应滤波;扩散算法;多任务;无监督算法;有监督算法中图分类号:TN912.3 文献标识码:A DOI:10.16798/j.issn.1003-0530.2023.11.001引用格式:靳丹琦,陈捷,陈景东.分布式网络的多任务扩散算法综述 J.信号处理,2023,39(11):1901-1918.DOI:10.16798/j.issn.1003-0530.2023.11.
4、001.Reference format:JIN Danqi,CHEN Jie,CHEN Jingdong.A review of multitask diffusion strategies in distributed networks J.Journal of Signal Processing,2023,39(11):1901-1918.DOI:10.16798/j.issn.1003-0530.2023.11.001.A Review of Multitask Diffusion Strategies in Distributed NetworksJIN Danqi1 CHEN Ji
5、e2 CHEN Jingdong2(1.School of Electronic Information,Wuhan University,Wuhan,Hubei 430072,China;2.Centre of Intelligent Acoustics and Immersive Communications,School of Marine Science and Technology,Northwestern Polytechnical University,Xi an,Shaanxi 710072,China)Abstract:In a distributed network,it
6、is important yet challenging to estimate model parameters from noisy streaming data.To cope with this problem,diffusion strategies have been intensively studied over the past decade,which attempt to estimate the model parameters cooperatively by authorizing a local exchange of data within neighborin
7、g nodes in a self-organized manner.Within the literature of diffusion strategies,the earliest such effort can trace back to the so-called single-task problem,in which all the nodes in a distributed network estimate the same parameter.In real applications,however,different nodes may have to estimate
8、different but related parameters.By taking these relations into consideration,the more general and flexible multitask problem has been proposed recently.The keys to solving multitask problems 收稿日期:2023-06-02;修回日期:2023-09-11基金项目:自然科学基金重大项目(62192710)及其课题(62192713);自然科学基金面上项目(62171380);陕西省科技计划重点产业创新链(群
9、)(2022ZDLGY01-02);西安市科技产业化计划(XA2020-RGZNTJ-0076);武汉大学“卓越博士后”计划等的资助信号处理第 39 卷include a proper modelling and formulation of the real problem,as well as designing effective diffusion strategies to achieve a useful solution.Over the recent years,a great amount of multitask diffusion strategies have been
10、 proposed.In this paper,we discuss the basic principles underlying those multitask diffusion strategies,covering the topics of both the unsupervised learning and the supervised learning,which are two dominant routines of designing multitask diffusion strategies.Specifically,on the one hand,for multi
11、task diffusion strategies based on the unsupervised learning,we introduce some details on the selection of both static combination matrices and adaptive combination matrices,along with a novel combination scheme for two combination matrices.The differences among them are further highlighted,so as to
12、 make them clear for the interested reader.On the other hand,for multitask diffusion strategies based on the supervised learning,the so-called projected gradient descent method and several regularization based algorithms have been discussed,as well as several typical references about these algorithm
13、s are introduced.In addition,to make the above algorithms to be clear,several examples are given at the end of each algorithm.This paper mainly focus on the principles and structures of each algorithm,and due to space limit,we will not present much detail on the derivation of every individual algori
14、thm.The interested reader is therefore encouraged to follow the respective references listed in the paper.Key words:parameter estimation;adaptive filtering;diffusion strategy;multitask;unsupervised learning;supervised learning1引言经典自适应信号处理算法是一类从实时数据流中估计参数的算法,它通过对实时数据流进行自学习来适应或跟踪模型参数的变化,从而逼近一定准则下最优滤波器
15、估计模型参数的性能。在过去的六十余年里,经典自适应信号处理算法逐渐发展成熟,它被成功应用于通信1、控制2、雷达3、声呐4、地震5、生物医学6等领域。近二十年来,移动通信终端7、边缘计算设备8、云计算平台9等应用产生了对多个交互设备协同处理的需求。为了方便建模和处理,学者们引入了“网络”的概念,设计了网络中自适应信号处理算法10-11。网络是由若干节点以及连接这些节点的链路组成的整体10-12。例如,移动通信终端和通信链路构成了移动通信网络。针对网络中自适应信号处理问题,学者们最早提出了集中式处理模式,即由选定的中心节点收集网络中所有节点的数据进行处理,并在处理完毕后将结果传回各个节点。虽然集中
16、式处理能更充分地利用整个网络的数据,但是也存在一些明显的弊端,包括11:(1)隐私性差。在一些场景中将其他节点的数据共享给中心节点会造成节点信息泄露,不利于节点的隐私保护。(2)鲁棒性差。若中心节点发生故障,则会导致整个网络崩溃。(3)可扩展性弱。对分散存储在不同空间位置的数据,受到通信距离、节点通信能力、通信时延的限制,无法将数据汇集到中心节点处理。对一些不适合进行集中式处理的场景,学者们提出了“分布式处理”模式:在一定的关联感知区域内,节点与邻近节点通过局部的信息交换和自组织的协同方式来逼近或者达到集中式处理的性能。在分布式处理模式中,通过定义节点以及节点之间的相互连接关系,分布式网络能够
17、对一些系统进行刻画和建模,包括电子电气工程领域中的传感器网络、分布式天线阵列、智能电网以及智能机器人群体等,这些都属于人工网络;也包括自然界中的鱼群、鸟群、蜂群等,它们都是生物集群网络。因而,研究分布式网络和分布式处理模式能够涵盖一些实际问题。在这些问题中,分布式网络通常需要处理具有时变特性的数据流,例如传感器网络需要感知并跟踪信道的变化、鱼群需要动态地确定饵料位置等。这要求分布式网络能够在每一时刻对目标参数进行重新估计,从而适应目标参数的变化。为了赋予分布式网络这样的能力,学者们深入研究了网络中分布式自适应信号处理。如表1所示,根据节点间信息流动的方式,将分布式网络中主流的自适应信号处理算法
18、分成三类:增量算法13-14、一致式算法15-16、扩散算法17-18。增量算法通过在网络中形成一个哈密尔顿环路19并依次访问环路中各节点实现信息交互与融合。而在一致式算法和扩散算法中,每个节点都与所有邻居节点进行信息交换,进而实现对网络各节点模型参数的协同估计。1902第 11 期靳丹琦 等:分布式网络的多任务扩散算法综述因为在任意网络中构建哈密尔顿环路是NP-难题,并且构建的哈密尔顿环路对节点和链路的失效都非常敏感,所以增量算法并不完全适用于分布式网络中自适应信号处理。而在作为候选的扩散算法和一致式算法中,扩散算法比一致式算法具有更优良的稳定性和更宽广的动态范围20,所以扩散算法是分布式自
19、适应信号处理的重点研究算法,同时也是本文的研究关注点。2扩散算法的起源与发展扩散算法的起源可以追溯到2007年。为了解决“分布式自适应网络中的节点如何通过协作方式估计同一个模型参数”的问题,2007年美国加州大学洛杉矶分校的Sayed教授和他的学生Lopes在文献 21 中提出了扩散算法。文献 21 中各节点模型参数的关系可以抽象成图1(a)。因为网络中所有节点协作估计同一个模型参数w,所以称这类扩散算法为“单任务扩散算法”。如表2所示,在早期的单任务分布式扩散算法研究中,学者们求解某一特定类型的数据模型或代价函数,得到了不同类型的扩散算法。因为扩散LMS类型算法研究了最简单、最普遍的线性模型
20、和均方误差代价函数,所以它最具有代表性。学者们随后对扩散LMS类型算法进行了深入研究,典型的研究工作介绍如下:(1)关于对实际场景建模和算法设计。研究了不完美的信息交换、量化误差、通信时延等因素对扩散LMS算法性能的影响22-24;通过求解优化问题为扩散LMS算法设计了自适应组合矩阵25-26;研究了异质网络中的扩散LMS 算法27;将模型参数的稀疏性考虑在内,利用次梯度(Subgradient)或近端算子(Proximal Operator)设计稀疏扩散LMS算法28-29;为了保证各节点性能不差于非协作情形,设计了具有一致性的扩散LMS算法30;设计了频域扩散LMS算法31等。上述工作侧重
21、于研究不同的实际问题场景,并针对这些场景设计扩散算法。(2)关于算法理论性能分析。从不同角度研究了使用独立同分布的不相关输入时扩散LMS算法的性能10,17、使用相关性输入时扩散LMS算法的性能32-33;从理论和实验两方面分析比较了扩散算法和一致式算法的性能,证明了扩散算法比一致式算法更稳定20等。(3)关于扩散算法的参数设置。利用启发式思表1增量算法、一致式算法和扩散算法的比较Tab.1A comparison of incremental strategy,consensus strategy and diffusion strategy算法类型增量算法一致式算法扩散算法是否构造哈密尔顿
22、环路是否否通信量小大大协作程度低高高对链路鲁棒性低高高稳定性/差好图1三种典型的分布式网络示意图(摘录自文献 41).(a)单任务网络;(b)多任务网络;(c)分簇多任务网络Fig.1Three typical distributed networks(extracted from reference 41).(a)Single task network;(b)Multitask network;(c)Clustered multitask network1903信号处理第 39 卷想或优化架构针对标准扩散LMS算法设计变步长算法34-35等。(4)关于算法拓展和应用。研究了扩散LMS算法在目
23、标定位与跟踪36、模拟鸟群和蜂群飞行行为37-38、模拟鱼群捕食行为39、认知无线电网络40等场景中的应用。随着研究工作的深入,学者们在后续工作中围绕具有一般性的代价函数展开研究。相关研究工作主要集中在“关于对实际场景建模和算法设计”和“关于算法理论性能分析”两方面1,包括:求解强凸、可微代价函数的扩散算法11,18;求解强凸、不可微代价函数的扩散算法53-55;求解非凸代价函数的扩散算法56-58;研究了单任务网络中的多目标优化问题,证明了使用固定步长时网络中所有节点的估计结果会收敛到同一个Pareto最优解59;研究了节点间通信不同步、网络拓扑变化、链路失败等因素对扩散算法性能的影响60等
24、。在实际场景中,分布式网络的每一个节点往往需要估计与其他节点不同、但又有一定内在关联的模型参数。为了刻画这些场景,2013 年笔者在文献 61 中首次将多任务模型引入到分布式扩散网络中,设计了“多任务扩散算法”,极大地丰富了扩散式自适应信号处理的内涵。在多任务扩散算法中,节点同时估计多个不完全相同但具有一定关联性的模型参数,并利用模型参数的关联性来进一步提高节点自身的估计精度。多任务模型赋予了扩散算法更多的自由度对实际问题进行抽象和建模。在一些实际应用中,使用多任务扩散算法能得到比单任务扩散算法更好的效果。图2给出了多任务扩散算法在模拟和分析自然界生物群体行为中的应用示例。自然界中诸如鱼群、蜂
25、群等生物群体存在一些群体协同行为,例如图2中鱼群协作觅食。因为鱼群的协作觅食是一种自组织行为,所以用分布式网络和扩散算法来建模分析是最合适的;此外,鱼群中不同个体往往需要捕食不同的食物源,而多个食物源相对于鱼群中不同个体又具有相似的方向向量,因而用多任务扩散算法来模拟分析鱼群行为是最准确的。多任务扩散算法也被应用于扬声器阵列的主动噪声控制62-64、帕金森疾病诊断65、视频监控网络的多目标定位跟踪66等场景中。图3给出了多任务扩散算法在扬声器阵列主动噪声控制中的应用示例62,64。在主动噪声控制中,扬声器阵列作为次级声源实时产生驱动信号,从而抵消声场中的噪声源。为了分摊扬声器阵列(声学传感器网
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 分布式 网络 任务 扩散 算法 综述
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。