一种自适应多任务学习方法.pdf
《一种自适应多任务学习方法.pdf》由会员分享,可在线阅读,更多相关《一种自适应多任务学习方法.pdf(7页珍藏版)》请在咨信网上搜索。
1、第43卷第3期2023年5月DOI:10.13954/ki.hdu.2023.03.005杭州电子科技大学学报(自然科学版)Journal of Hangzhou Dianzi University(Natural Sciences)Vol.43 No.3May 2023一种自适应多任务学习方法张传刚,杨冰(杭州电子科技大学计算机学院,浙江杭州310 0 18)摘要:传统多任务学习在网络模型和任务权重方面灵活性偏低,不足以应对复杂场景。为此,提出一种自适应网络模型和任务权重的多任务学习方法。首先,运用决策方法学习多任务网络模型结构;其次,利用多任务损失函数动态调整任务权重;最后,在学习到的网络
2、模型和任务权重下训练网络权重,达到特征共享和任务权重之间的权衡。实验结果表明,相比于固定的网络模型和任务权重,提出方法提高了语义分割和表面法线预测性能。关键词:神经网络;多任务学习;特征共享;任务权重中图分类号:TP389.1文献标志码:A文章编号:10 0 1-9 146(2 0 2 3)0 3-0 0 30-0 70引言多任务学习(Multi-task Learning,M T L)1是一种基于共享表示,把多个相关任务放在一起学习以改善学习效果的机器学习方法。广泛应用于自然语言处理 2 、计算机视觉 3 和机器人 4等领域。与传统的单任务学习不同,,MTL能同时学习多个相关任务,利用它们的
3、共有特征提升模型的性能。MTL面临2 个巨大挑战,一是如何实现特征的共享,二是如何权衡多任务之间的权重。已有的大多数研究中,一般通过软硬参数共享机制 51实现特征共享,或是采用加权线性损失来权衡多个任务,每个任务的损失函数权重均由人工设置 。但是,随着任务不断复杂,通过人工调整去寻找合适的网络模型和损失权重,不仅代价高昂,效果也不尽如人意。不同学习任务需要不同的共享模式和损失权重,不恰当的共享模式可能导致“负迁移”,不恰当的权重也可能导致不同任务学习效果的悬殊。为此,本文提出一种自适应网络模型和任务权重的多任务学习方法,在自适应学习网络模型过程中,通过动态调整权重,学习到与目标任务更加匹配的模
4、型和权重,获得更好的性能。1多任务模型多任务学习分为硬参数共享和软参数共享2 种实现方式。硬参数共享中,所有任务共用一个低层次网络学习共享特征,在高层产生特定分支学习特定任务的特征 8 。这种共享模式中,只有部分方法采用多分支结构,很难保证模型适用多个任务。软参数共享中,通常为每个任务单独分配一个网络,再附加某些约束以实现网络之间的共享,如十字绣网络 9 提出了共享单元,用于在2 个任务相邻层之间实现特征共享;闸网络 10 1通过允许学习分层、子空间和跳过连接的选择性实现共享;神经判别降维(NeuralDiscriminative Dimensionality Reduction,ND D R
5、)11在十字绣网络的基础上,引人降维技术;多任务注意力网络(Multi-TaskAttentionNetwork,M T A N)12 在单任务网络中加人注意力机制,用于学习特定任务的特征。这些网络模型虽然解决了一些多任务学习的问题,但当任务数量增加时,产生的庞大参数数量是一个巨大的挑战。为此,Sun等 6 提出一种自适应网络模型,在只有1个网络的基础上,寻找与任务较匹配的模型,很好地解决了网络参数随着任务数线性增加的问题;Liu等 13 提出任务自适应激收稿日期:2 0 2 2-0 5-12作者简介:张传刚(19 9 9 一),男,研究方向:多任务学习。E-mail:cg_。通信作者:杨冰,
6、副教授。研究方向:计算机视觉、模式识别。E-mail:。第3期活网络(TaskAdaptiveActivationNetwork,T A A N),自动学习MTL的最优网络结构;Yang等 14 提出一种基于拉格朗日乘子策略的多重损失函数权重自适应多任务学习方法,提高了艺术分类和跨模态艺术检索性能;刑新颖等 15 提出一种基于自适应多任务卷积神经网络的脑网络分类方法,通过添加辅助任务和自适应权重提高了脑网络分类效果。随着多任务模型的不断成熟,多任务学习已广泛应用于计算机视觉。AdaShare作为一种新模型,同时学习了语义分割、深度估计和表面法线预测等任务,遗憾的是,在权衡任务方面,AdaSha
7、re采用的是传统方法,即加权线性损失,通过人工来设置损失权重。为解决此问题,本文尝试利用同方差任务不确定性结合多个损失函数来同时学习多个目标,对其进行改进。2自适应学习方法本文提出的自适应多任务学习方法包括3个步骤,首先,提出一种决策方法,通过优化决策参数从而学习到较优的网络结构;其次,设计了一种新的多任务损失函数,学习网络模型的同时动态调整任务权重,最后,在学习到的网络模型和任务权重下训练网络权重。2.1决策方法给定一组相关的任务,假设其集合为T=(T I,T,T),对于任务T模型中的某一层I,本文决策方法的目的在于寻找1个决策变量ul.k。当ul.=0时,任务k跳过第l层;当ul.k=1时
8、,任务k选择第1层,每个任务的决策由一组决策变量组成,从而构成任务集合T的决策分布。本文的多任务模型决策方法如图1所示。对于ResNet中的L个残差块中的某一块,当有多个任务选择它时为共享层,否则为特定任务层,以一推之,最终所有任务的决策分布为U=(u l.)L,K,其中ul.表示任务k关于第1个残差块的决策,共有选择或跳过2 种决策,显然其数量级为2 LxK,当残差块和任务数线性增长时,内部的参数数量呈现为指数分布,若想人工设计网络结构,难度极大。因此本文采用Gumbel Softmax采样 16 方法实现这个决策,并通过反向传播方法对其进行优化,寻找效果较优的决策分布。多任务模型决策A快策
9、B由于决策变量ul,是离散的,因此本文通过Gumbel Softmax采样使其连续化。假设任务k选择第1个残差块的概率为l,则每个残差块的决策分布为元.=1一l.k,.,得到的决策为:(1)jE1o,1)式中,Gl,=一lg(一lgU),U l,采样于标准(O,1)均匀分布。显然argmax函数不可微,因此GumbelSoftmax采样利用重参数化技巧消除式(1)中的argmax操作:张传刚,等:一种自适应多任务学习方法图1多任务模型决策方法ul.=argmax(1g元l.(j)+Gl.(j)31A前向传播B反向传播任务A任务B共享块B跳过块32式中,iE(0,1)对应跳过和选择决策,为一个大
10、于零的参数,它决定函数Ul.的平滑程度。当趋近于0时,Ul.无限接近于元l.k,当大于0 时,Ul.是一个平滑的曲线,可以通过梯度下降法对其进行优化。实验中,本文将t初始化为5,然后不断衰减至0,预训练结束后,得到所有任务的决策分布。图2 给出本文预训练学习到的多任务网络模型。语义分割杭州电子科技大学学报(自然科学版)exp(1g l.k(j)+Gl.(j)/t)Ut.k2,exp(1g.(i)+G(.)/)iE(o,1)2023年(2)表面法线预测图2 多任务网络模型从图2 可以看出,对于语义分割任务,多任务网络模型为其分配了较多的残差块,且更倾向于选择后面几层,而对于表面法线任务这类困难任
11、务,却选择了较少的残差块,除此之外,这2 个任务更倾向于学习特定任务的知识,且分布较稀疏。2.2损失函数传统方法中,通常采用人工设置任务权重来权衡所有任务,即:CML=ZoLk式中,w和L分别为任务k的权重和损失。但固定权重显然不够灵活,不足以应付某些复杂任务,如场景理解任务。基于此,本文设计了一种新的用于深度回归和分类的多任务损失函数。给定一组输人数据,同一模型对于不同的学习任务往往有不同的输出,任务的选取对模型的性能有着很重要的影响。这种问题被定义为任务依赖或同方差不确定性,与数据依赖不同,它不受输入数据影响,而是随着不同的任务变化而变化,属于贝叶斯模型中不确定性类型的一种,在多任务学习条
12、件下,则反映为回归与分类任务存在的不确定性。因此,本文尝试依据同方差不确定性推导具有高斯似然最大化的多任务损失函数。给定输人数据,网络权重为W,模型输出为W()。针对回归任务,本文将其概率模型定义为高斯分布,模型输出作为均值,即:(4)式中,为回归任务的观测噪声标量,可通过训练获得。在极大化似然中,通常最大化其对数形式,对式(4)两边取对数可得:(5)因此,将回归类任务的损失写为:L(W,o)=-lgp(y/fw()y-fW()+Igo式中,y为数据的真实标签,显然(y一fw()表示一种回归任务的损失,令Li(W)=((3)p(y/fw(c)=N(fw(),o)lgp(y/fw()8一1go(
13、6)(y一fW()第3期则此类任务的损失可写为:而在分类任务中,通常采用Softmax函数获取模型的输出概率,在此基础上,本文对输出以比例放缩,得到输出为:(8)式中,6 2 为一个正的标量,可解释为玻尔兹曼分布,被称为温度,可通过学习获得,它决定玻尔兹曼分布的平滑程度,其对数形式可写为:Igp(y=c/fw(a),o)=f(a)-lgexp(f(a)式中,fw()为模型输出向量fw()中的元素。综上分析,假设y1,2 为回归和分类任务的原始标签值,那么联合损失即为:L(W,o1,o2)=-lgp(y1,y2=c/fw()=-IgN(y1;fw(),oi)Softmax(y2=c;f(),o2
14、)(y1-f(a)+Igo1 lgp(y2=c/w(),o2)1Cr(W)+Igol-r(a)+Igexp(62张传刚,等:一种自适应多任务学习方法L(W,o)=-lgp(y/fw()Li(W)+1gop(y I fw(),o)=Softmax(6233(7)(9)exp1Li(W)+lgo1+1Ci(W)+1goi+1i式中,La(W)=-lgSoftmax(y2,f(c)2Zexp(f.(a),为便于计算,本文将分式替换为6 2。在实际训练中,6 1和2 统一被初始化为1,为避免出现负权重和方差为0 的情况,实验采用1g作为方差,e作为任务的权重,当。增加时,对应任务的权重降低,6 2 同
15、理,实现了动态调整任务权重。除此之外,为了同时提高效率和精度,额外加人2 种损失,即稀疏损失和共享损失。稀疏损失通过最小化某个残差块被选择的概率的对数,使任务选择更少的残差块,以减少模型参数量,稀疏损失为:(11)L.kK式中,l,为任务k选择第1个残差块的概率。共享损失最小化多个任务选择某个残差块的概率的相对差值,鼓励任务在底层网络进行更多的共享,共享损失为:(12)ki.k2KKL式中,L为残差块总数,l为当前残差块的序号,l.k,和.k分别为任务ki和k2选择第/块的概率,l越小,概率相对差值的权重越大。L2(W)+lg21 L2(W)+Igo2为分类任务的交叉熵损失,当2 趋近于1时,
16、expCsparsity=(Zexp(f.(a)(10)34最终得到多任务损失函数为:Litoal=(e e L+w)+wsp Lsparity+wsh Lsharing式中,W=lgo,w s p 和sh分别为稀疏损失和共享损失对应的权重,为一组常量,保证模型学习在提高精度的同时考虑到资源效率。3多任务模型实验与分析3.1实验环境本实验选取Pytorch作为深度学习框架,环境参数如下:CPU主频为3.50 GHz,G PU 型号为NVIDIA TITAN RTX,显存为 2 4 GIB。3.2数据集和任务NYUv217是由室内场景RGB图像构成的数据集,本文在这个数据集上学习语义分割和表面法
17、线预测任务,其中语义分割共有40 类,表面法线任务选用文献 11提供的数据集,分割数据集后,训练集共7 9 5张图像,验证集共6 54张图像。实验中,将输入图像大小调整为2 2 42 2 4,并在2 56 512 分辨率上进行测试。3.3实验设置本文选取ResNet-18(8个残差块)作为网络模型,其中主干网络由Deeplab-ResNet181和atrous卷积组成,特定任务层由空洞空间金字塔池化层(Atrous Spatial Pyramid Pooling,A SPP)18 组成。预训练过程中,首先通过硬参数共享来“预热”网络权重和任务权重,然后进行决策参数训练,共进行2 0 0 0 0
18、次迭代,其中预热40 0 0 次送代,再训练过程中,在预训练学习到的网络模型上调整网络权重,共进行20000次选代。实验通过自适应动量(Adaptivemomentum,A d a m)方法优化决策分布参数,使用随机梯度下降(StochasticGradientDescent,SG D)方法调整网络权重和任务权重。语义分割任务选取交叉熵损失,表面法线预测任务采用平均绝对误差(Mean Absolute Error,M A E)作为损失。预训练时,在单独分割的训练集上交替优化网络权重和决策分布参数,全程优化任务权重参数。为了更好地学习决策分布,按照文献 19 提出的课程学习方法,逐步扩大决策空间
19、,得到整个网络的决策分布。再训练时,先对预训练得到的决策分布进行采样,构造一个新的多任务网络模型,再选取预训练中效果最优的任务权重,在完整数据集上进行再训练。3.4参数选取实验中,参数设置如下:决策参数学习率为0.0 1,网络权重学习率为0.0 0 1,任务权重参数学习率为0.0003,随机梯度下降动量为0.9,稀疏损失权重为0.0 5,共享损失权重为0.0 5。3.5评价指标针对语义分割任务,选取所有类别交集和并集之比的平均值(MeanIntersectionoverUnion,MIoU)和像素精度(PixelAccuracy,PA)作为评价指标;针对表面法线预测任务,选取所有像素的预测值与
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 一种 自适应 任务 学习方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。