![点击分享此内容可以赚币 分享](/master/images/share_but.png)
基于对比学习的标签带噪图像分类.pdf
《基于对比学习的标签带噪图像分类.pdf》由会员分享,可在线阅读,更多相关《基于对比学习的标签带噪图像分类.pdf(8页珍藏版)》请在咨信网上搜索。
1、基于对比学习的标签带噪图像分类李俊哲,曹国(南京理工大学计算机科学与工程学院,南京210094)通信作者:曹国,E-mail:摘要:标签噪声会极大地降低深度网络模型的性能.针对这一问题,本文提出了一种基于对比学习的标签带噪图像分类方法.该方法包括自适应阈值、对比学习模块和基于类原型的标签去噪模块.首先采用对比学习最大化一幅图像的两个增强视图的相似度来提取图像鲁棒特征;接下来通过一种新颖的自适应阈值过滤训练样本,在模型训练过程中根据各个类别的学习情况动态调整阈值;然后创新性地引入基于类原型的标签去噪模块,通过计算样本特征向量与原型向量的相似度更新伪标签,从而避免标签中噪声的影响;在公开数据集 C
2、IFAR-10、CIFAR-100 和真实数据集 ANIMAL10 上进行对比实验,实验结果表明,在人工合成噪声的条件下,本文方法实验结果均高于常规方法,通过计算图像鲁棒的特征向量与各个原型向量的相似度更新伪标签的方式,降低了噪声标签的负面影响,在一定程度上提高模型的抗噪声能力,验证了该模型的有效性.关键词:深度学习;标签噪声;对比学习;类原型;自适应阈值引用格式:李俊哲,曹国.基于对比学习的标签带噪图像分类.计算机系统应用,2023,32(12):104111.http:/www.c-s- Noisy Image Classification Based on Contrastive Lea
3、rningLIJun-Zhe,CAOGuo(SchoolofComputerScienceandEngineering,NanjingUniversityofScienceandTechnology,Nanjing210094,China)Abstract:Labelnoisecangreatlyreducetheperformanceofdeepnetworkmodels.Toaddressthisproblem,thisstudyproposesacontrastivelearning-basedlabelnoisyimageclassificationmethod.Themethodin
4、cludesanadaptivethreshold,contrastivelearningmodule,andclassprototype-basedlabeldenoisingmodule.Firstly,therobustfeaturesoftheimageareextractedbymaximizingthesimilaritybetweentwoaugmentedviewsofthesameimageusingcontrastivelearning.Then,anoveladaptivethresholdfilteringtrainingsampleisusedtodynamicall
5、yadjustthethresholdbasedonthelearningstatusofeachclassduringmodeltraining.Finally,aclassprototype-basedlabeldenoisingmoduleisintroducedtoupdatepseudo-labelsbycalculatingthesimilaritybetweensamplefeaturevectorsandprototypevectors,thusavoidingtheinfluenceoflabelnoise.Comparativeexperimentsareconducted
6、onthepubliclyavailabledatasetsCIFAR-10andCIFAR-100andtherealdatasetANIMAL10.Theexperimentalresultsshowthatundertheconditionofartificiallysynthesizednoise,theproposedmethodoutperformsconventionalmethods.Byupdatingpseudo-labelsbasedonthesimilaritybetweentherobustfeaturevectoroftheimageandvariousprotot
7、ypevectors,thenegativeimpactofnoisylabelsisreduced,andtheanti-noiseabilityofthemodelisimprovedtocertainextent,verifyingtheeffectivenessoftheproposedmodel.Key words:deeplearning;labelnoise;contrastivelearning;classprototype;adaptivethreshold计算机系统应用ISSN1003-3254,CODENCSAOBNE-mail:ComputerSystems&Appli
8、cations,2023,32(12):104111doi:10.15888/ki.csa.009339http:/www.c-s-中国科学院软件研究所版权所有.Tel:+86-10-62661041基金项目:国家自然科学基金(62201282);江苏省自然科学基金(BK20231456)收稿时间:2023-06-21;修改时间:2023-07-19;采用时间:2023-07-27;csa 在线出版时间:2023-10-20CNKI 网络首发时间:2023-10-23104系统建设SystemConstruction1引言深度神经网络的成功很大程度上取决于正确标记的大规模训练数据集.然而,这些
9、大规模数据集的收集成本和时间成本都很高.为了缓解这一问题,人们常通过以下方式获取标签数据:非专业标注人员标注、众包平台或其他来源获取标签.通过这些方法获取的数据标签可以降低成本,但不可避免地会带来标签噪声.如图 1 所示,对标注人员来说从巨嘴鸟中识别犀鸟是非常困难的.(a)巨嘴鸟(b)犀鸟图 1巨嘴鸟与犀鸟因此如何从带噪声标签的数据集中学习逐渐成为深度学习的一项重要研究1.目前基于深度学习的噪声标签算法可以归纳为以下 4 类:基于数据的噪声标签算法、基于损失函数的噪声标签算法、基于训练方式的标签噪声学习方法、基于模型的标签噪声算法.首先是基于数据的标签噪声学习算法.最直观的想法就是找出疑似标注
10、错误的数据,通过更改样本权重或者修改样本标签的方式来改善模型学习效果.如张增辉等2提出的动态概率抽样方法,通过统计样本的标签置信度对样本分区.陈庆强等3采用欧氏距离度量样本分布的密度来划分不同的区域,按照分区采用不同的规则过滤标签噪声.这类方法主要通过分区对样本进行重加权的方式过滤噪声,但是需要手动设计权重函数和超参,因此很难实际应用.标签重修正通过对样本标签进行一定程度地修改来提高分类器的性能.例如余孟池等4利用训练好的基网络预测噪声标签.基于教师-学生网络的架构对标签进行软化,使得学生网络能够在带噪学习中更加鲁棒58.但是这类算法在高噪声率的情况下,容易将标签拟合到错误样本上,导致分类器效
11、果不理想.基于损失函数的标签噪声算法中关于损失函数的设计分为两个方面:一方面单独针对损失函数进行改进.例如损失校正法.损失校正的方法需要首先估计标签转移矩阵9,10,然后通过修改训练期间的损失函数来提高鲁棒性.前向传播和后向校正是两种基于标签转移矩阵的损失校正方法11.但是这种方法对于标签转移矩阵非常敏感,现实中的标签转移矩阵也很难估计.另一方面是向损失函数中加入正则化来提高鲁棒性.基于训练方式的标签噪声算法通过将半监督方法引入标签噪声模型中,改变模型的训练方法来缓解标签噪声对模型分类的影响.Self-training 算法12可以提高模型的鲁棒性.如 Jiang 等13提出的 Mentor
12、是利用数据驱动来训练基础网络的一种方法,但是在样本不均衡且含有噪声的数据集上效果不理想.Self-training算法同时容易出现错误累加14.Co-training 算法可以避免这种情况.在 Li 等15提出的 DivideMix 中,采用高斯混合模型来判别噪声样本,运用两个网络划分数据其性能比利用单个网络划分数据集的效果更佳.但是随着训练次数的增加,Co-training 算法在效果上会退化成 Self-training 算法中的 MentorNet.基于模型的标签噪声算法,通过修改模型架构来更好地建模噪声数据的转移矩阵.Sukhbaatar 等16提出了自顶向下和自底向上两种噪声模型.通
13、过这两种模型可以较为准确地从数据中学习噪声分布,提高神经网络的性能.Goldberger 等17通过使用附加的 Softmax层模拟期望最大算法优化的似然函数,提高了模型的普适性.但是这种方法在每次预测后都要重新训练模型.Han 等18用人类的经验为先验知识,利用人类对无效标签转换的认知,可以对噪声进行约束建模.由于其是人工设计的,因此不具备噪声适配层的可扩展性.对模型进行正则化处理,在不改变模型参数量的前提下能够有效地提高模型的泛化能力.Li 等19提出一种噪声容忍训练算法,首先进行元学习更新,之后在进行传统的梯度更新.Jindal 等20添加了一个应用了 dropout正则化的额外的 So
14、ftmax 层,认为它可以提供更鲁棒的训练,以此防止由于 dropout21随机性而产生的记忆噪声.但是对模型进行正则化可能会降低模型的表达能力,使其无法充分拟合数据集.并且正则化技术通常需要调整超参数,需要花费大量的时间和精力.目前研究表示,对比学习模型可以获取图像鲁棒的特征表示,不需要人工参与且泛化性好,在高噪声率下依旧拥有良好的性能.目前使用的对比学习方法2225需要通过最小化正样本对之间的距离和最大化负样本对之间的距离来实现.利用对比学习拉近相似样本拉远相斥样本的特性,Wang 等26将对比学习引入噪声标签图像分类的工作中,产生了很好的分类效果.Yao2023年第32卷第12期http
15、:/www.c-s-计 算 机 系 统 应 用SystemConstruction系统建设105等27、Zhang 等28也基于对比学习进行了相关研究.这些对比学习方法得益于大量的负样本.但是这些方法区分正负样本对的途径是不可靠的,可能会引入错误的样本对,从而影响对比学习得到的特征表示.本文采用一种较新的对比学习方法 SimSiam29,该方法直接最大化图像两个视图之间的相似性,而不使用存储负样本的方式,保证对比学习得到的特征表示不受影响.本文基于 SimSiam 框架,引入基于类原型的标签去噪策略来逐步更新伪标签.使用自适应阈值方法根据模型学习情况自适应地调整阈值.在多个数据集上进行对比实验
16、,验证了本文所提模型的有效性.本文的主要工作如下.(1)本文提出一种新的对标签噪声鲁棒的图像分类方法,该方法使用对比学习与类原型模块结合,可以对带有标签噪声的数据进行准确分类.(2)使用自适应阈值方法过滤训练样本.避免由于固定阈值设置过高,导致模型初期训练通过阈值的样本数量过少,参数更新缓慢,以及对于较难学习的样本分类效果不好的问题.(3)在 3 个公开数据集上进行实验,验证了本文方法的性能高于同类方法.2相关工作最近的研究表明对比学习获取图像的鲁棒特征可以提高模型的抗噪声能力,主要通过吸引正样本对,排斥负样本对实现,如图 2 所示.xvvyyEncoder FEncoder FContras
17、tivelossGradientGradient图 2对比学习流程图图 2 中 x 时输入图像,v 和 v是图像经过两次数据增强后得到的视图.使用经过各自编码器后得到对应的特征向量计算对比学习损失.这类方法的正样本对由同一个样本的两个视图组成,其他数据对为负样本对.MOCO30在此基础之上通过维护一个负样本队列,增大负样本的数量使模型性能得到了比较明显的提高.Chen 等31提出的 SimCLR 直接使用当前批次中共存的负样本,取得较好的实验结果.田浩江等32在 SimCLR的基础上对特征提取部分进行改进提高了分类精度.这两种方法都需要较大的批次才能正常工作.这种通过增大负样本数量的方式会使模
18、型的训练时间增长,并且会增加模型超参数数量.不仅如此,这类方法引入标签噪声学习中还会带来样本类别判断错误问题.如PiCO 将 MOCO 方法引入标签噪声学习中,正负样本对的区分通过分类器的分类结果来判断,分类器错误的分类结果无疑会影响对比学习得到的特征表示.本文使用的 SimSiam 框架无需使用大量的负样本,通过最大化一个图像两个视图之间的相似性来学习图像的特征表示,网络结构如图 3 所示.Image xEncoder f1Predictor hSimilarityEncoder f2x1x2Stop-gradient图 3SimSiam 网络结构图 3 中 x1、x2为图像经过两次数据增强
19、后的视图.本文在此基础之上加入了基于类原型的标签去噪模块,使用自适应阈值过滤训练样本,提高了模型的抗噪声能力.3CLPAT 模型YD=(xi,Yi)ni=1xiYi Yyiyi Yi本文的标签噪声问题使用以下方式定义:设 X 为输入样本空间,=1,2,C为输出标签空间.本文考虑一个训练样本集,其中每一个元组有一个图像和一个候选标签集组成.与监督学习任务相同,本模型学习的任务是获得一个函数映射,预测输入图像的真实标签.但不同的是,在标签中设置了噪声增加了更多的不确定性.本文假设真实标签 隐藏在它的候选集中,即,但这对模型来说是不可见的.因此与监督学习相比,学习的过程存在固有的模糊性.在本节中将详
20、细描述基于对比学习和类原型的标签噪声学习框架,主要有两个关键组件,分别为对比学习提取特征模块和基于类原型的标签去噪模块,这两部分耦合为一个整体共同训练,取得了较好的实验结果.计 算 机 系 统 应 用http:/www.c-s-2023年第32卷第12期106系统建设SystemConstruction3.1 对比学习模块x1x2本模块的架构如图 4 所示,对图像 x 进行两次随机数据增强,得到增强视图、.将这两个视图分别输入到对应的编码器 f1、f2中处理.这两个编码器分别由一个骨干网络(ResNet)组成.使用动量编码器的方式更新两个分支之间的参数,如式(1)所示:f2=mf1+(1m)f
21、2(1)其中,为编码器的参数.编码器 f1输出的特征向量经过两个 MLP 模块后得到输出向量 p,m 为人工设置的超参数.Augmented viewAugmented viewEncoder f1Encoder f2MLPMLPMLPMomenturnAuto-tauMomenturnClassifiermnpzLoss-clsLoss-contUpdatingPseudo-updateStop-gradientPrototypes图 4CLPAT 网络结构图编码器 f2的输出通过 MLP 模块后得到向量 z,通过极小化这向量 z 和向量 p 的负余弦相似度,来进行对比学习,提取图像鲁棒的特
22、征表示.如式(2)所示:S(p,z)=pp2zz2(2)2其中,是 L2 范数.该模块的任务是用输出向量 p 来预测输出向量 z,在无需使用标签的情况下从图像中学习有意义的表示.在编码器 f2这一条分支使用到了stop-gradient 操作29.实验表明使用 stop-gradient 操作,可以有效避免对比学习出现崩溃解的问题.因此对比学习的损失函数定义如式(3)所示:Lcont=S(p,stopgrad(z)(3)网络中的 MLP 模块以全连接层-BatchNorm 层-ReLU 激活函数-全连接层形式构成.如图 5 所示.InputLinearReLULinearOutputBatch
23、Norm图 5MLP 模块3.2 基于类原型的标签去噪模块本文创新性地引入基于类原型的标签去噪模块.c对每一个类别保留一个原型向量,c 1,2,C.该向量视为每一个类别最具有代表性的特征向量.开始训练时会为每一个样本初始化伪标签.通过计算从MLP 模块得到的特征向量与每一个类原型的相似度来判断当前样本的类别.并通过移动平均的方式逐步更新当前样本的伪标签.通过伪标签的加入,降低原始标签中噪声的影响.3.2.1伪标签更新首先对每个样本初始化其对应的均匀分布的伪标签,使用式(4)进行初始化操作:sj=1|Yi|(j Yi)(4)sjYi其中,为样本第 j 个类别的初始化值,为该样本的带噪标签向量.然
24、后根据从 MLP 中得到的特征向量与每个类别的原型向量的相似度计算结果来逐步更新伪标签,伪标签的更新通过式(5)移动平均的方式实现:s=s+(1)vvc=1,if c=argmaxjYqTj0,else(5)其中,q 是从 MLP 中得到的特征向量,为原型向量,v 是与该样本最相似的类原型所属类别的独热向量,是人工设置的超参数.对每个输入样本 x 而言,本文认为在计算相似度时,与该样本相似度最高的原型向2023年第32卷第12期http:/www.c-s-计 算 机 系 统 应 用SystemConstruction系统建设107量所属类别是该样本的真实标签.通过使用移动平均的方式更新伪标签,
25、可以保证在模型训练不稳定的初期,平滑地将伪标签向正确的方向更新.当一个样本的特征向量始终与某个原型相似度最高,随着训练的逐渐进行,该样本的伪标签几乎可以收敛成一个独热向量 n.使用交叉熵损失来训练分类器,对每一个样本的损失使用式(6)计算:Lcls(f;xi;Yi)=Cj=1si,jlog(fj(xi)s.t.jYisi,j=1andsi,j=0,j Tt(c)(argmax(f(x)=c)(10)t(c)=t(c)maxct(11)其中,式(10)中的 f(x)为分类器输出结果.这样进行归一化有一个好处:对于学习效果最好的类别,其缩放因子在归一化后等于 1,这表示当前对于该类别的阈值设置的比
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 对比 学习 标签 图像 分类
![提示](https://www.zixin.com.cn/images/bang_tan.gif)
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。