基于储备池计算网络的小样本图像分类方法.pdf
《基于储备池计算网络的小样本图像分类方法.pdf》由会员分享,可在线阅读,更多相关《基于储备池计算网络的小样本图像分类方法.pdf(10页珍藏版)》请在咨信网上搜索。
1、第 38 卷 第 10 期2023 年 10 月Vol.38 No.10Oct.2023液晶与显示Chinese Journal of Liquid Crystals and Displays基于储备池计算网络的小样本图像分类方法王彬1,兰海2,俞辉2,3,郭杰龙2,3,魏宪2,3*(1.福州大学 先进制造学院,福建 泉州 362200;2.中国科学院 福建物质结构研究所,福建 福州 350002;3.中国福建光电信息科学与技术创新实验室(闽都创新实验室),福建 福州 350108)摘要:针对目前小样本学习方法易过拟合、跨域泛化能力不足等问题,受启发于储备池计算不依赖于训练而缓解过拟合的特性,
2、提出了一种基于储备池计算的小样本学习方法(Reservoir Computing based Network for Few-shot Image Classification,RCFIC)。整个方法由特征提取模块、特征增强模块和分类器模块构成。特征增强模块由储备池模块和基于储备池的注意力机制构成,分别对特征提取网络的特征进行通道级增强和像素级增强,同时联合余弦分类器促使网络学习具有高类间方差、低类内方差特性的特征分布。实验结果表明,本文算法在 Cifar-FS、FC100、Mini-ImageNet等数据集上的分类精度至少比现有方法高 1.07%,在从 Mini-ImageNet 到 CUB
3、-200 的跨域场景设置下的分类精度优于次优方法1.77%。同时,消融实验验证了 RCFIC 的有效性。所提方法泛化性强,能够有效缓解小样本图像分类中的过拟合问题并在一定程度上解决跨域问题。关键词:小样本学习;储备池计算;注意力机制;特征增强;图像分类中图分类号:TP391.4 文献标识码:A doi:10.37188/CJLCD.2022-0407Reservoir computing based network for few-shot image classificationWANG Bin1,LAN Hai2,YU Hui2,3,GUO Jie-long2,3,WEI Xian2,3*
4、(1.School of Advanced Manufacturing,Fuzhou University,Quanzhou 362200,China;2.Fujian Institute of Research on the Structure of Matter,Chinese Academy of Sciences,Fuzhou 350002,China;3.Fujian Science&Technology Innovation Laboratory for Optoelectronic Information of China(Mindu Innovation Laboratory)
5、,Fuzhou 350108,China)Abstract:Aiming at the problems that current few-shot learning algorithms are prone to overfitting and insufficient generalization ability for cross-domain cases,and inspired by the property that reservoir computing(RC)does not depend on training to alleviate overfitting,a few-s
6、hot image classification method based on reservoir computing(RCFIC)is proposed.The whole method consists of a feature extraction module,a 文章编号:1007-2780(2023)10-1399-10收稿日期:2022-12-06;修订日期:2023-01-11.基金项目:中国福建光电信息科学技术创新实验室(闽都创新实验室)(No.2021ZZ120);福建省科技项目计划(No.2021T3003);泉州市科技项目(No.2021C065L)Supported
7、 by Fujian Science&Technology Innovation Laboratory for Optoelectronic Information of China(Mindu Innovation Laboratory)(No.2021ZZ120);Fujian Science and Technology Plan Project(No.2021T3003);Quanzhou Science and Technology Plan Project(No.2021C065L)*通信联系人,E-mail:第 38 卷液晶与显示feature enhancement modul
8、e and a classifier module.The feature enhancement module consists of a RC module and an attention mechanism based on the RC,which performs channel-level enhancement and pixel-level enhancement of the features of the feature extraction module,respectively.Meanwhile,the joint cosine classifier drives
9、the network to learn feature distributions with high inter-class variance and low intra-class variance properties.Experimental results indicate that the algorithm achieves at least 1.07%higher classification accuracy than the existing methods in Cifar-FS,FC100 and Mini-ImageNet datasets,and outperfo
10、rms the second-best method in cross-domain scenes from Mini-ImageNet to CUB-200 by at least 1.77%.Meanwhile,the ablation experiments verify the effectiveness of RCFIC.The proposed method has great generalization ability and can effectively alleviate the overfitting problem in few-shot image classifi
11、cation and solve the cross-domain problem to a certain extent.Key words:few-shot learning;reservoir computing;attention mechanism;feature enhancement;image classification1 引言近年来,深度学习已经广泛应用于各行各业 1-3,其凭借大规模数据大幅度提高了图像分类4、语义分割5、目标检测6等任务的精度,在计算机视觉领域取得了巨大的成功。然而,现实场景并不具备获得大规模可训练数据的条件,使深度学习方法容易产生过拟合、低泛化性等问题
12、。为了能够在数据稀缺的场景下进行学习,小样本学习7-9成为深度学习的一个重要研究方向。小样本学习方法通常可以分为两类:基于数据增强的方法10和基于学习策略的方法。第一类方法旨在生成新的样本来扩充原始样本空间或对特征空间进行增强;第二类方法可以细分为基于模型微调11的方法、基于元学习12的方法等。目前小样本学习的主要问题可以总结为特征提取网络提取的特征判别性不够充分、网络容易过拟合,模型泛化能力不足等。一些基于注意力机制的方法13-15 被提出来整合特征信息以优化上述问题,但此类方法在领域迁移16等问题上仍有优化空间。在解决小样本问题时需要关注两方面的问题:(1)更好地提取特征来指导分类;(2)
13、缓解过拟合,提高模型泛化能力,如进行数据增强等操作。考虑到人脑是一种天然的小样本学习范式,引入类脑知识或许有助于走出小样本学习的困境,再结合过拟合问题,促使本文应用一种类脑模型储备池计算(Reservoir Computing,RC)17-18来完成小样本学习任务。因为 RC 依靠内部复杂动力学特性而天然具有一定抗过拟合能力,能够有效表达复杂的输入信息,但在计算机视觉任务上几乎没有应用。针对上述问题,本文提出一种基于储备池计算的小样本图像分类方法(Reservoir Computing Based Network for Few-shot Image Classification,RCFIC)
14、,将特征提取网络提取的特征输入特征增强模块(由储备池模块和基于储备池的注意力机制构成)分别进行通道级和像素级增强,然后进行特征融合得到增强特征。同时,在元学习阶段使用余弦相似度分类器,联合特征增强模块促使网络提取的特征分布具有高类间方差、低类内方差的特征,从而更好地指导分类。本文方法在公开常用的小样本图像分类数据集上的实验均达到了具有竞争力的分类精度,表明所提模型和方法具有较强的泛化能力,能够使网络学习更具判别性的特征,缓解过拟合问题,增强模型的性能。2 基于储备池计算的小样本图像分类方法2.1问题定义由于小样本学习的任务都基于少量有标签数据(称为新类或目标数据域),而少量数据难以学习到真实的
15、数据模式,容易遇到过拟合问题。因此,一般会引入一个含有丰富标注样本(类别与新类互斥)的辅助数据集(称为基类)以帮助模型学习先验知识,然后再利用这些先验知识以在目标数据域上获得更好的任务表现。小样本学习通常以元任务的方式进行训练和1400第 10 期王彬,等:基于储备池计算网络的小样本图像分类方法评估,每个元任务都以 N-way K-shot 方法获得,即每个元任务都包括N种类别的数据,每类数据只包含K个有标签的样本,同时从每类数据中抽取q个样本作为预测样本。有标签样本构成的数据集称为支持集DS,预测样本构成的数据集称为查询集DQ。即:DS=(xSi,ySi)N Ki=1,(1)DQ=(xQi,
16、yQi)N qi=1,(2)其中:xi和yi分别表示样本及其对应的标签类别,N表示类别数量,K为支持集中每类样本的数量,q表示查询集中每类预测样本的数量。模型在支持集上学习后在测试集新类中采样大量的元任务来获得这些任务的平均准确率,从而评估模型在小样本学习任务上的分类性能和泛化能力。2.2算法框架基于储备池计算的小样本学习模型框架如图所示。该模型主要由3个模块组成:特征提取模块、基于储备池的特征增强模块和分类器模块。首先,通过特征提取模块f(|)(卷积网络,如ResNet12和 ResNet18等;表示该模块的可学习参数)对输入图像进行特征提取。然后,将提取的特征输入到特征增强模块。特征增强模
17、块由储备池通道级特征增强模块和基于储备池的注意力像素级特征增强模块组成,前者对输入特征进行高维表示以提取重要的通道信息,后者对输入特征的重要像素信息进行提取。最后,将两部分特 征 进 行 融 合 后 输 出 到 分 类 器 模 块C(|Wcls)(Wcls表示分类权重矩阵)得到最终的分类结果。2.3训练方法本文使用两阶段训练策略,如图 2所示。第一阶段为模型预训练。将小样本数据集的训练集按照合适的比例划分为新的训练集和验证集,模型在新划分的数据集上以传统图像分类的方式进行训练,分类器使用线性分类器,最后得到预训练模型Modelpre。该阶段使模型能够充分学习基类的特征,为接下来将学习到的知识迁
18、移到小样本学习任务上做准备,能够有效缓解过拟合问题。第二阶段为基于模型微调的小样本图像分类阶段。将Modelpre的分类器替换为余弦分类器,微调学习率等参数,再在原始的小样本数据集上以N-way K-shot的元学习方式进行模型训练和评估。2.4特征提取模块随着卷积网络宽度和深度的增加,网络对图像信息的提取更加充分。但由于数据样本较少带来的过拟合问题,使得在小样本学习任务中网络不能随意加深加宽,因此小样本学习领域常使图 1基于储备池计算的小样本图像分类模型框架Fig.1Framework of few-shot image classification model based on reser
19、voir computing1401第 38 卷液晶与显示用 ResNet-12 和 ResNet-18 作为特征提取网络。本文也使用这两个小样本学习任务中常用的主干网络作为特征提取模块。通过特征提取模块f(|)提取输入图像x的特征向量z1,如式(3)所示:z1=f(x|),z1 R(C,H,W),(3)其中:C为特征图的通道数,H和W分别为特征图的高和宽。2.5特征增强模块2.5.1半全连接的储备池内部拓扑结构储备池的强大性能源于其内部复杂的动力学特性,表现为储备池内部神经元之间的连接方式(连接矩阵WresR()M,M,M为神经元个数),即储备池内部拓扑结构。用储备池来处理复杂的视觉信息时,
20、需要设计一个相匹配的拓扑结构来提升储备池的性能。本文的Wres不使用传统的随机方法生成,也不同于经典的延迟线结构、循环结构以及对称结构19等拓扑结构。本文提出了一种半全连接的拓扑结构,生成方式如下:首先生成一个MM的矩阵Wres,使其元素全为r1(0,1。然后,将第一行最后一个元素和从第二行第一个元素开始的对角线元素设为r2(0,1,即:W1,M=Wk+1,k,k=1,2,M-1,(4)式中的下标代表元素在Wres中的位置。随后从矩阵第一个元素开始,按从左到右从上往下的顺序,每隔 p 个元素将其值设为r3(0,1,当要设置的元素超出矩阵范围时停止。对于网络的随机性,本文随机选择 1/4 的元素
21、及其对称位置的元素设置为 0。整个连接矩阵中 1/2的元素为 0,其余元素为r1、r2和r3。为了储备池能够稳定运行,Wres的谱半径(Wres)应该被约束到 1,即对Wres进行如式(5)所示的变换:Wres Wres|max,(5)其中:(0,1)为缩放尺度因子,|max为变换前的Wres的特征值绝对值中的最大值(谱半径)。相较于其他几种经典拓扑结构,所提拓扑结构具有较好的信息流动能力和更丰富的动力学特征,更适合处理复杂的视觉数据。2.5.2储备池模块储备池模块主要由半全连接拓扑结构的储备池和残差模块组成,用来提取输入特征的重要通道信息,进行通道级特征增强。在特征输入储备池之前,需要用一个
22、线性层l1()对特征z1进行维度变换,使其变为适应储备池输入的维度,即z2=l1(z1)R(C,D),其中D=HW,代表线性层的输出维度,也是储备池输入的维度。由于储备池计算的传统优势在于处理时序数据,而小样本图像数据不具有此种关系,因此,本文将z2按照通道维度进行划分得到了C个1D维的数据ztR(1,D),将其视为C个时刻的输入。那么储备池内部神经元状态更新方程如式(6)所示:st+1=F(zt+1Win+stWres),(6)其中:t=0,1,C-1。Win是输入特征到储备池的连接矩阵,其连接权重按照高斯分布生成。Wres按照本文所提的半全连接拓扑结构的方法生成。这两个矩阵按照各自的规律生
23、成后固定不变,不需要学习。zt+1表示第 t+1个输入。st+1表示第 t+1个输入时储备池内部神经元的状态。F()表示激活函数。储备池每个时刻的输出yt+1和整个储备池的输出yr根据式(7)和式(8)计算:yt+1=zt+1;st+1;z2t+1;s2t+1Wout,(7)yr=y0;y1;yt+1,(8)其中,”;”代表矩阵拼接操作;Wout代表储备池输出连接矩阵,本文使用一个可学习的线性层来逼近该矩阵。图 2基于储备池计算的训练方法流程图Fig.2Flowchart of the training method based on RC1402第 10 期王彬,等:基于储备池计算网络的小样
24、本图像分类方法储备池后接一个残差模块,残差模块内含一个批归一化层(Batch Normalization,BN)和前馈层(Feed-Forward,FF)以增加网络信息流通能力,防止网络退化。储备池通道级特征增强模块的输出yRC如式(9)所示:yRC=FF(BN(yr)+yr.(9)2.5.3基于储备池的注意力机制模块在小样本学习领域,注意力机制常被用来整合特征信息。本文提出了一种新颖的基于储备池网络的注意力机制生成方式。该模块通过储备池生成新的特征图 Q、K 和 V,然后根据式(10)计算输出像素级增强后的特征yAttn:yAttn=Softmax(RC1()z2RC2()z2T1)RC3(
25、z2)+z2.(10)与yRC融合后得到最终的增强特征z3:z3=2yRC+3yAttn,(11)其中,1、2和3均为可学习的标量参数。2.6分类器模块增强特征z3被送入分类器计算输出最后的分类结果y:y=classifier(z3)=C(|Wcls).(12)第一阶段使用线性分类器:yl=softmax(WTclsz3+b),(13)其中:WTcls为分类权重矩阵的转置,b是偏置项。第二阶段使用余弦分类器:ycos=cos(zT3,Wcls)=zT3zT3WclsWcls,(14)其中,是一个可学习的标量参数。余弦分类器中的l2归一化操作促使网络提取输入图像最具代表性的特征。同时,余弦分类器
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 储备 计算 网络 小样 图像 分类 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。