基于注意力机制的细粒度图像分类算法.pdf
《基于注意力机制的细粒度图像分类算法.pdf》由会员分享,可在线阅读,更多相关《基于注意力机制的细粒度图像分类算法.pdf(4页珍藏版)》请在咨信网上搜索。
1、2023年9月计算机应用文摘第39卷第17 期基于注意力机制的细粒度图像分类算法温昌文(桂林电子科技大学,广西桂林5410 0 4)摘要:针对在细粒度图像分类任务中对物体进行精准定位并提取更具表达力特征的难题,提出结合混合注意力机制与循环注意力的分类算法:一方面在网络中融入的混合注意力机制能够让系统忽略图像中的背景干扰信息,而将更多的关注重点放在有效信息上,以提高模型的判别性区域定位能力;另一方面通过RA-CNN网络,可以从粗到细逐渐关注图像最具辨别力的区域。实验结果表明,相比现有主流方法,该网络模型在公开数据集CUB200-2011上性能较好,准确率达到了8 7.1%,有明显提升,证明了本模
2、型在细粒度图像分类任务上的有效性和优越性。关键词:细粒度图像分类;注意力机制;循环注意力WEN Changwen中图法分类号:TP393Fine grained image classification algorithm based on attention mechanismAbstract:Aiming at the problem of accurately locating objects and extracting more expressive featuresin the fine-grained visual categorization task,a classifica
3、tion algorithm combining hybrid attentionmechanism and circular attention is proposed:on the one hand,the hybrid attention mechanismintegrated into the network can allow the system ignores the background interference information inthe image and focuses more on the effective information to improve th
4、e discriminative regionlocalization ability of the model,on the other hand,through the RA-CNN network,it can graduallyfocus on the most discriminative region of the image from coarse to fine.The experimental resultsshow that compared with the existing mainstream methods,the network model has betterp
5、erformance on the public dataset CUB200-2011,and the accuracy rate reaches 87.1%,which issignificantly improved,which proves the effectiveness of this model in the task of fine-grained visualcategorization and superiority.Key words:fine grained image classification,attention mechanism,recurrent atte
6、ntion细粒度图像分类是一个具有挑战性的任务,待分类的对象在整体结构上难以区分,往往只在一些细微的区域存在差异。现有的细粒度分类算法大部分基于定位-识别的方法:先找到有区分度的局部,然后进行特征提取和分类。因为细粒度分类对象的外观差异仅仅存在于某些细微的局部区域,所以如何定位到图像中具有判别力的局部区域并利用这些区域中的信息就成了分类成功的关键因素。基于目标检测框架R-CNN1,Zhang 等 2 提出了Part-Based R-CNN方法,使用了Bounding Box标注框训练模型。首先在输人图像上通过自底向上的选择搜索算法产生候选框,然后使用R-CNN算法检测产生的候选框并评分,最后筛
7、选出这些区域并提取特征及分类。为了缩短细粒度分类对象的类内距离,Branson 等 3 提出了Pose文献标识码:A(Guilin University of Electronic Technology,Guilin,Guangxi 541004,China)Normalized CNN算法,对每一张输人图像,利用该算法完成对局部区域的定位检测,根据检测的标注框对图像进行裁剪,提取出不同层次的局部信息,并进行姿态对齐操作。Xiao等 4 最先提出了不使用标注信息的两级注意力模型,分别关注对象级别和部件级别信息,将获取到的两部分信息相结合并作为模型的输出,从而提高分类准确率。Lin等 5 提出了
8、双线性CNN(BilinearCNN),该方法使用2 个卷积网络从图像中提取特征,并将2 个网络提取的特征通过张量积进行汇合,张量积可以捕获特征通道之间成对的相关关系,从而得到大量的特征组合,能够达到类似注意力机制的局部区域特征提取的效果。Fu等 6 提出了一种循环注意力卷积神经网络(R A-CNN),其以相互增强的方式递归地学习局部区域2023年第17 期和基于区域的特征表示。此方法属于弱监督学习方式,仅靠图像类别标签便能完成分类,从而节省了研究成本。本文在RA-CNN模型的基础上,构建结合混合注意力机制的递归注意卷积神经网络模型,通过融合注意力机制避免图片中的穴余信息的影响,以提升单个分类
9、子网络的分类精度,以及判别性区域定位的精度。1相关研究工作1.1循环注意力卷积神经网络(RA-CNN)循环注意力卷积神经网络(RA-CNN)的架构如图1所示,整个网络由3个结构相同、参数独立的子网络构成,分别关注图像不同尺度的区域。单个网络提取的深度表征被表示为W。*X,其中*表示一组卷积、池化和激活的操作,W。表示所有的参数。将每个尺度的网络建模成一个具有两个输出的多任务模型。第一项任务为生成一个关于细粒度类别的概率分布,表达式为:p(X)=f(W。*X)其中,f()代表全连接层,用于将卷积特征映射为可与类别条目相匹配的特征向量,其包括一个softmax层,用于进一步将特征向量转化为概率。第
10、二项任务是为下一个更精细的尺度预测一组关于被关注区域的坐标参数:tx,ty,ti=g(W。*X)其中,g()代表2 个堆叠的全连接层,有3个输出tt,和t,t和t,为候选区域的中心坐标,t为该区域边长的一半,通过这3个参数可以确定一个更小尺度的区域。利用该坐标参数对原图像进行裁剪:Xat=XOM(tx,ty,ti)M()=h(x-tx(u)-h(x-tx(br)h(y-ty(u)-h(y-ty(br)其中,h()为一个带参数k的逻辑函数:h(x)=1/(1+exp-kx)(tx(u),ty(u))和(t(br),ty(br))为候选区域左上和右下端点的坐标:(tx(tl)=tx-ti,ty(u
11、)=ty-t)(tx(br)=tx+ti,ty(br)=ty+t)coarse(at)scale1cropom(a2)Scale 2crop(a)scaie 3finer计算机应用文摘1.2混合域注意力机制混合域注意力机制CBAM7结构如图2 所示。其中通道注意力(Channel Attention)关注“什么是有意义的”,空间注意力(Spatial Attention)侧重“何处是有效信息”。混合域注意力机制采用串联结构,且通道注意力在前、空间注意力在后,能够最大程度地提高分类准确率。IInputfeatrueChannelAttention图2 CBAM 结构CBAM模块的实现过程如下:F
12、=M(F)OF(F=M,(F)?F式中,M(F)表示F经过通道注意力的输出权值,M,(1)(F )表示F经过空间注意力的输出权值,F表示最终的注意力模型的输出,表示特征图加权乘法运算符号。2结合循环注意力与混合域注意力机制的细粒度图像分类算法(2)2.1网络结构为了让RA-CNN模型捕获更精准的局部特征,以达到更好的分类效果,在特征提取器中加人注意力模块CBAM,改进的RA-CNN模型网络结构如图3所示。本文改进的RA-CNN网络是在特征提取VGG-198的(3)最后一个卷积层的后面加人注意力模块。通过学习权重获得图像中的重要信息,以增强最后一层提取的特征,通过APN生成一组更精细区域的坐标参
13、数,最(4)后进行分类。(5)region parameters(t-thr.b)classificationoPainted buntingo Laysan albatrossBedbCsoftmaxs(tx,ty.t)(d)APN(ca)2classficationregion parameters(k,ty.t)(d2)APNonvolu图1RA-CNN结构111SpatialAllentionCBAMpatiaoCrestedaujetAY图3改进的RA-CNN模型网络结构fcsoftmax(ca)3classificationsoftmax(6)(ci)1classicatiosof
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 注意力 机制 细粒度 图像 分类 算法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。