结合特征融合的跨域服装检索.pdf
《结合特征融合的跨域服装检索.pdf》由会员分享,可在线阅读,更多相关《结合特征融合的跨域服装检索.pdf(6页珍藏版)》请在咨信网上搜索。
1、第 22卷 第 9期2023年 9月Vol.22 No.9Sept.2023软 件 导 刊Software Guide结合特征融合的跨域服装检索魏雄,乐鸿飞,余锦露(武汉纺织大学 计算机与人工智能学院,湖北 武汉 430200)摘要:跨域服装检索由于域间差异大难以准确检索,是一项具有挑战性的任务。现有基于卷积神经网络的跨域服装检索算法缺少对服装局部特征信息的利用,导致性能不佳。针对该问题,提出一种结合特征融合的跨域服装图像检索方法。该方法以深度卷积神经网络提取为基础,利用多尺度卷积和自我注意提取具有代表性的局部信息,利用Gem池化提取全局信息,并将局部信息与全局表示进行聚合,生成更适用于跨域图
2、像检索的特征嵌入。同时采用三元损失、中心损失、分类损失、质心损失联合的损失函数约束训练过程,在检索阶段使用质心损失缩短检索时间。该方法在 DeepFashion数据集中取得了良好的检索性能,top-50检索精度达0.864,与CTL方法相比提高了1.4%。实验结果表明,全局与局部特征融合的跨域服装检索方法能在保证较高检索效率的情况下有效提高检索精度。关键词:服装检索;特征融合;跨场景;质心损失DOI:10.11907/rjdk.222463开 放 科 学(资 源 服 务)标 识 码(OSID):中图分类号:TP391 文献标识码:A文章编号:1672-7800(2023)009-0196-06
3、Cross-domain Garment Retrieval Combined with Feature FusionWEI Xiong,YUE Hongfei,YU Jinlu(School of Computer and Artificial Intelligence,Wuhan Textile University,Wuhan 430200,China)Abstract:Cross domain clothing retrieval is a challenging task due to the large differences between domains,making it d
4、ifficult to accurately retrieve.The existing cross domain garment retrieval algorithms based on convolutional neural network lack the use of local garment feature information,resulting in poor performance.A cross domain clothing image retrieval method combining feature fusion is proposed to address
5、this issue.Based on deep convolutional neural network extraction,this method uses multi-scale convolution and self attention to extract representative local information,uses Gem pooling to extract global information,and aggregates local information with global representation to generate feature embe
6、dding more suitable for cross domain image retrieval.At the same time,the training process is constrained by the Loss function of ternary loss,center loss,classification loss and centroid loss,and the centroid loss is used in the retrieval phase to shorten the retrieval time.This method achieved goo
7、d retrieval performance in the DeepFashion dataset,with a top-50 retrieval accuracy of 0.864,which is 1.4%higher than the CTL method.The cross domain clothing retrieval method that integrates global and local features can effectively improve retrieval accuracy while ensuring high retrieval efficienc
8、y.Key Words:clothing retrieval;feature fusion;cross-scene;centroid loss0 引言随着服装电子商务的快速发展,互联网上的服装图像数量急剧增长,对海量服装图像进行自动化准确检索有助于提高顾客购买意愿。目前服装图像检索方法主要分为基于文本的检索和基于内容的检索两种1。国内电商平台主要使用基于文本的图像检索,但这种方法过于依赖对图像的文本标注,且在语言表达习惯的限制下,其检索结果与顾客需求可能大相径庭。因此,基于内容的跨域服装图像检索技术具有很大研究意义。跨域服装检索是指待检索图像和图像检索库来自两个异构域,分别为用户域和商店域。用
9、户域由用户拍摄的照片组成,这些照片可能会因照明条件、相机质量、角度和收稿日期:2022-12-08软著编号:2022SR0797672作者简介:魏雄(1974-),男,博士,武汉纺织大学计算机与人工智能学院副教授、硕士生导师,研究方向为并行计算、图像处理;乐鸿飞(1998-),男,武汉纺织大学计算机与人工智能学院硕士研究生,研究方向为图像处理;余锦露(1998-),男,武汉纺织大学计算机与人工智能学院硕士研究生,研究方向为图像处理。本文通讯作者:魏雄。第 9 期魏雄,乐鸿飞,余锦露:结合特征融合的跨域服装检索焦距而有所不同;商店域由专业人士在相同工作室使用同一设备拍摄的同一风格的照片组成。跨域
10、服装检索任务主要有以下两个难点:服装图像可变性极大。同一件服装在拍摄角度、光线、对象不同时所得图像会有很大不同,用户域的查询图像多在复杂环境下拍摄,包含多个对象,服装经常被遮挡或裁剪,而大多数商店的图片背景是单色,光线良好,服装单品完全可见;类内方差大、类间方差小。这是服装图像的一个固有特性2。图像表征在服装检索任务中起到核心作用,用于对图像内容进行编码,并衡量其相似性。随着深度学习技术的发展,智能提取表征的方法取得很大进展3-5,手工特征提取已逐步废弃。基于深度学习的服装检索方法中,两种类型的图像表征被广泛使用:一种是全局特征作为高级语义图像签名;另一种是局部特征,包含特定图像区域的几何判别
11、信息。目前,跨域服装图像检索方法缺少对局部特征的利用,一些利用局部特征的方法先通过高查全率的全局特征检索候选对象,然后利用局部特征重新排序,进一步提高精度,然而这样提高了计算代价和检索时间6。更重要的是,两个阶段均不可避免地存在错误,这可能导致错误积累,成为进一步提高检索性能的瓶颈。因此,将局部特征与全局特征集成为一个紧凑的表征,在端到端检索中相互促进,可以避免错误积累,该方法成为目前研究热点。1 相关研究对图像特征提取的好坏直接影响跨域服装图像检索算法的性能。传统特征提取方法包括方向梯度直方图(Histogram of Oriented Gradient,HOG)、局部二值模式(Local
12、binary patterns,LBP)、颜色直方图等。例如,Liu等7提出首个跨域服装检索方法,通过定位 30个人体关键区域缩小人体姿势的差异,然后通过对这些区域提取 HOG和LBP等手工特征进行检索。然而,传统算法在跨域服装检索准确度方面表现欠佳。近年来,深度神经网络在服装检索领域广泛应用,将该领域的发展推向了一个新的阶段。例如,Luo等8提出一种端到端的深度多任务跨域哈希算法,与传统方法学习离散属性特征不同,该方法考虑属性之间的顺序相关性,并为属性序列激活空间注意力;同时使用哈希散列组件替代传统连接的特征向量,避免低效的查询处理和不必要的存储浪费。然而面对细分种类繁多的服装图像时,该方法
13、能学习的顺序属性有限;Kuang等9提出基于相似金字塔的图推理网络,通过在多个尺度上使用全局和局部表示来学习查询图像与库之间的相似性。其中相似度金字塔采用相似度图表示,图中的每个节点为对应的两个服装区域在相同尺度下的相似度,连接两个节点的每条边是它们的归一化相似度,查询图像与图库图像之间的最终相似度可以通过在这个图上进行推理来实现;Mikolaj等10分析了人的再识别研究领域与服装检索研究领域的相似性和差异性,然后考察了行人再识别模型的可转移性,将调整后的模型应用于跨域服装检索,取得显著的检索效果,为跨域服装检索引入了强有力的基线;刘玉杰等11将空间语义注意力模块加入到分类网络 VGG16模型
14、中,对卷积层特征赋予可学习的权重,以增强重要特征、抑制不重要特征;同时引入短链接模块,整合整幅图像的深层语义特征以获得更具鲁棒性的特征描述子,解决服装部位不对齐导致的重要信息丢失问题。然而,该方法分类精度不佳,在使用分类损失约束的情况下检索准确率较低。对局部特征与全局表示进行联合学习可以提高检索效果。例如,Song等12提出一种融合局部与全局建模的框架,该框架在利用Transformer进行全局特征提取的基础上设计了一个由多头窗口注意和空间注意组成的局部分支,基于窗口的注意模式模拟了局部重叠区域内的不同视觉模式,而基于空间的注意模式模仿了重要性抽样策略,最后通过交叉注意模块将分层的局部与全局特
15、征结合起来;Sarlin等13提出一种联合估计局部和全局特征的卷积神经网络(Convolutional Neural Network,CNN)HFNet,其以固定的非学习方式解码关键点和局部描述符,并将其与转置卷积得到的全局特征聚集成一个紧凑的描述符,这样能快速高效地处理大规模图像。然而,即使该方法使用了多任务蒸馏来提高准确率,检索精度仍较低;Cao等14提出基于ResNet的可以联合提取局部和全局图像特征的DELG(Deep Local and Global features)模型,其利用广义平均池产生全局特征,利用基于注意的关键点检测产生局部特征。然而,该模型虽然使用了端到端的框架,在执行
16、上还是分为两阶段,较为繁琐。本文在CNN的基础上引入一种深度正交局部与全局特征融合模块6,通过一个局部分支和一个全局分支分别学习两类特征,并由一个正交融合模块将其结合起来,聚合为一个紧凑描述符。通过正交融合可以提取最关键的局部信息,消除全局信息中的冗余分量,从而使局部与全局分量相互增强,产生具有目标导向训练的最终代表描述子。本文贡献如下:设计了基于全局和局部特征融合的跨域服装检索方法,能融合低层局部特征与高层全局特征,使用相互增强的融合特征进行检索;在DeepFashion数据集上进行了广泛的实验分析。结果表明,该方法能有效提高检索准确率,并缩短了检索时间。2 融合全局与局部特征的服装图像检索
17、方法图 1为融合全局与局部特征的服装图像检索网络框架。对于输入图像,首先使用骨干CNN提取特征,使用全局和局部特征融合模块获取全局特征与局部特征互相增强的融合表示;然后使用全局平均池化的方法得到全局特 1972023 年软 件 导 刊征向量,分别计算三元损失、中心损失和质心损失;最后对全局特征向量进行归一化,得到图像嵌入。该图像嵌入在训练期间作为全连层的输入用于计算分类损失,并结合之前得到的 3种损失计算联合损失以约束聚类任务。在检索阶段,该图像嵌入用于计算相似距离,并基于该距离使用质心损失方法进行检索。2.1特征融合模块2.1.1全局与局部分支局部特征分支的两个主要部分为多重空洞卷积(Atr
18、ous Spatial Pyramid Pooling,ASPP)15和自注意力模块。前者模拟特征金字塔,用于处理不同图像实例之间的分辨率变化;后者用于建模局部特征的重要性。ASPP包含3个空洞率分别为6、12、18的空洞卷积层,不同空洞率可以获得不同的感受野,因此本文模型可以在同一时间获得具有不同感受野的特征图,完成多尺度信息捕获。对3个不同空洞卷积提取的特征和全局平均池化分支进行级联操作得到一个特征矩阵,再经过一个 11 卷积层降维后作为ASPP 输出。ASPP 输出的特征映射被提交到自我注意模块,用于进一步建模每个局部特征点的重要性。首先使用11的卷积批处理层对ASPP输入进行处理;然后
19、分成两个分支,一支对特征进行L2正则化,另一支经过Relu激活函数和 11卷积层后进行 SoftPlus 操作,对每个特征点计算注意力分数,将该注意力分数与L2正则化后的特征相乘计算出来的最终结果作为该图像的局部特征fl。全局分支对第 4层卷积层后得到的特征进行 Gem 池化16后得到最后输入到正交融合部分的全局输出fg。对于 fRC W H(C 为通道数)的张量而言,Gem 池化可表示为:f(g)c=(1|h w()i,jfpc()c,h,w)1pc (1)式中:pC为可学习参数,当pC=1时 Gem 池化等同于均值池化;当pC1 时,Gem 池化关注显著特征点;当pC 时,Gem池化等同于
20、全局池化。根据DELG14中的设置,本文将其初始值设置为3.0。2.1.2特征融合特征融合过程图2所示。具体步骤为以局部特征fl和全局特征fg作为输入,计算出fl在fg上的正交分量,并将该正交分量与全局特征聚合成一个联合表示。如图3所示,正交分量为局部特征与其投影向量的差值,因此可以通过以下方法计算每个局部特征点f()h,wl与fg正交的分量:f()h,wl,orth=f()h,wl+f()h,wl,proj(2)式中:f()h,wl,proj为每个局部特征f()h,wl在fg上的投影。投影的计算公式为:fproj=f()h,wlfg|fg2(3)GempoolCSelf-attFusionm
21、odelFcClassfication lossCentroid lossCenter lossTriplet lossAvgbnCNN局部特征提取全局特征提取D=6D=12D=18 Fig.1Framework for clothing image retrieval network integrating global and local features图1融合全局与局部特征的服装图像检索网络框架projflf Fig.3Orthographic projection process图3正交投影过程Proj:(,)2|h wlgggfffflfgfC Fig.2Feature fusio
22、n process图2特征融合过程 198第 9 期魏雄,乐鸿飞,余锦露:结合特征融合的跨域服装检索式中:f()h,wlfg表示点积运算,|fg|2为fg的L2范数,这样便可以提取出一个C H W张量,其中每个点都与fg正交。然后将C 1向量fg附加到这个张量的每个点上,并聚合为一个Co 1向量。根据参考文献 17,将C设置为1 024。2.2损失函数在训练阶段使用一个由 4 个部分组成的损失函数:在原始嵌入上计算的三元组损失;中心损失作为辅助损失;在批量归一化嵌入上使用全连接层计算的分类损失;使用查询向量和批类质心计算的质心损失。因此,总目标优化函数表示为:L总=Ltrip+1Lcen+Lc
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 结合 特征 融合 服装 检索
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。