基于孪生网络的小样本目标检测算法.pdf
《基于孪生网络的小样本目标检测算法.pdf》由会员分享,可在线阅读,更多相关《基于孪生网络的小样本目标检测算法.pdf(5页珍藏版)》请在咨信网上搜索。
1、2023 08 10计算机应用,Journal of Computer Applications2023,43(8):2325-2329ISSN 10019081CODEN JYIIDUhttp:/基于孪生网络的小样本目标检测算法姜钧舰1,刘达维1,刘逸凡1,任酉贵1,2,赵志滨1*(1.东北大学 计算机科学与工程学院,沈阳 110169;2.辽宁省自然资源事务服务中心,沈阳 110001)(通信作者电子邮箱)摘要:基 于 深 度 学 习 的 目 标 检 测 算 法 如 YOLO(You Only Look Once)和 Faster R-CNN(Faster Region-Convoluti
2、onal Neural Network)需要大量训练数据以保证模型的精度,而在很多场景下获取数据以及标注数据的成本较高;并且由于缺少海量的训练数据,导致检测的范围受限。针对以上问题,提出了一种基于孪生网络的小样本目标检测算法(SiamDet),旨在使用少量标注图像训练具有一定泛化能力的目标检测模型。首先,提出了基于深度可分离卷积的孪生网络,并使用深度可分离卷积设计了特征提取网络ResNet-DW,从而解决了样本不充足带来的过拟合问题;其次,基于孪生网络,提出了目标检测算法SiamDet,并在ResNet-DW的基础上,引入区域建议网络(RPN)来定位感兴趣目标;然后,引入二值交叉熵损失进行训练
3、,并使用对比训练策略,从而增加了类别之间的区分度。实验结果表明,SiamDet在小样本条件下具有良好的目标检测能力,且相较于次优的算法DeFRCN(Decoupled Faster R-CNN),SiamDet在MS-COCO数据集20-way 2-shot和PASCAL VOC数据集5-way 5-shot上的AP50分别增加了4.1%和2.6%。关键词:目标检测;小样本学习;孪生网络;深度可分离卷积;对比训练中图分类号:TP391 文献标志码:AFew-shot object detection algorithm based on Siamese networkJIANG Junjian
4、1,LIU Dawei1,LIU Yifan1,REN Yougui1,2,ZHAO Zhibin1*(1.School of Computer Science and Engineering,Northeastern University,Shenyang Liaoning 110169,China;2.Service Center of Natural Resource Affairs of Liaoning Province,Shenyang Liaoning 110001,China)Abstract:Deep learning based algorithms such as YOL
5、O(You Only Look Once)and Faster Region-Convolutional Neural Network(Faster R-CNN)require a huge amount of training data to ensure the precision of the model,and it is difficult to obtain data and the cost of labeling data is high in many scenarios.And due to the lack of massive training data,the det
6、ection range is limited.Aiming at the above problems,a few-shot object Detection algorithm based on Siamese Network was proposed,namely SiamDet,with the purpose of training an object detection model with certain generalization ability by using a few annotated images.Firstly,a Siamese network based o
7、n depthwise separable convolution was proposed,and a feature extraction network ResNet-DW was designed to solve the overfitting problem caused by insufficient samples.Secondly,an object detection algorithm SiamDet was proposed based on Siamese network,and based on ResNet-DW,Region Proposal Network(R
8、PN)was introduced to locate the interested objects.Thirdly,binary cross entropy loss was introduced for training,and contrast training strategy was used to increase the distinction among categories.Experimental results show that SiamDet has good object detection ability for few-shot objects,and Siam
9、Det improves AP50 by 4.1%on MS-COCO 20-way 2-shot and 2.6%on PASCAL VOC 5-way 5-shot compared with the suboptimal algorithm DeFRCN(Decoupled Faster R-CNN).Key words:object detection;few-shot learning;Siamese network;depthwise separable convolution;contrast training0 引言 目标检测是从图像或视频中定位并识别感兴趣目标的技术,包括分类
10、和定位两个子任务。分类任务的目的是识别出图像中的目标类别,定位任务的目的是找到目标物体在图像中的位置信息。传统方法依赖于人工设计特征1-2,效率和精度较低。深度学习的出现使目标检测的精度提升显著3-4。常用的基于深度学习的方法包括:两阶段算法,如 R-CNN(Region-Convolutional Neural Network)5、Fast R-CNN6、Faster R-CNN3等;一阶段算法,如 SSD(Single Shot MultiBox Detector)7、YOLO(You Only Look Once)4等。上述深度学习方法依赖大规模高质量的训练数据,但在很多场景下,难以获得
11、充分的训练数据且训练数据的标注成本非常高,导致当前的目标检测范围有限。在实际生活中,人类对新物体有很好的学习能力。例如,给出一个物体的少量照片,儿童可以快速学习并在现实中识别出这个物体。受此启发,研究人员希望使用少量标注图像训练具有一定泛化能力的模型,即小样本学习(Few-shot Learning)8-9。当前,基于小样本学习的目标检测技术仍然存在难点问题。为了能够学习到足够的特征,需要使用层次更深的特征提文章编号:1001-9081(2023)08-2325-05DOI:10.11772/j.issn.1001-9081.2022121865收稿日期:20221215;修回日期:20230
12、202;录用日期:20230208。基金项目:国家自然科学基金资助项目(U1811261)。作者简介:姜钧舰(1998),男,辽宁丹东人,硕士研究生,CCF会员,主要研究方向:机器学习、计算机视觉;刘达维(1998),男,辽宁沈阳人,硕士研究生,CCF会员,主要研究方向:机器学习、计算机视觉;刘逸凡(1998),男,河北保定人,硕士研究生,CCF会员,主要研究方向:机器学习、计算机视觉;任酉贵(1981),男,辽宁沈阳人,博士研究生,主要研究方向:遥感图像处理、计算机视觉;赵志滨(1975),男,黑龙江哈尔滨人,副教授,博士,CCF会员,主要研究方向:大数据管理与查询优化、图像处理、文本分析。
13、第 43 卷计算机应用取网络,但在小样本场景下,由于训练样本数据量少,随着特征提取网络层次的增加,容易导致过拟合问题。为此,一些小样本目标检测方法采用迁移学习的思路,首先将模型在大量标注数据下进行训练,接着将模型通过一定的微调应用到待检测的小样本目标域数据集中。另一些方法采用基于元学习的框架,基本思想是利用以往的知识经验来指导新任务的学习,即使模型学会如何学习。与上述方法不同,本文遵循深度度量学习思想,提出了基于孪生网络的小样本目标检测算法(SiamDet),优化了特征提取网络,并且设计合理的训练策略,使得同类对象在嵌入空间上距离更近、不同类对象之间的距离较远,从而实现面向C-way K-sh
14、ot支撑集的高精度小样本目标检测。本文的主要工作有:1)使用度量学习的思想解决小样本目标检测问题,采用孪生网络模型实现了对样本的度量学习,使同类样本在映射空间上距离更近,不同类别对象之间的距离较远,实现目标检测的分类过程。2)针对复杂模型的过拟合的问题,引入深度可分离卷积,设计了基于深度可分离卷积的残差模块,并基于此设计了基于 深 度 可 分 离 卷 积 的 残 差 网 络 ResNet-DW(ResNet with DepthWise convolution),在保证模型精度的同时减少模型的参数量,解决模型过拟合问题;基于ResNet-DW特征提取网络以及孪生网络设计小样本目标检测算法Sia
15、mDet,其中引入基于注意力机制的区域建议网络(Attention-Region Proposal Network,Attention-RPN)10来进行位置预测,引入梯度解耦层(Gradient Decoupled Layer,GDL)11模块来调整特征提取网络和Attention-RPN之间的耦合度。3)在模型训练阶段使用二值交叉熵损失函数作为分类损失函数,采用对比训练的策略,构建正样本对以及负样本对。增加不同类别之间的区分度,让模型在匹配相同类别图像的同时能更好地区分不同类别的图像。1 相关工作 目标的特征提取是目标检测的基础性工作。传统的目标检测方法依赖人工进行特征提取,常见的有HOG
16、(Histograms of Oriented Gradients)特 征1、SIFT(Scale-Invariant Feature Transform)特征2、颜色特征12等,它的重大缺陷是难以保证特征提取的全面性,导致目标检测精度较低。当前,基于深度学习的方法成为目标检测的主流技术。基于深度学习的目标检测算法包括两阶段算法及一阶段算法。两阶段算法采用先提取候选框后分类的思想实现目标检测任务,代表性工作有R-CNN系列算法5-6。进一步,Ren等3提出了Faster R-CNN,使用RPN生成候选区域,极大地缩短了运算时间。一阶段算法的思想是同时完成分类及定位任务。例如,Liu等7提出了S
17、SD(Single Shot multiBox Detector)算法,采用多尺度预测,提高了小目标的检测精度;输出模块使用卷积层代替全连接层,提高了模型的检测速度。近几年,YOLO系列算法4,13-15获得了广泛应用,将特征融合和多尺度预测结合,在多标签分类下取得了很好的效果。上述方法需要大规模地标注数据,但是在很多场景下,难以获得大量训练数据。反观人类,不需要大量图片就可以对一个新物体进行快速学习,因此近几年小样本目标检测技术成为了学术界的研究热点。小样本目标检测旨在用少量的标注数据训练具有较好目标检测性能的模型,常用方法包括基于迁移学习(transfer-learning-based)和
18、基于元学习(meta-learning-based)的方法。基于迁移学习的方法通常与传统目标检测方法相结合,首先使用包含大量标注数据的源域数据集训练模型,接着将模型通过一定的微调应用到待检测的小样本目标域数据集中。Chen等16提出了LSTD(Low-Shot Transfer Detector)模型,整合SSD与Faster R-CNN的同时引入了正则化迁移学习框架,使用迁移知识和背景抑制作为正则项,指导模型在目标域中的学习。Wang等17提出了FAFRCNN(Few-shot Adaptive Faster R-CNN)模型,模型由两层自适应模块组成,分别为图像级自适应模块及实例级适配模块
19、。Wang 等18提出了 TFA(Two-stage Fine-tuning Approach)模型,模型由两阶段组成,第一个阶段使用Faster R-CNN对大量的数据进行训练,第二个阶段在不改变特征提取网络参数的前提下使用余弦相似度对分类器进行微调。Zhang等19提出了PNPDet模型,在共享特征提取网络前提下,将训练样本的分类网络与小样本的分类网络分离开,通过余弦相似度微调小样本的分类网络,该方法可以在不降低训练样本类别的检测性能的情况下检测新类别。基于元学习的方法是为了利用已经学到的知识解决新的问题,即学会如何学习。基于元学习的方法主要包括孪生网络、匹 配 网 络 等。Zhang 等
20、20 提 出 了 OSCD(One-Shot Conditional object Detection)模型,使用孪生网络查询图像及支撑图像的特征提取,引入贝叶斯条件概率理论,使用条件RPN得到候选区域,最后计算候选区域与支撑图像的相似度得到检测结果。Prez-Ra等21 提出了ONCE(OpeN-ended Centre nEt)模型,采用元学习方法进行模型训练,并应用到测试图像中。Fan等10 提出了FSOD(Few Shot Object Detection)模型,使用匹配网络进行特征提取,并提出了基于注意力机制的RPN。本文提出了一种基于孪生网络的小样本目标检测算法(SiamDet),
21、与其他算法相比,改进了特征提取网络模型,在保证模型精度的同时不增加模型的参数量,解决过拟合问题,并且设计合理的训练策略增加类别之间的区分度。2 基于孪生网络的小样本目标检测算法 2.1问题定义目标检测任务的输入为一张查询图像q,输出为q中包含的目标的位置信息(x,y,w,h)以及对应的类别信息c,其中:(x,y)为目标边界框左上角点的坐标;(w,h)为目标边界框的宽和高。小样本目标检测任务是小样本学习在目标检测任务上的应用。小样本目标检测任务的支撑集中共包含C个类别,每个类别包含K个标注样本,称为C-way K-shot问题。小样本目标检测的一个典型应用是以图搜图,即输入一张含有类别c的查询图
22、像qc以及一张包含类别c的支撑图像sc,通过小样本目标检测算法输出qc中类别c的位置信息(x,y,w,h)。本文算法SiamDet的主要过程是:首先,将图像qc及图像sc分别映射到特征空间中;然后,对图像qc进行边界框预测,生成候选区域;最后,对支撑图像特征图及候选区域进行相似度计算,根据相似度计算结果得到最终的目标检测结果。相似度计算过程以及边界框预测过程如式(1)和式(2)所示:Sim=g(sc),(qc)(1)(x,y,w,h)=loc(qc)(2)其中:Sim是支撑图像与查询图像的相似度;()为特征提取函数,将输入的支撑图像与查询图像映射到固定大小的特征图中;g()为相似度度量函数,计
23、算支撑图像与查询图像的相似度,本文使用欧氏距离(Euclidean Metric)作为相似度度量函数;loc()为边界框预测函数,它的作用是提取查询图像中的候选区域 Proposal,本文采用 FSOD10中的 Attention-RPN。2326第 8 期姜钧舰等:基于孪生网络的小样本目标检测算法本文的重点工作是设计特征提取函数,具体采用基于深度可分离卷积的特征提取网络ResNet-DW,接下来进行详细介绍。2.2SiamDet算法2.2.1整体框架基于孪生网络的算法 SiamDet 的总体流程如图 1 所示。首先输入查询图像及支撑图像,分别通过两个共享权值的特征提取网络 ResNet-DW
24、 以及 DeFRCN(Decoupled Faster R-CNN)11中的梯度解耦GDL模块生成特征图;接下来,将查询特征图送入Attention-RPN模块中,得到候选区域Proposal,并且将Proposal及支撑特征图统一到77512维度;最后,计算二者相似度来判断是否匹配。接下来,将重点介绍特征提取网络ResNet-DW。2.2.2ResNet-DW特征提取网络为了增加网络深度提取更多特征,同时不增加模型的复杂度,防止模型过拟合,本文采用深度可分离卷积22代替标准卷积,并且基于残差网络ResNet23提出基于深度可分离卷积的特征提取网络ResNet-DW。深度可分离卷积由Depth
25、Wise(DW)和PointWise(PW)两部分组成,其中:DW是分组卷积,该层只允许学习特征,不允许调整维度;PW是11的标准卷积,用于调整维度。标准卷积的每个卷积核都对应特征图中的所有通道,而DW卷积的每个卷积核都只对应特征图中的一个通道,所以参数量和计算量大幅下降。假设在卷积神经网络中输入特征图大小为DF DF,输入通道数为M,卷积核大小为DK DK,输出通道数为N。标准卷积的计算量为DK DK M N DF DF。在深度可分离卷积中,DW 的计算量为DK DK M DFDF,PW的计算量为M N DF DF,因此深度可分离卷积的计算量为DK DK M DF DF+M N DF DF。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 孪生 网络 小样 目标 检测 算法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。