基于机器视觉的小样本零部件表面DD_佟鑫.pdf
《基于机器视觉的小样本零部件表面DD_佟鑫.pdf》由会员分享,可在线阅读,更多相关《基于机器视觉的小样本零部件表面DD_佟鑫.pdf(6页珍藏版)》请在咨信网上搜索。
1、基金项目:北京市自然科学基金资助项目(4202015)收稿日期:2021-11-08 修回日期:2021-11-16 第 40 卷 第 4 期计 算 机 仿 真2023 年 4 月 文章编号:1006-9348(2023)04-0160-05基于机器视觉的小样本零部件表面 DD佟 鑫,郑 彤,于重重,叶 洋(北京工商大学人工智能学院,北京 100048)摘要:现有汽车零部件表面缺陷检测方法大多数都是依靠人工目检或传统的图像处理方法,其检测精度和速度都不能满足零部件工厂需求。由于汽车零部件的残次率低,导致可用的数据量少,一般的深度学习模型不能很好地应用于汽车零部件表面缺陷检测。针对上述问题,提出
2、一种基于机器视觉的小样本汽车零部件表面缺陷检测方法。上述方法在 Faster RCNN检测网络基础上,采用指导框区域候选网络改进原有的区域候选网络,并且利用聚焦式损失函数来进一步改善正负样本不均衡的问题,同时加入循环特征金字塔结构以及组合特征关系检测器。在汽车零部件表面缺陷数据集和小样本 FSOD 数据集上的实验结果表明,小样本汽车零部件表面缺陷检测模型较好地实现了在小样本零部件数据条件下对零部件表面缺陷的检测。关键词:缺陷检测(DD);小样本学习;指导框区域候选网络;循环特征金字塔;组合特征关系检测器中图分类号:TP391.9 文献标识码:BSurface Defect Detection
3、of Few-Shot PartsBased on Machine VisionTONG Xin,ZHENG Tong,YU Chong-chong,YE Yang(College of Artificial Intelligence,Beijing Technology and Business University,Beijing100048,China)ABSTRACT:Most of the existing surface defect detection methods of automobile parts rely on manual visual inspec-tion or
4、 traditional image processing methods,and their detection accuracy and speed can not meet the needs of partsfactories.Due to the low defect rate of auto parts,the amount of available data is small,and the general deep learningmodel can not be well applied to the surface defect detection of auto part
5、s.To solve the above problems,a few-shotsurface defect detection method of automobile parts based on machine vision is proposed.Based on the Faster RCNNdetection network,this method uses the guided anchoring region proposal network to improve the original region pro-posal network,and uses the focal
6、loss function to further improve the imbalance between positive and negative sam-ples.At the same time,it adds the recursive feature pyramid structure and the combined feature relation detector.Theexperimental results on automobile parts surface defect data set and few-shot FSOD data set show that t
7、he few-shotautomobile parts surface defect detection model can better detect parts surface defects under the condition of few-shotparts data.KEYWORDS:Defect detection(DD);Few-shot learning;Guided anchoring region proposal network;Recursivefeature pyramid;Combined feature relation detector1 引言基于机器视觉的
8、表面缺陷检测在国内外金属制造业、纺织制造业、印刷制造业、塑料制造业、木材制造业和玻璃制造业等工业领域有重要的实际意义。美国西屋电器公司首次采用电荷耦合器件摄像机对钢板进行表面缺陷检测1。康耐视公司提出自我学习识别系统,有效地改善了传统方法在训练速度和精度上的不足2。王志成等学者针对不同形状的表面缺陷特征建立缺陷数据库,通过计算待检测表面缺陷和数据库中缺陷的相似性来实现类似钢板等金属零部件的缺陷检测3。所构建的传统的缺陷检测方法系统能够实现相机自动拍照和图像检测,但是其不足之处在于检测精度依赖于缺陷数据库的数据质量,并且不能很好地适用于复杂场061景下的表面缺陷检测。随着神经网络理论的发展,数据
9、量足够时,深度学习提取样本特征的优势逐渐显露出来,在机器视觉领域越来越多的学者选择基于深度学习的模型来处理机器视觉的表面缺陷检测问题。如果数据量较少很容易导致网络的泛化性极弱。由于现实场景中经常很难收集到数据量充足的数据样本,面临着一些小样本场景下的分类识别任务,小样本学习相关理论因此迅速发展4-6。在工业生产中,工业缺陷很少发生,而且缺陷的种类多种多样,因此,在这样的不平衡小样本数据集上训练神经网络,容易造成过拟合的问题,难以实际应用7。针对上述问题,由于得到的真实的汽车零部件缺陷样本较少,首先对小样本汽车零部件数据进行了数据增强,对原本数量较少的零部件缺陷数据进行扩充。模型方面,本论文以
10、Faster RCNN 模型为研究基础,结合指导框区域候选网络、循环特征金字塔和特征组合关系检测器等结构提出一种小样本汽车零部件表面缺陷目标检测模型。2 Faster RCNN 目标检测模型现有的目标检测思路可分为单步骤检测算法和双步骤检测算法,单步骤目标检测是指在单次阶段就能同时完成目标分类和目标定位,代表算法有 YOLO(You Only Look Once,YOLO)系列算法8。双步骤目标检测是先通过算法预测出带有检测目标位置信息的候选建议框,然后在对这些框进行分类和进一步的回归。单步骤目标检测方法经常存在识别物体位置精准性差、召回率低的缺点。所以针对小样本目标检测任务应优先考虑双步骤检
11、测方法。最早的双步骤检测模型是 RCNN 模型9,随着机器视觉领域软件和硬件的不断发展,SPP NET10、Fast RCNN11、Faster RCNN12等模型被不断提出。其中,Faster RCNN 是较为成熟的常用双步骤目标检测算法,相比于单步骤目标检测模型,Faster RCNN 网络可更精确地检测目标,可以解决多尺度、小目标问题。Faster RCNN 的模型结构图如图 1 所示。图 1 Faster RCNN 模型结构图12从图 1 可以看出,Faster RCNN 模型首先对输入图像进行了 特 征 提 取,之 后,区 域 候 选 网 络(Region ProposalNetwo
12、rk,RPN)会根据所提取的特征图生成若干对应的候选检测锚框,然后对锚框进行分类和回归。3 小样本零部件表面缺陷目标检测模型3.1 基于指导框结构的区域候选网络区域候选网络位于 Faster RCNN 网络的前端,其主要作用是在输入的图像上产生一系列候选建议框。在区域候选网络中使用滑窗的方式会在特征图中生成大量建议框,但单一图片中的物体特征有限,导致生成的建议框中负样本过多。同时,区域候选网络在生成建议框时会认为先验假设框的尺寸或者宽高比为几个固定值,这些先验假设往往随着不同的数据集变化而变化的,使得公共数据集上的先验假设并不适用于零部件表面缺陷数据集。为解决上述问题,本论文采用融入指导框区域
13、候选网络13(Guided Anchoring Region Proposal Network,GA-RPN)的方式,使用提取到的特征来指导建议框的中心位置和宽高比,让模型在提高生成建议框效率的同时还能够生成任意尺寸大小的候选建议框。指导框区域候选网络框架如图 2所示。图 2 GA_RPN 网络框架如图 2 所示,在特征提取之后加入一个指导框结构模块用于指导预测候选框。图 2 中采用的指导框结构如图 3所示。图 3 指导框结构图由图 3 可知,指导框结构主要由建议框生成模块和特征自适应模块组成。建议框生成模块主要作用是用来预测特征的位置和特征形状,且在网络训练过程中只保留大于预先人为设置的阈值
14、的预测概率值,并进一步筛选掉了与目标缺陷无关的锚框区域。由于零部件表面缺陷形状的不确定性,同一类缺陷的形状也可能差异较大。为了能全面而准确地预测出缺陷在零部件上的位置,指导框结构中加入了对于目标缺陷的形状预测。通过形状预测结构可以得到一组偏移调整量(dw,dn),偏移向量的作用是使得预测锚框在最大程度上接近真实锚框,用来指导建议框尺寸的调整。其中,形状预测分支中产161生的偏移调整量用于指导最后的锚框回归,最终得到最贴近缺陷形状的锚框位置信息。为进一步改善目标检测网络的候选框生成中正负样本不均衡的问题,在训练时加入聚焦式损失函数,以减少产生的候选框中负样本候选框对模型检测结果的影响。聚焦式损失
15、函数如式(1)所示。Lfl=-(1-y)logy,y=1-(1-)ylog(1-y),y=0(1)式(1)中,因子用于平衡正负样本,因子调节简单样本损失降低的速率。实验证明设置=2 时是最优。3.2 循环特征金字塔网络为了提取更丰富的图像特征信息,采用循环金字塔网络15来从多尺度的角度对零部件表面缺陷进行特征提取。循环金字塔网络是由基本的特征金字塔网络组成的。特征金字塔网络主要的作用是进行特征提取,在各个尺度上对特征进行整合合并得到多个新的融合特征图14。循环特征金字塔网络将传统的特征金字塔网络融合后的输出再次输入到网络骨架中,进行二次循环得到新的特征图输出,循环特图 5 组合特征关系检测器结
16、构图征金字塔网络如图 4 所示。图 4 循环特征金字塔15这一过程可以表示为式(2)所示。fi=Fi(fi+1,xi),xi=Bi(xi-1,Ri(fi)(2)在式(2)中,fi表示输出特征,其中 i=1,S,S 表示特征金字塔的层数。x0表示输入图像,Fi分别表示从顶端流向底端的过程。Bi表示在将特征转换连接回自下而上部分的主干网之前的特征,将上述操作在神经网络中转换为递归操作可以表示为式(3)。fti=Fti(fti+1,xti),xti=Bti(xti-1,Rti(ft-1i)(3)在式(3)中,i=1,S,t=1,T,T 是展开迭代的次数,使用上标 t 来表示展开步骤 t 中的操作和特
17、征 f0i被设置为 0。循环特征金字塔网络可以从多尺度的方向上进行特征提取,但是过多次的循环会导致模型的复杂度增加,影响模型的训练速度,因此在本论文实验中设置 T=1。3.3 组合特征关系检测器不同于一般的分类或者检测网络,小样本任务训练数据集通常由支持集和查询集组合而成,训练过程中会分别从支持集和查询集中随机选择同一类别的样本形成训练组合(QN,SN),QN和 SN分别代表数据集中类别种类均为 N 类的查询集样本图像和支持集样本图像。这样的设计方式使得小样本模型在训练的过程中更加注重同一类别样本特征之间的关系,有利于学习类间样本的相似性。组合特征关系检测器是指在模型训练的过程中将查询集和支持
18、集的特征组合起来形成一种组合特征关系检测器。针对零部件表面缺陷样本数据量较少,检测识别精度较低等问题,本文提出一种组合特征关系,此组合特征关系是指查询集特征和支持集特征图上像素级上进行的特征组合,分别为多对多关系、一对多关系、一对一关系。本文构建的组合特征关系检测器结构图如图 5 所示。图 5 中有三行结构,第一行结构是多对多的关系结构,多对多关系中将支持集特征和查询集特征连接成新的融合特征,最后用包含 ReLU 的两层全连接层输出最后的分数。图 5 中第二行是一对一的关系结构,首先使用 11C 大小的卷积层对支持集特征和查询集特征进行池化操作,对于得到的每一个新支持集特征和新查询集特征进行拼
19、接操作,最后用全连接层获得分类评价分数。图 5 中第三行是一对多的关系结构,一对多的关系是指将多个查询集的样本特征和单一支持集特征连接到一起,支持集特征和查询集特征会生成一个新的融合特征,然后将拼接的新的特征输入到后续的卷积池化层。3.4 小样本零部件表面缺陷目标检测网络基于前文提出的 GA-RPN 结构、循环特征金字塔网络、多关系检测器,最终的小样本汽车零部件表面缺陷目标检测模型如图 6 所示。从图 6 中可以看到,从模型结构上来说,模型产生候选框的结构是一个 GA-RPN 结构,GA-RPN 的结构主要是由建议框生成模块和特征自适应模块组成。支持集和查询集图像的特征需要通过 GA-RPN
20、来预测得到候选框。在网络的特征检测器方面,为充分学习来自查询集和支持集的特征261关系,分别以不同的组合方式对特征进行拼接,然后进行训练检测,最终的结果由三种组合关系共同作用得到。图 6 小样本汽车零部件表面缺陷目标检测模型4 实验结果与分析4.1 实验数据集增强为了证明小样本汽车零部件表面缺陷目标检测模型的有效性,在 FSOD 公共数据集上进行实验,并构造汽车零部件表面缺陷数据集,进一步验证此模型的实际应用效果。汽车零部件表面缺陷数据集为零部件工厂现场采集得到,采集到的原始零部件图像尺寸大、冗余背景多。直接使用原始图片进行模型训练会影响模型训练精度和速度,因此首先对零部件图像进行图像分割,得
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 机器 视觉 小样 零部件 表面 DD_ 佟鑫
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。