改进YOLOv5的瓷砖表面缺陷检测.pdf
《改进YOLOv5的瓷砖表面缺陷检测.pdf》由会员分享,可在线阅读,更多相关《改进YOLOv5的瓷砖表面缺陷检测.pdf(11页珍藏版)》请在咨信网上搜索。
1、改进 YOLOv5 的瓷砖表面缺陷检测余松森,张明威,杨欢(华南师范大学软件学院,佛山528225)通信作者:杨欢,E-mail:YOH摘要:现有瓷砖表面缺陷检测存在识别微小目标缺陷能力不足、检测速度有待提升的问题,为此本文提出了基于改进 YOLOv5 的瓷砖表面缺陷检测方法.首先,由于瓷砖表面缺陷尺寸偏小的特性,对比分析 YOLOv5s 的 3 个目标检测头分支的检测能力,发现删除大目标检测头,只保留中目标检测头和小目标检测头的模型检测效果最佳.其次,为了进一步实现模型轻量化,使用 ghostconvolution 和 C3Ghost 模块替换 YOLOv5s 在 Backbone 网络中的
2、普通卷积和 C3 模块,减少模型参数量和计算量.最后,在 YOLOv5s 的 Backbone 和 Neck 网络末端添加 coordinateattention 注意力机制模块,解决原模型无注意力偏好的问题.该方法在天池瓷砖瑕疵检测数据集上进行实验,实验结果表明:改进后的检测模型的平均精度均值达 66%,相比于原 YOLOv5s 模型提升了 1.8%;且模型大小只有 10.14MB,参数量相比于原模型减少了 48.7%,计算量减少了 38.7%.关键词:机器视觉;深度学习;目标检测;YOLOv5 算法;注意力机制;瓷砖表面缺陷引用格式:余松森,张明威,杨欢.改进 YOLOv5 的瓷砖表面缺陷
3、检测.计算机系统应用,2023,32(8):151161.http:/www.c-s- of Ceramic Tile Surface Defects Based on Improved YOLOv5YUSong-Sen,ZHANGMing-Wei,YANGHuan(SchoolofSoftware,SouthChinaNormalUniversity,Foshan528225,China)Abstract:Theexistingdetectionmethodofceramictilesurfacedefectshastheproblemofinsufficientabilitytoident
4、ifysmalltargetdefects,andthedetectionspeedneedstobeimproved.Therefore,thisstudyproposesaceramictilesurfacedefectdetectionmethodbasedonimprovedYOLOv5.Firstly,duetothesmallsizeofceramictilesurfacedefects,thedetectionabilitiesofthreetargetdetectionheadbranchesofYOLOv5sarecomparedandanalyzed.Itisfoundth
5、attheeffectivenessofthemodelthatremovesthelargetargetdetectionheadandretainsonlythemediumandsmalltargetdetectionheadsisoptimal.Secondly,tofurtherrealizethelightweightofthemodel,thestudyappliesghostconvolutionandC3GhostmodulestoreplacetheordinaryconvolutionandC3modulesofYOLOv5sintheBackbonenetwork,th
6、usreducingthenumberofmodelparametersandthecalculationamount.Finally,thecoordinateattentionmechanismmoduleisaddedattheendoftheBackboneandNecknetworksofYOLOv5stosolvetheproblemofnoattentionpreferenceintheoriginalmodel.TheproposedmethodistestedontheTianchiceramictiledefectdetectiondataset.Theresultssho
7、wthatthemeanprecisionoftheimproveddetectionmodelaverages66%,whichis1.8%higherthantheoriginalYOLOv5smodel.Besides,thesizeofthemodelisonly10.14MB,andthenumberofparametersandthecalculationamountisreducedby48.7%and38.7%respectivelycomparedwiththeoriginalmodel.Key words:machinevision;deeplearning;objectd
8、etection;YOLOv5algorithm;attentionmechanism;ceramictilesurfacedefects计算机系统应用ISSN1003-3254,CODENCSAOBNE-mail:ComputerSystems&Applications,2023,32(8):151161doi:10.15888/ki.csa.009185http:/www.c-s-中国科学院软件研究所版权所有.Tel:+86-10-62661041基金项目:广东省基础与应用基础研究基金(2020B1515120089)收稿时间:2023-01-19;修改时间:2023-02-23;采用时间
9、:2023-03-03;csa 在线出版时间:2023-05-22CNKI 网络首发时间:2023-05-24SoftwareTechniqueAlgorithm软件技术算法151目前在瓷砖表面缺陷检测环节中,主要通过质检人员利用人眼主观地去判断瓷砖表面是否存在瑕疵.质检人员长时间在强光高噪音的环境下工作,存在检测效率低、人力成本高、检测质量不稳定等问题.相较于人工检测,使用机器来实现瓷砖表面缺陷的自动检测也存在很多问题,主要包括:1)瓷砖表面缺陷包含极小缺陷,可能只有几个像素点,机器检测出极小目标的能力有限;2)瓷砖缺陷包括:斑点、白点、磕碰、落脏等,种类繁多;3)有些瓷砖表面缺陷特征与瓷砖
10、本身花纹有相似之处.因此,瓷砖表面缺陷检测一直是困扰瓷砖行业的痛点,也是瓷砖行业发展的瓶颈.很多学者开始使用机器视觉的相关技术去解决瓷砖表面缺陷检测的问题,SameerAhamad 等人1对图像进行形态学操作,并采用模糊规则对瓷砖的缺陷进行分类.Samarawickrama 等人2使用 Matlab 软件对瓷砖表面的角缺陷、边缺陷以及划痕进行检测,通过计算图像的白色像素和整副图像的白色像素的数值判定区域是否存在缺陷.Alamsyah 等人3使用数字图像处理的方法去检测瓷砖表面缺陷,首先使用中位滤波器对图像数据进行预处理,然后基于纹理采用灰度共生矩阵(GLCM)方法提取纹理数据,最后采用最临近节
11、点算法(KNN)方法对图像数据进行分类.Birlutiu 等人4使用深度学习的方法对瓷盘进行检测,网络仅包含784 个神经元,准确率却达到 89%.相比于传统的目标检测方法,基于深度学习的目标检测方法具有更高的目标检测准确率,拥有更强的鲁棒性和泛化能力.近年来,基于深度学习的目标检测算法在工业领域得到了广泛应用,它可以迅速准确地定位和分类目标,主要分为两大类:第 1 类是两阶段目标检测算法,该类算法在模型训练时分为 2 个步骤,第 1 步是训练区域建议网络(regionproposalnetwork),第 2 步是训练目标区域检测的网络.在推理过程中,算法生成一系列作为样本的候选框,再通过卷积
12、神经网络进行样本分类,代表模型有 R-CNN5、FastR-CNN6、FasterR-CNN7、CascadeR-CNN8.另一类目标检测算法是以 YOLO(youonlylookonce)9为代表的一阶段目标检测算法,该类算法将物体检测任务当成回归问题来处理,它并不需要区域建议网络,直接产生物体的类别概率和位置坐标值.经过单次检测即可直接得到最终的检测结果,因此它的检测速度非常快,代表模型还有 SSD(singleshotmulti-boxdetector)10、YOLOv311、YOLOv412和 RetinaNet13.瓷砖生产过程中对表面缺陷检测的实时性要求非常高,并且瓷砖表面缺陷只占
13、瓷砖总面积的很小部分,因此检测模型需要具备检测微小目标缺陷的能力.目前有学者尝试把 YOLOv5 检测模型应用到该工业场景中,Lu 等人14提出了一种基于 YOLOv5 的瓷砖表面缺陷检测方法,采用优化瓶颈层和主干网络并添加SE15注意力机制模块的方法去改进 YOLOv5 模型.但是该研究所使用的数据集是未公开的,其改进后的模型参数量和计算量仍然较大.此外,该研究没有分析瓷砖表面缺陷偏小的特性并对检测模型进行改进,且目前有较多比 SE模块更先进的注意力机制.针对上述问题,本文提出一种基于改进 YOLOv5的瓷砖表面缺陷检测方法,主要贡献如下:1)根据瓷砖表面缺陷的特征,删除冗余目标检测头分支,
14、对检测模型结构进行优化.2)在网络中使用基于 ghostmodule16的轻量化模块,提高模型的检测速度.3)添加 CA(coordinateattention)17注意力机制模块,增强模型提取目标特征的能力.本文的总体执行流程如图 1 所示,我们用公开的瓷砖表面缺陷数据集来训练改进后的YOLOv5s 模型,得到训练好的检测模型,把待检测的瓷砖图像输入到训练好的模型进行检测,最终得到瓷砖图像的检测结果.数据增强YOLOv5sC3待检测瓷砖图片删除大目标检测头分支待训练瓷砖图片ConvGhostConv翻转、缩放Mosaic检测结果C3GhostCA block图 1总体流程图1瓷砖表面缺陷数据
15、集 1.1 瓷砖表面缺陷类型本文使用的数据集是天池瓷砖瑕疵检测数据集,共有 5388 张图像.如图 2 所示,主要分为 6 种缺陷,分别是边异常、角异常、白色点瑕疵、浅色块瑕疵、深色点块瑕疵和光圈瑕疵.本文从中随机选取 4168 张作为训练集,610 张作为验证集,610 张作为测试集.计 算 机 系 统 应 用http:/www.c-s-2023年第32卷第8期152软件技术算法SoftwareTechniqueAlgorithm 1.2 瓷砖表面缺陷数据集分析对瓷砖瑕疵检测数据集(https:/ 3 统计了数据集中各种缺陷类型的样本数量,发现深色点块瑕疵出现的频率最高,超过总样本数量的一半
16、.图 4 为瓷砖表面缺陷的位置分布图,发现目标缺陷分布较为均匀,其中边异常和角异常大概率发生在制品的边缘处,所以四角的缺陷数量会更多.图 5(a)为瓷砖表面缺陷的高度尺寸分布直方图,图 5(b)为宽度尺寸分布直方图,发现绝大部分瓷砖表面缺陷高度尺寸要小于原始图像高度尺寸的 0.5%,宽度尺寸小于原始图像宽度尺寸 2%,瓷砖表面缺陷只占原始图像中很小一部分面积,且目标缺陷的长宽尺寸较小,因此小目标检测是瓷砖表面缺陷检测的重点.(a)边异常(b)角异常(c)白色点瑕疵(d)浅色块瑕疵(e)深色点块瑕疵(f)光圈瑕疵图 2瓷砖表面缺陷类型8 0007 0006 0005 0004 0003 0002
17、 000Instances1 0000BackgroundEdgeCornerWhite_pointLight_pointDeep_pointRing图 3缺陷数量统计图1.00.80.60.40.200.20.40.6x0.8y图 4缺陷位置分布图00.050.10Height0.1500.20.4Width(a)高度尺寸分布直方图目标数量目标数量(b)宽度尺寸分布直方图0.6图 5缺陷尺寸分布直方图2YOLOv5 检测算法及改进 2.1 YOLOv5 算法YOLOv5s 的整体网络结构如图 6 所示,可以分为Backbone、Neck 和 Prediction 这 3 个部分.其中 Bac
18、k-bone 网络主要由 Focus、CBS、C3 和 SPPF 模块组成,主要功能是提取输入图像的信息.在 Backbone 网络最后加入 SPPF(spatialpyramidpooling-fast)模块,能显著增加了感受野,分离出最重要的上下文特征,对比普通的 SPP18方法,SPPF 以更少的计算量和更快的速度就能产生与 SPP 一样的效果.Neck 网络借鉴了 FPN+PANet19网络结构,它的主要功能是实现 Backbone 网络中不同层级之间的信息交互.在 Prediction 网络,YOLOv5s 有 3 个目标检测头分支,分别对小目标、中目标和大目标进行目标检测,本文输入
19、网络的图像尺寸为 281628163,在 Prediction 网络会使用 352352、176176 和 8888 的网格分别检测小目标、中目标和大目标.YOLOv5使用 CIoUloss20作为边界框坐标回归的损失函数,解决了 IoU 和 GIoU21存在的收敛速度慢和回归不精确等问题.2023年第32卷第8期http:/www.c-s-计 算 机 系 统 应 用SoftwareTechniqueAlgorithm软件技术算法153BackboneP5P4P3P2NeckPredictionP9P8P7P6ConcatFocusCBSC3CBSC3CBSC3CBSSPPFC3CBSUpsa
20、mpleConcatC3-FalseC3-FalseC3-FalseCBSUpsampleConcatC3-FalseCBSConvConvConcatCBSConv021345678913111210171516141820192122238888361761763635235236CBS=ConvBNSiLUC3CBSCBSCBS=Bottleneck=CBSCBS+CBSCBSCBS=C3-FalseCBS2nConcatConcatCBSMaxPoolMaxPoolMaxPoolCBSConcatFocusSliceSliceSliceSliceCBS=ConcatSPPF=Bottl
21、eneck n图 6YOLOv5s 的网络结构 2.2 YOLOv5 算法改进为了解决瓷砖表面缺陷检测存在的小目标检测困难、实时性要求高的问题,本文提出的适用于瓷砖表面缺陷检测的改进型 YOLOv5s 模型.如图 7 所示,改进点主要分为 3 个部分:1)模型结构改进:删除原模型中专门用来检测大目标的冗余检测头分支;2)模型轻量化改进:使用轻量化模块 ghostconvolution 和 C3Ghost替换原模型 Backbone 网络中的 C3 和普通卷积模块;3)添加注意力机制:为了让模型更关注重要的区域,在Backbone 和 Neck 网络末端添加 CA(coordinateatten
22、-tion)block.2.2.1模型结构改进YOLOv5s 在 Prediction 网络有 3 个目标检测头分支,它们的感受野各不相同.其中大目标检测头所使用网格大小为 8888,每个网格的长宽尺寸为输入图像的长宽尺寸的 1.14%.但是数据集中绝大多数缺陷的高度尺寸要小于原始图像高度尺寸的 0.5%,因此大目标检测头分支检测瓷砖表面缺陷的能力会较弱.图 8 为 YOLOv5s 在不同阶段生成的特征图,可以发现在 stage17 和 stage20 生成的特征图中目标缺陷的特征信息最清晰,但是从 stage23 生成的特征图可以发现,缺陷的特征信息开始变得模糊,部分特征信息已经消失.图 9
23、 为 YOLOv5s 的结构简图,由于瓷砖表面缺陷的尺寸很小,P9 部分输出的特征图是专门用来检测大尺寸目标,因此该部分的作用有限,改进后的 YOLOv5s模型删除了原模型 P9 部分.图 10 为删除大目标检测头后的模型,模型命名为 YOLOv5s-de,该模型可以减少原始模型的参数量和计算量,提升模型的检测速度.为了对比拥有不同数量目标检测头分支的 YOLOv5s模型,本文在 Prediction 网络添加了一个专门针对微小目标的检测头,如图 11 所示,在 Neck 网络中采用 FPN+PANet19的网络结构,添加了 A1 和 A2 部分,A1 与 P2输出的特征信息拼接后直接对微小目
24、标进行检测,本文把添加微小目标检测头的模型命名为 YOLOv5s-ad.图 8(e)为 A1 部分输出的特征图,可以发现,在YOLOv5s 模型的基础上,所添加的微小目标缺陷检测头并不能有效提取目标缺陷的特征信息,检测效果较差.主要原因是所使用的模型是 YOLOv5s,属于 YOLOv5系列中较为轻量的模型,输入的图像信息只经过 Back-bone 网络中 P2 部分处理后,就与 Neck 网络 A1 部分输入的信息进行拼接,且 P2 部分中的 C3 模块只有一层 bottleneck,提取特征信息的能力较弱,因此所添加的微小目标检测头的检测能力有限.计 算 机 系 统 应 用http:/ww
25、w.c-s-2023年第32卷第8期154软件技术算法SoftwareTechniqueAlgorithmBackboneP5P4P3P2NeckP7P6P8ConcatFocusGhostConvC3GhostGhostConvC3GhostGhostConvC3GhostGhostConvSPPFC3GhostCBSUpsampleConcatC3-FalseCBSUpsampleConcatC3-FalseCBSC3-FalseConvConv02134567891311121017151614182019CA blockCA block3523523617617636CA blockP
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 改进 YOLOv5 瓷砖 表面 缺陷 检测
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。