基于E-YOLOX的实时金属表面缺陷检测算法.pdf
《基于E-YOLOX的实时金属表面缺陷检测算法.pdf》由会员分享,可在线阅读,更多相关《基于E-YOLOX的实时金属表面缺陷检测算法.pdf(14页珍藏版)》请在咨信网上搜索。
1、2023 年 8 月 图 学 学 报 August2023第 44 卷 第4期 JOURNAL OF GRAPHICS Vol.44No.4 收稿日期:2022-12-30;定稿日期:2023-03-27 Received:30 December,2022;Finalized:27 March,2023 基金项目:国家自然科学基金项目(61861016);江西省科技支撑计划重点项目(20161BBE50081)Foundation items:National Natural Science Foundation of China(61861016);The Key Project of Ji
2、angxi Science and Technology Support Plan(20161BBE50081)第一作者:曹义亲(1964),男,教授,硕士。主要研究方向为图像处理与模式识别。E-mail: First author:CAO Yi-qin(1964),professor,master.His main research interests cover digital image processing and pattern recognition.E-mail: 基于 E-YOLOX 的实时金属表面缺陷检测算法 曹义亲1,周一纬1,徐露2(1.华东交通大学软件学院,江西 南昌
3、330013;2.江西交通职业技术学院机电工程学院,江西 南昌 330013)摘要:针对现有基于深度学习的金属表面缺陷检测方法存在泛化能力差、检测速度低等问题,提出一种新的检测算法 E-YOLOX。该算法采用新的特征提取网络 ECMNet,并使用深度卷积减少网络参数;以线性逆瓶颈残差网络提升特征提取能力,在正向传播过程中保留更多高维张量内的流形分布于低维子空间的关键特征;以扩张跨阶段局部网络结构多样化神经网络的梯度流路径,使深层神经网络更高效地学习和收敛。同时,提出一种新的数据增强方法边缘 Cutout,在训练过程中自适应生成掩膜覆盖图像的随机区域,提升网络的检测和泛化能力。实验结果表明,E-
4、YOLOX-l 在铝型材表面缺陷数据集 AL6-DET 上检测精度达到了 77.2%的 mAP,在钢材表面缺陷数据集 GC10 上检测精度达到了 36.8%的 mAP,较基准模型 YOLOX-l 分别提高 3.6%和 1.7%,同时参数量减少 55%,计算量减少 49%,检测速度达到 57 FPS,提高了 21 FPS。与相关算法对比,该算法取得较高的检测精度,且在精度和速度之间达到较好的均衡。关键词:金属表面;缺陷检测;深度学习;YOLOX;轻量级网络;数据增强 中 图 分 类 号:TP 391 DOI:10.11996/JG.j.2095-302X.2023040677 文 献 标 识 码
5、:A 文 章 编 号:2095-302X(2023)04-0677-14 A real-time metallic surface defect detection algorithm based on E-YOLOX CAO Yi-qin1,ZHOU Yi-wei1,XU Lu2(1.College of Software,East China Jiaotong University,Nanchang Jiangxi 330013,China;2.School of Electromechanical Engineering,Jiangxi V&T College of Communicat
6、ions,Nanchang Jiangxi 330013,China)Abstract:For metallic surface defect detection,a novel algorithm E-YOLOX was proposed to address the shortcomings of current methods,such as poor generalization ability and low detection speed.The algorithm utilized a new feature extraction network,ECMNet,which emp
7、loyed depth convolutions to reduce the parameters and computational cost of the network.The linear inverse bottleneck residual network was in use to enhance the feature extraction capability,while preserving more key features that were manifold distributed in low-dimensional subspaces within high-di
8、mensional tensors during forward propagation.Additionally,the extended cross-stage partial network structure diversified the gradient flow paths of neural networks,making deep neural networks learn and converge more efficiently.Moreover,a new data augmentation method edge Cutout was proposed,which g
9、enerated adaptive masks covering random regions of the image during the training process,enhancing the detection and generalization ability of the network.The experimental results demonstrated that E-YOLOX-l achieved 77.2%mAP in detection accuracy on the aluminum profile surface defect dataset AL6-D
10、ET and 36.8%mAP on steel surface defect dataset GC10-DET,which was 3.6%and 1.7%higher than the baseline algorithm YOLOX-l.At the same time,the number of 678 图像处理与计算机视觉 2023 年 1 parameters was reduced by 55%and the computational cost was reduced by 49%.The detection speed was 57 FPS,an increase of 21
11、 FPS.Compared with other related algorithms,the new algorithm achieved a higher detection accuracy and a better balance between accuracy and speed.Keywords:metallic surface;defect detection;deep learning;YOLOX;lightweight network;data augmentation 铝型材、钢材等金属材料,被广泛应用于汽车制造、桥梁建设、航空航天等支柱产业,为现代社会发展和改善民生做出
12、了巨大贡献。然而,在生产过程中,由于材料损坏、设备故障和操作失误等问题,铝型材表面会产生桔皮、漏底、起坑等缺陷,钢材表面会产生裂缝、冲孔、压痕等缺陷,将严重影响工业产品的可靠性和安全性,因此,金属表面缺陷检测至关重要。随着机器学习和机器视觉的不断发展,金属材料表面的缺陷检测逐渐由人工目测方法转向自动化方法。目前,大多数自动化方法使用的是传统的机器视觉方法,需要通过提取诸如纹理或形状等不同形态的特征来分析缺陷与非缺陷区域之间的差异。LIU 等1使用多元判别函数计算直方图的统计数据,包括差值、平均值和方差,并以此实现对冷轧钢带缺陷的快速检测。LUO 等2提出一种广义完全局部二元模式方法(gener
13、alized completed local binary pattern,GCLBP),使用 LBP 模式信息和频率信息来探索隐藏在均匀模式中的非均匀模式来检测金属表面的多类缺陷,该方法具有较强的抗干扰能力,但不能抑制图像噪声及适应尺度变化。CALEB 和 STEUER3通过计算灰度共生矩阵提取了 13 种纹理特征,ASHOUR 等4通过结合灰度共生矩阵与离散可分离剪切波变换(Discrete shearlet transform)提取 24 种统计特征,在金属表面缺陷的分类上取得显著效果。AI 和 XU5应用傅里叶变换从振幅谱中计算出 5 种统计特征,用于检测钢板表面的纵向裂缝。MEDIN
14、A 等6同时考虑了空域和频域信息的 Gabor 滤波器对扁钢线圈的缺陷进行分类。这种手工提取特征的方式通常需要复杂的参数设置,易受背景环境和光源变化的影响,缺乏泛化能力。同时,由于实际生产中的部署环境难以达到检测系统所需的理想环境,传统的机器视觉方法通常无法实现高精度的缺陷检测。近年来,深度学习方法在图像处理相关任务中取得了令人瞩目的成就。对于目标检测任务,深度学习能挖掘并学习图像数据中的深层特征,在提升检测效果的同时拥有更高的稳定性,且不易受背景光照等浅层特征影响。目前,基于深度学习的目标检测算法根据其网络结构的不同主要分为两类:一阶段检测算法和二阶段检测算法。二阶段检测算法首 先 使 用
15、一 个 区 域 生 成 网 络(region proposal net-work,RPN)分析图片的纹理、色彩和物体边界等信息并生成兴趣区域(region of interest,ROI),然后对提取的 ROI 进行精细调整获得目标的定位。典型的二阶段网络如 RCNN7,Fast R-CNN8,Faster RCNN9和 Cascade RCNN10在目标检测任务中都可获得较高的检测准确率。一阶段网络以端到端的方式直接输出检测结果,不需要区域生成网络。相较于二阶段网络,一阶段网络以牺牲部分准确率为代价获得了更快的检测速度。一阶段检测网络主要包括 YOLO 系列11-16、SSD(single
16、shot multibox detector)17、FCOS(fully convolutional one-stage)18和 ATSS(adaptive training sample selection)19。其中,YOLO 系列目标检测算法检测速度相对较快,网络轻量且结构简单,是目前应用最为广泛的一阶段目标检测算法。在金属表面缺陷检测领域,黄凤荣等20提出了基于聚类生成 anchor方案的 Faster R-CNN 算法检测零件的表面缺陷。于海涛等21以 YOLOv3 作为基准算法,结合轻量化ResNet网络和改进的空洞空间金字塔池化模块,提出的型钢表面缺陷检测算法 SDNet(sel
17、ect and detect network)。MA 等22在 YOLOv4 的基础上设计了一个并行的双通道注意力模块(dual channel and spatial attention module,DCSAM),提 出YOLO-DCSAM 算法对铝带表面缺陷进行检测。GUO 等23提出了 MSFT-YOLO(multi-scale feature with transformer YOLO),在 YOLOv5 的基础上增添了一个 TRANS 模块,该模块基于 Transformer网络,能够有效提取特征图的全局特征,实现钢材表面缺陷的快速检测。目前,主流的目标检测算法都使用了锚框机制,通
18、过预先设定的大量锚框参数,在训练过程中基于锚框调整预测的边界框。对于金属表面缺陷检测,锚框机制存在 2 个问题:锚框参数泛化能力差。为了获得理想的检测效果,锚框的数量、大小、第 4 期 曹义亲,等:基于 E-YOLOX 的实时金属表面缺陷检测算法 679 比例等参数需要精细调整。因此,锚框参数存在领域适用性,不利于检测算法的多领域应用;加剧了正负样本之间的不均衡问题。基于锚框的检测算法通常会预设多个锚框,如 YOLOv5 使用 3 个锚框匹配特征图上的每个网格,相较于无锚框机制,负样本数量增加 3 倍。为了缓解锚框机制带来的问题,YOLOX 使用基于无锚框的标签匹配方法SimOTA(simpl
19、ified optimal transport assignment),摒弃了复杂的锚框设定,提高了算法的泛化能力。同时,SimOTA 不仅减少网络预测的样本总数,并使用动态 top-k 方法选择多个样本匹配同一标签,有效缓解正负样本之间的不均衡。本文选择一阶段目标检测算法 YOLOX 作为基准网络设计新的金属表面缺陷检测算法。现阶段的目标检测算法的主流研究方向是通过增加网络深度和宽度,同时增大输入图像尺寸提高检测的准确率24-25。这类算法应用到实际生产中需要的计算资源远超嵌入式设备所具有的计算能力,且面对图像较少、类别简单的铝型材数据集,算法庞大的参数量使得计算复杂,易出现过拟合问题,影响
20、最终的检测结果。因此,在降低网络参数量的同时提高算法的检测精度是亟待解决的问题。本文提出一种扩张跨阶段轻量网络(extended cross stage partial mobile network,ECMNet)和一种新的数据增强方法边缘 Cutout,同时结合目标检测算法 YOLOX 提出一种新的金属表面缺陷检测算法 E-YOLOX(ECMNet-YOLOX),最后通过改变E-YOLOX 的 网 络 通 道 数 和 层 数,进 而 提 出E-YOLOX-s,E-YOLOX-m 和 E-YOLOX-l 多种规模的算法。本文主要贡献如下:(1)提出了一种轻量、有效的特征提取网络ECMNet。通
21、过增加梯度流路径的多样性,使深层的神经网络能够更高效地学习和收敛,同时采用逆瓶颈结构提高低维通道上网络的特征提取能力。(2)针对数据集样本较少和相似度较高的问题,提出了一种新的数据增强方法边缘 Cutout,增强网络模型检测性能和泛化能力。(3)提出了一种新的金属表面缺陷检测算法E-YOLOX。(4)为了验证该方法的有效性和泛化性,本文分别在铝型材表面缺陷数据集 AL6-DET、钢材表面 缺 陷 数 据 集GC10-DET26和 公 开 数 据 集PASCAL VOC 2012 上进行了对比实验,均取得了较好的效果。1 相关工作 1.1 网络轻量化 1.1.1 YOLO 系列的轻量化发展 YO
22、LOv1 是早期的经典一阶段检测算法,使用VGG16 网络提取图像特征,再通过一层全连接得到预测物体的边界框,实现了端到端目标检测。YOLOv1 以其简洁的网络结构及较二阶段检测算法更高效的检测速度,为目标检测领域带来变革。从 YOLOv2 开始,YOLO 系列设计了新的特征提取网络 DarkNet,由连续的 33 卷积和 11 卷积伴随残差连接所构成。YOLOv3 使用的 DarkNet53 拥有 53 个卷积层,其庞大的参数量和计算量极大地减慢了模型的推理速度。面对深度学习难以部署的困境,YOLOv4 在 DarkNet 中引入了跨阶段局部网络(cross stage partial ne
23、twork,CSPNet)27的结构设计了 CSPDarkNet,在减少网络推理计算的同时实现多样的梯度组合。之后 Scaled-YOLOv4 使用一种缩放方法调整网络的深度和宽度,并在 YOLOv5中发展出了 YOLOv5-s,YOLOv5-m 和 YOLOv5-l等多个规模的网络模型。随着轻量级神经网络的不断发展,MobileNet系列(MobileNet28,MobileNet v229,MobileNet v330)推广了深度可分离卷积、逆瓶颈残差结构等模块提升网络的特征提取能力。ShuffleNet 系列(ShuffleNet31,ShuffleNet v232)使用分组卷积和通道混
24、合方法在不损失性能的同时减少网络的参数量。轻量级网络通过设计不同的卷积方法和网络结构实现卷积网络的轻量化。与常规网络相比,轻量级网络需要更少的参数量和浮点计算量,更适合在嵌入式设备中部署,有利于实际生产中应用。如今,轻量级网络与YOLO系列目标检测算法结合已经成为研究热门方向,如 PP-PicoDet33和 YOLO-Fastest等,极大地减少了模型的参数量,提高了检测速度,但准确率相对较低。1.1.2 深度卷积 使用深度卷积(Depthwise convolution)替换所有 33 卷积。深度卷积是一种特殊的分组卷积,分组数等于输入的通道数。深度卷积作为深度可分离卷积(Depthwise
25、 separable convolution)34的一部分,由MobileNet和Xception推广后广泛使用于轻量级卷积网络中。对于输入通道为 M,输出通道为 N,680 图像处理与计算机视觉 2023 年 尺寸为 WH 的特征图,通过卷积核大小为 K 的标准卷积,其计算量为 HWK2MN,而使用深度卷积完成相同工作,需要的计算量为 HWK2M,二者计算量之比为 1/N。由此可见,当输出通道 N 较大时,使用深度可分离卷积能够有效降低网络的计算量。1.2 YOLOX 目标检测算法 YOLOX 是一种一阶段无锚框的目标检测算法,在检测速度和检测精度上取得相对平衡的表现。如图 1 所示,YOL
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 YOLOX 实时 金属表面 缺陷 检测 算法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。