基于gnConv和GAM的YOLOv5钢管焊接缺陷检测方法.pdf
《基于gnConv和GAM的YOLOv5钢管焊接缺陷检测方法.pdf》由会员分享,可在线阅读,更多相关《基于gnConv和GAM的YOLOv5钢管焊接缺陷检测方法.pdf(9页珍藏版)》请在咨信网上搜索。
1、针对基础 yolov5 算法检测钢管焊缝缺陷因缺陷目标小、背景复杂造成检测精度不够、特征提取不充分、速度慢的问题,提出了一种改进 yolov5 检测算法.首先,采用递归门控卷积 gnConv 替换网络中普通的卷积层,增强了模型空间交互能力,实现对特征的高效提取,间接提高了检测速度;其次,使用 ASPP(Atrous Spatial Pyramid Pooling)模块替换基础算法中使用的 SPP 模块,在扩大了感受野范围的同时提高了检测速度;最后,在网络的预测端添加全局注意力机制 GAM(Global Attention Mechanism)进一步加强特征提取,提高检测的精度.实验结果表明,改
2、进的算法mAP 达到了 92.7%,比原算法提升了 2.1 个百分点,速度为 50.8 f/s,满足钢管焊接缺陷检测的精度和实时性要求.关键词:钢管焊接缺陷;gnConv;ASPP;GAM中图分类号:TP391.41 文献标识码:A 文章编号:1000-7180(2023)09-0029-09Detection Method for Welding Defects of YOLOv5 Steel PipeBased on gnConv and GAMZHOU Xin,HAO Wanjun,BIAN Changgeng,MA Wenqi(College of Elctronic and Info
3、rmation Engineering,Suzhou University of Science and Technology,Suzhou 215009,China)Abstract:Aiming at the problems of low detection accuracy and slow detection speed caused by small target and complexbackground of steel pipe welding defects,an improved YOLOv5 detection algorithm is proposed.First,r
4、ecursive gatedconvolution gnConv is used to replace the common convolution layer in the network,which enhances the interaction abilityof model space,realizes efficient feature extraction,and indirectly improves the detection speed.Secondly,the use of ASPP(Atmosphere Spatial Pyramid Pooling)module no
5、t only expands the receptive field,but also improves the detection speed.Finally,GAM(Global Attention Mechanism)is added to the prediction end of the network to further enhance featureextraction and improve detection accuracy.The experimental results show that the improved al gorithm mAP achieves92.
6、7%,2.1 percentage points higher than the original algorithm,and the speed is 50.8 f/s,meeting the requirements ofprecision and real-time of steel pipe welding defect detection.Key words:steel pipe welding defects;gnConv;ASPP;GAM 1引言钢管广泛应用于石油、化工、天然气等重要场合,如果钢管中存在缺陷,将会导致非常严重的后果1.随着我国对钢管需求的不断增长,许多企业越来越注
7、重钢管的质量和性能,因此,及早检测出钢管中的焊接缺陷具有重要意义.传统的钢管缺陷检测方法依赖于人工操作,而钢 收稿日期:2022-11-24;修回日期:2023-01-11基金项目:国家自然科学基金资助项目(51477109)40 卷 第 9 期微 电 子 学 与 计 算 机http:/Vol.40No.92023 年 9 月MICROELECTRONICS&COMPUTERSeptember 2023管缺陷一般较小,人工检测主观性大,不仅效率低下,而且很容易造成漏检和误检.而基于图像的缺陷检测算法,虽然替代了人工,但只能提取缺陷的一些浅层特征,检测的效果较差,且容易受到光照等外界因素
8、的影响2.近些年来,深度学习的发展为缺陷检测提供了新的方法.基于深度学习的目标检测算法不依赖于人工,而是通过自主学习便可直接对缺陷进行检测.目前,目标检测算法可分为两类,一类是一阶段的算法,如 SSD3、YOLO4等算法,另一类是二阶段的算法,如 Faster R-CNN5等算法.一阶段的算法虽检测速度较快,但检测精度不高,相反,二阶段的算法检测精度较高,但是推理速度较慢.随着深度学习的发展,众多研究者开始将深度学习的目标检测算法应用于缺陷检测.石炜6等采用 ZFNet 作为 Faster R-CNN 的特征提取网络,虽然提高了缺陷检测的精度,但是模型较复杂,检测速度较慢.李兰7等采用 Mob
9、ileNet 网络替换 SSD 中的 VGG16 网络,并利用反向残差结构进行预测,简化了模型并减少了参数量,检测速度得到了提升,但检测的精度不高.以上算法无法兼顾检测精度和速度.而随着 YOLO 系列算法的发展,如今 YOLO算法检测精度和速度都得到了很大提升.王宸8等Mish 激活函数作为 YOLOv3 的激活函数,并采用CIOU 的计算方法提高了检测的定位精度.付思琴9等使用 GhostNet 作为 YOLOv4 的特征提取网络,并对检验框进行聚类,具有较好的检测精度和速度.虽然目标检测已经应用于缺陷检测中,但检测的精度和速度仍然需要进一步提高.钢管缺陷检测相比其他目标检测因受工业相机、
10、环境光源等外在因素影响对缺陷特征的提取提出更高要求.钢管缺陷检测缺陷较一般目标检测尺寸更小、像素占比小,如何精确对这类小缺陷进行检测成为钢管缺陷检测的困难之一.在实际生产应用中由于计算资源有限,如何提高检测的速度也成为钢管缺陷检测的关注点.刘涵1等使用卷积神经网络的方法对钢管焊缝缺陷进行了检测,但需人工提取特征,效率低且在不同种类的缺陷中实现高准确率细分识别仍有待实现.吴忍10等人对 Faster RCNN 进一步改进,提高了缺陷检测的精度,但使用的深度残差网络的网络结构深,检测速度仍有很大提升空间.谷静11等人使用 FasterRCNN 对焊缝缺陷进行检测提高了对微小缺陷检测的效果,但精度未
11、能满足工业需求.YOLOv5 各方面的性能都优于之前的算法,为进一步提高模型的性能,本文在 YOLOv5 的基础上进行改进,采用递归门控卷积 gnConv 作为网络中普通卷积的增强替代方案,实现了网络对特征的高效提取,同时采用 ASPP 扩大感受野,加强主干部分的特征提取能力,提高检测速度,最后在网络的输出端添加全局注意力机制 GAM 进一步提高检测的精度.2基本原理对于钢管焊接缺陷检测,考虑其精度和速度的要求,本文对比多种目标检测算法在钢管缺陷检测中的表现,如表 1 所示.表 1 算法选用对比实验Tab.1 Comparative Experiment of Algorithm Select
12、ion模型mAP/%Recall/%FPS/(f/s)Faster R-CNN93.194.515.1SSD79.680.441.7YOLOv482.585.844.6YOLOv590.691.548.1 从表 1 可以看出,Faster R-CNN 检测精度是所有算法里最高的,但它是二阶段的算法,模型较大,检测速度是最慢的.SSD 作为一阶段的算法,虽然检测速度较 Faster R-CNN 快很多,但是检测的精度较低,YOLOv4 检测的精度和速度都优于 Faster R-CNN 和SSD 算法,但是相较于 YOLOv5 算法,仍较低,最终选取 YOLOv5s 作为检测的网络模型,其网络结构
13、图如图 1 所示.YOLOv5 的网络结构主要由 Backbone、Neck、Head 等 3 部分组成.其输入端主要对图片进行缩放操作,以及自适应锚框计算.主干Backbone 主要是由Focus、CBL、CSP、SPP等模块组成.其中,Focus 模块主要对图片进行切片操作,将原先的 RGB3 个通道扩展成 12 个通道.CBL是基本的 Conv 层加 BN 和 Relu 构成,CSP 模块作用于主干和颈部,用于特征提取并减少梯度重复,SPP 模块对不同大小的卷积核进行池化并进行融合,提取图片重要特征.颈部 Neck 是由 FPN 和 PAN 组成,FPN 采用上采样,将语义特征从高层传递
14、到低层,而 PAN 采用的是下采样,将定位特征从低层传递到高层,提高了模型特征融合的能力.输出端 Head 负责预测,输出对象的概率、置信30微电子学与计算机2023 年度和框的位置,YOLOv5 有 3 层负责预测,分别对大小不同的物体进行检测.3改进的 YOLOv5 算法 3.1递归门控卷积 gnConvYOLOv5 网络模型中有很多基本的卷积层,但是普通卷积太多会加大计算量和参数量,更重要的是普通卷积没有考虑特征所在空间和其周围空间的相互作用,导致在特征提取时会丢失一部分信息,影响检测的精度.为此,本文利用递归门控卷积 gnConv12替换模型中普通的卷积层.如图 2 所示,由于非线性的
15、原因,在深度学习模型中普通卷积没有显式地考虑特征(红色区域)与其周围空间(黑色区域)的相互作用,而本文所采用的gnConv 采用门控卷积和递归设计高效地实现了任意顺序的空间交互作用.X RHWCgnConv 是用标准的卷积、线性投影和元素乘法构建的,实现了模型长期的高阶空间交互.设输入特征为,门控卷积的输出 y 可表示为:pHWC0,qHWC0=in(x)RHW2Cp1=f(q0)p0 RHWCy=out(p1)RHWC(1)in,outfp(i,c)1=jicijq(j,c)0p(i,c)0i这里,是使用 1*1 卷积将通道数翻倍从而进行通道混合的线性投影层,是深度卷积,注意到,其中,是以
16、i 为中心的局fp(i)0q(j)0部窗口,表示 的卷积权值,于是,上述公式利用元素相乘法显式引入了相邻特征和的相互作用,但这只是一阶的相互作用.InputFocus8080255404025520202554164163BackboneNeckHead=CBLCSP1CBLCSP1CBLCSP1CBLSPPCSP2CBL上采样CSP2CBL上采样ConcatConcatCSP2ConvCBLConcatCSP2ConvCBLConcatCSP2ConvCBLConvBNReluResCBLCBLaddCSP1CBLResConvConvConcatBNReluCBLCSP2CBLCBLCon
17、vConvConcatBNReluCBLFocusSliceSliceSliceSliceConcatCBLSPP=MaxpoolMaxpoolMaxpoolConcatCBL图1YOLOv5 网络结构Fig.1 YOLOv5 Network Structure(a)普通卷积MulMulMul(b)gnConv图2普通卷积与 gnConvFig.2 Ordinary Convolution and gnConv第 9 期周鑫,等:基于 gnConv 和 GAM 的 YOLOv5 钢管焊接缺陷检测方法31 inp0qkn1k=0在实现一阶空间交互之后,引入高阶交互增强模型容量,首先使用得到一组投
18、影特征和:pHWC00,qHWC00,qHWCn1n1=in(x)RHW(C0+0kn1Ck)(2)然后执行门控卷积的递归运算:pk+1=fk(qk)gk(pk)/,k=0,1,n1(3)1/fkgkqnout这里将输出按照缩放使得训练稳定,是一组深度卷积层,用于按照不同顺序匹配维度.将最后一个递归步骤的的输出输入到,得到 gnConv的最终结果.由递归公式(3)看出每一步的交互顺序都会增加 1,因此可以看出 gnConv 实现了 n 阶空间交互.为了减少高阶交互的计算量,定义每一阶的通道维度为:Ck=C2nk1,0 k n1(4)f同时,gnConv 通过对深度卷积 使用 77 卷积和全局滤
19、波器实现了空间之间的长期交互.其具体的实现结构图如图 3 所示.Proj,2C(C,*)(C,*)DWConv,2C-C/4Proj,C/2Mul(C/4,*)(C/4,*)(C/2,*)Proj,CMulMulProj,CgnConv图 3gnConv 结构图Fig.3 Structure of gnConv 与普通卷积相比,gnConv 效率更高,实现了特征与其周围空间的长期相互作用,避免了信息丢失,提高了模型特征提取能力,并且可扩展到任意阶,可兼容各种大小的卷积核,适用于多种网络模型.因此,gnConv可作为普通卷积的替代增强方案,既加强了特征提取的能力,也间接加快了检测速度.3.2AS
20、PPYOLOv5 采用的是空间金字塔池化 SPP,它将输入的特征并行通过不同大小的池化核,变成固定大小的向量,再进行融合.其结构如图 4 所示.后来 YOLOv5的后续版本将 SPP 换成了 SPPF,其结构如图 5 所示,与 SPP 不同的是,SPPF 是把输入特征串联通过不同大小的池化核,其效果和 SPP 一样,但 SPPF 的速度更快,效率更高.由于嵌入式设备的发展对模型的性能要求更高,为此,本文借鉴了语义分割中的思想,采用ASPP(Atrous Spatial Pyramid Pooling)模块替换 SPP模块.MaxPool2dk5,s1,p2MaxPool2dk9,s1,p4Ma
21、xPool2dk13,s1,p6ConcatRF:55RF:99RF:1313图 4SPP 结构图Fig.4 SPP Structure Diagram MaxPool2dk5,s1,p2MaxPool2dk5,s1,p2MaxPool2dk5,s1,p2ConvBNSiLUk5,s1,p0,C512ConcatConvBNSiLUk5,s1,p0,C1024RF:1313RF:99RF:55图 5SPPF 结构图Fig.5 SPPF Structure Diagram 与 SPP、SPPF 所不同的是,ASPP 中加入了空洞卷积.空洞卷积解决了感受野大和图片分辨率低的矛盾,其主要是引入了“扩
22、张率 rate”参数,表示卷积核各个点之间的间隔数量,主要原理图如图 6 所示.图 6 左侧为普通卷积,扩张率为 1,感受野为 33,而右侧为空洞卷积,扩张率为 2,此时的感受野为 77,依此类推.空洞卷积的优势在于不进行池化操作,扩大了感受野,使得每个卷积的输出信息范围都较大.ASPP 的结构如图 7 所示,该模块使用多个并行的空洞卷积,单独处理不同大小的特征,然后再进行融合,在扩大了感受野的同时,提高了模型特征提取的能32微电子学与计算机2023 年力,也提高了模型的检测速度.3.3全局注意力机制 GAM在深度学习中,注意力机制能够聚焦于基本特征而抑制不必要的特征,从而提高模型提取特征的能
23、力,并且是即插即用,因此目前被广泛用于目标检测.为了进一步提高钢管缺陷检测的精度,本文在YOLOv5 的预测端加入全局注意力机制 GAM13.目前注意力机制主要分为通道注意力机制和空间注意力机制.这两种注意力机制只注意通道或者空间一个方面,效率较低,如 SE14.此后,有学者将这两种注意力机制顺序放置,结合到一起,如 CBAM15,并且效果取得了显著改善,然而,以上方法忽略了通道与空间的相互作用,丢失了跨维度的信息.考虑到跨维度信息交互的重要性,三元注意模块 TAM16利用每一对三维空间的注意力权重来提高效率,但实际只应用于两个维度,而 GAM 注意力机制能够放大跨维度的交互作用,同时获取三个
24、维度的特征,避免信息丢失,从而提高检测的精度.GAM 注意力模块是在 CBAM 的基础上,对子模块进行了重新设计,整个过程如图 8 所示.F1 RCHWF2对于一个给定的特征,中间状态和F3输出的定义如式(5)和式(6)所示:F2=Mc(F1)F1(5)F3=Ms(F2)F2(6)McMs式中,和分别是通道和空间的注意图,表示按元素计算的乘法.GAM 的通道和空间注意的子模块分别如图 9和图 10 所示,其中,通道注意的子模块使用 3D 排列保留三维的信息,同时使用双重 MLP 来放大跨维度通道和空间之间的依赖,而空间注意的子模块使用两个卷积聚焦空间信息,与此同时,由于最大池化操作减少了信息,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 28 29 Conv GAM YOLOv5 钢管 焊接 缺陷 检测 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。