基于LT-YOLOv5s的PCB缺陷检测方法_张开生.pdf
《基于LT-YOLOv5s的PCB缺陷检测方法_张开生.pdf》由会员分享,可在线阅读,更多相关《基于LT-YOLOv5s的PCB缺陷检测方法_张开生.pdf(7页珍藏版)》请在咨信网上搜索。
1、ISSN 1006 7167CN 31 1707/TESEACH AND EXPLOATION IN LABOATOY第 42 卷 第 2 期Vol42 No22023 年 2 月Feb 2023DOI:10 19927/j cnki syyt 2023 02 023基于 LT-YOLOv5s 的 PCB 缺陷检测方法张开生,李昊晨,关凯凯,彭朋(陕西科技大学 电气与控制工程学院,西安 710021)摘要:针对传统 PCB 缺陷检测算法检测准确度低、实时性差等问题,提出一种改进的 YOLOv5s 网络 PCB 缺陷检测方法。针对缺陷特性,去除大目标的检测尺度,保留中小目标检测尺度;在网络模型末
2、端用 Transformer 替代 BottleneckCSP 模块,提升了网络模型捕获目标特征的能力;结合坐标注意力模块,提升模型的性能并减少参数。以某 PCB 数据集为测试对象,结果表明,改进后的算法平均精度均值(mAP)达到 99 04%,平均检测速度为 19ms/帧,改进后的算法能够更加快速有效的检测出 PCB 缺陷。关键词:缺陷检测;YOLOv5s 算法;Transformer 模块;检测尺度;坐标注意力机制中图分类号:TP 391文献标志码:A文章编号:1006 7167(2023)02 0108 07PCB Defect Detection Method Based on LT-
3、YOLOv5sZHANG Kaisheng,LI Haochen,GUAN Kaikai,PENG Peng(School of Electrical and Control Engineering,Shaanxi University of Science and Technology,Xi an 710021,China)Abstract:Aiming at the problems of low detection accuracy and poor real-time performance of traditional PCB defectdetection algorithms,a
4、n improved PCB defect detection method based on YOLOv5s network is proposed Firstly,for thedefect characteristics,the detection scale of large targets is removed,and the detection scale of small and mediumtargets is retained Secondly,the Transformer module is used to replace the BottleneckCSP module
5、 at the end of thenetwork model,which improves the ability of the network model to capture target features Finally,combined with thecoordinate attention module,model performance is improved and parameters are reduced Taking the PCB datasetreleased by Peking University as the test object,the results
6、show that the mean average precision(mAP)of theimproved algorithm reaches 99 04%,and the average detection speed is 19ms/frame The improved algorithm candetect PCB defects more quickly and effectivelyKey words:defect detection;YOLOv5s algorithm;Transformer module;detection scale;coordinate attention
7、mechanism收稿日期:2022-04-08基金项目:陕西省自然科学基础研究计划项目(2022JQ-601)作者简介:张开生(1963 ),男,山西运城人,博士,教授,研究方向为微电子、物联网技术、工业自动化。Tel:13186179255;E-mail:80649433 qq com0引言近年来,各类电子设备生产厂商对于 PCB 裸板的质量和检测效率的要求越来越高。在 PCB 缺陷检测方面,基于深度学习的方法可自动提取图像特征,简化图像预处理过程,能有效提高 PCB 缺陷检测的准确率和效率,引起众多学者的关注,其中较为成熟的算法可以分为两类:一类是以 SSD1 和 YOLO2 5 系列网
8、络为代表的基于回归方法的目标检测算法。例如:an等6 利用多尺度特征图定制不同尺度的边界框,通过非极大值抑制(Non-max suppression,NMS)优化检测结果改进了 SSD 神经网络框架,因没充分利用浅层特征图信息,容易导致定位不准确。曾凯等7 采用模型剪第 2 期张开生,等:基于 LT-YOLOv5s 的 PCB 缺陷检测方法枝、蒸馏和量化等技术对 YOLOv3-spp 检测模型进行压缩优化提升了 PCB 缺陷的检测速度。伍济钢等8 以 MobileNetV3 作为特征提取网络,Inceptionv3 作为检测网络降低了 YOLOv4 网络模型的深度,对各类缺陷的检测能力也得到了
9、提升。以上两种方法所使用的模型权重文件较大,并不适合实际工程的应用。另一类是以 Faster-CNN 为代表的两阶段目标检测算法9。例如:Li 等10 结合 Faster-CNN 和 FPN 结构作为基础,在骨干网络插入 SE 模块提高了网络的特征提取能力,并使用 OI Align 代替 OI Pooling 提高小目标缺陷检测能力,但模型检测的速度过慢,难以达到实际生产场景下对于实时性的要求。为更好地平衡 PCB 缺陷检测的准确度与速度且更方便地部署在工业检测的设备当中。本文以YOLOV5s 网络模型作为基准网络模型,设计合理的检测尺度提高模型的推理速度;将 Transformer 模块替换
10、网络末端低分辨率特征图的 BottleneckCSP 模块,让模型更关注缺陷本身特征;加入坐标注意力机制,提高模型的特征提取能力。将改进后的 YOLOv5s 网络模型称为 LT-YOLOv5s(Light Transformer-YOLOv5s)。1YOLOv5s 网络模型YOLOv5 共有 l、m、s、x 4 个版本,选择 YOLOv5s作为基准网络,其网络模型的权重文件仅 14M,很适合部署到嵌入式设备。其他版本的 YOLOv5 网络模型都是在 s 版本的基础上进行加深与加宽。YOLOv5s 网络结构由输入端、Backbone、Neck、Head 4 部分所组成,网络结构如图 1 所示。图
11、 1YOLOv5s 结构图1 1输入端YOLOv5 的输入部分采用了 Mosaic 数据增强、自适应锚框计算和图片尺寸处理等方式,Mosaic 数据增强是对 4 张图片按照随机缩放、裁剪、排布的方式进行拼接,丰富了数据集样本,其结果如图 2 所示。图 2Mosaic 数据增强效果图自适应锚框计算是在初始锚框的基础上,将输出预测框与真实框做差值,通过不断的迭代获取最佳锚框值。图片尺寸处理采用自适应缩放图片将图片缩放到统一尺寸。1 2主干网络(Backbone)YOLOv5 网络的骨干网络为 CSPDarknet53,包含了 Focus、CBL、CSP1-x、SPP11 4 种模块。Focus 模
12、块对特征图进行复制和切片操作,同时减少网络模型的计算量。CBL 由 Conv+BatchNormalization+Leakyelu激活函数共同组成,可实现特征图像的提取。CSP12 的残差结构能优化梯度信息,同时降低计算量,在保证准确度的同时也加快了推理的速度。SPP 模块采用 3个多尺度的最大池化进行多尺度融合,提高模型的感受野,同时解决了锚框与特征层的对齐问题。1 3颈部网络Neck 部分采用了特征金字塔(Feature PyramidNetworks,FPN13)+路径聚合网络(Path AggregationNetwork,PAN14)的网络结构,这种结构能融合深层特征信息与浅层特征
13、信息增强小目标的检测准确度。901第 42 卷1 4输出端Head 部分以 GIoU 作为 Bounding box 的损失函数,采用 NMS 提高对多目标框重叠现象的检测能力,并输出一个向量,其中包含生成图像中预测的缺陷位置和分类信息。2改进的 YOLOv5s 网络结构设计2 1检测尺度改进YOLOv5s 的原始锚框为 10,13,16,30,33,23、30,61,62,45,59,119和 116,90,156,198,373,326。在 Head 部分包括 3 个输出层 P3、P4和 P5,步长幅度分别为 8、16 和 32。当输入图像像素大小为640 640 时,P3、P4和 P53
14、 个输出层的检测尺度分别为 80 80、40 40 和 20 20 像素,分别预测大型、中等和小型目标。鉴于 PCB 缺陷属于小目标物体,对应 20 20 的检测尺度,感受野为 32 32 像素区域,负责预测大目标物体,超过了 PCB 缺陷所占像素区域大小。在这 3种检测尺度当中,去除了 20 20 的检测尺度,只留下40 40 和 80 80 这 2 种感受野大小为 16 16 和 8 8 像素区域的检测尺度,改进后的检测尺度如图 3 所示。鉴于原始锚框的检测效果很好,故本文采用的原始锚框为 10,13,16,30,33,23 和 30,61,62,45,59,119。图 3YOLOV5s-
15、2head 结构图2 2Transformer 模块针对 PCB 缺陷较为稀疏且特征贫瘠的问题,网络模型在计算过程中缺陷本身的特征需要被特别关注。采用 vision Transformer15 当中的 Transformer 模块来替换 YOLOv5s 网络结构末端的 BottleneckCSP(C3)模块。Transformer 为 Full-attention 模型,由多头注意力(Multi-head self-attention,MHSA)机制所组成,如图 4所示。当有图像输入时,它可计算不同位置像素间的关系,每一个 head 都是特征和信息的子空间,这种方法能够更多地保留 PCB 缺陷
16、的特征信息。图 4Transformer 模块结构图图 5输入特征图的 eshape 操作如图 5 所示,在计算之前增加一个线性层进行位置编码来减少在 eshape 时引起的部分位置信息的丢失。在自注意力机制(Self-attention)中,query 向量 Q、key 向量 K、value 向量 V 都是输入向量 I 通过不同的线性变换得到的。多头注意力机制是对由输入向量 I得到多个自注意力的 head 进行特征融合和线性变换MultiHead(Q,K,V)=Concat(head1,head2,headh)Wout(1)式中:Concat 为特征融合操作;Wout为线性变换矩阵;head
17、h=Attention(Qh,Kh,Vh)=softmaxQhKThd()kVh(2)为第 h 个自注意力的计算结果。式中,dk为 Qh和 Kh点积的方差,用于缓解 softmax 出现梯度消失的问题;Qh=IWQhKh=IWKhVh=IWVh(3)式中,WQh为第 h 个 I 到 Q 的线性变换,再经过两次线性变换,就能获得更关注于 PCB 缺陷本身的特征图。2 3CA 模块在 PCB 缺陷图像当中,缺陷目标所占像素少且容易受到背景因素影响,YOLOv5s 网络模型在卷积采样时容易造成小目标的特征信息的丢失,故本文引入坐标注意力机制(Coordinate Attention,CA)16,它可
18、集成到大多数著名的 CNN 架构,并能以端到端的方式进行训练。CA 模块的流程如图 6 所示。011第 2 期张开生,等:基于 LT-YOLOv5s 的 PCB 缺陷检测方法图 6CA 模块结构图给定一个特征图,其维度为 C H W,分别沿水平方向和垂直方向使用尺寸为(1,W)、(H,1)的 AvgPool 对每个通道 c 进行编码,得到 2 个一维特征编码向量:zhc(h)=1W0i Wxc(h,i)(4)zwc(w)=1H0i Hxc(j,w)(5)使用 Concat 级联之前生成的特征图 zw、zh,使用 1 1的卷积变换函数 F1对进行变换操作生成空间信息在水平方向和垂直方向的中间特征
19、映射f=(F1(zh,zw)(6)式中,为非线性激活函数。沿空间维度利用 2 个卷积核大小为 1 的卷积运算 Fh和 Fw对 fh和 fw进行变换,得到具有相同通道数的张量:gh=(Fh(fh)(7)gw=(Fw(fw)(8)式中,为 Sigmoid 激活函数。这就使得权重范围在 01 之间,再对 gh和 gw进行扩展,作为注意力权重,可得yc(i,j)=xc(i,j)ghc(i)gwc(i)(9)2 4改进后的网络结构YOLOv5 本身就是一个优秀的检测算法,但就小目标检测来看,该算法还具有改进的空间,根据前面 3小节的理论研究和分析,可修改完检测尺度并引入Transformer 结构与注意
20、力机制的 LT-YOLOv5s,其模型结构见表 1。3仿真结果及分析3 1数据预处理本文的实验数据集来源于北京大学公开发布的PCB 数据集,包含 693 个样本。数据集中每张图像的平均像素为 2777 2138,包含孔洞、鼠咬、开路、短路、毛 刺和余铜6种PCB缺陷。该数据集样本较少,训练表 1LT-YOLOv5s 整体模型结构序号From参数量模块参数信息013 520Fcous 3,32,31118 560Conv 32,64,3,22118 816C3 64,64,1311 688CoordAtt 64,644173 984Conv 64,128,3,251156 928C3 128,1
21、28,3613 352CoordAtt 128,2871295 424Conv 128,256,3,281625 152C3 256,256,3916 680CoordAtt 256,2561011 180 672Conv 256,512,3,2111656 896SPP 512,512,5,9,13 1211 182 976C3T 512,512,1 False131131 584Conv 512,256,1,11410UnsampleNone,2151,90Concat 1161361 984C3 512,256,1,False17133 024Conv 256,128,1,11810Un
22、sampleNone,2191,60Concat 120190 944C3T 256,128,1,False211147 712Conv 128,128,3,2221,170Concat 1231296 576C3T 256,256,1,FalseYOLO 模型时容易过拟合,为此,本文采用增强亮度、翻转、随机裁剪、位移和添加高斯噪声等手段对数据样本进行增强。增强后的训练集和测试集按照 9:1 的比例分为训练集(11 601 张图像)和测试集(1 289 张图像)。图 7 为 PCB 数据集的分析可视化结果图。其中:图 7(a)为数据集各个缺陷类别个数;图 7(b)为物体中心点位置分布图,横、纵
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 LT YOLOv5s PCB 缺陷 检测 方法 张开
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。