基于TR-YOLOv5的输电线路多类缺陷目标检测方法.pdf
《基于TR-YOLOv5的输电线路多类缺陷目标检测方法.pdf》由会员分享,可在线阅读,更多相关《基于TR-YOLOv5的输电线路多类缺陷目标检测方法.pdf(10页珍藏版)》请在咨信网上搜索。
1、2023 年 8 月 图 学 学 报 August2023第 44 卷 第4期 JOURNAL OF GRAPHICS Vol.44No.4 收稿日期:2023-01-31;定稿日期:2023-03-16 Received:31 January,2023;Finalized:16 March,2023 基金项目:国家自然科学基金项目(51804250);中国博士后科学基金项目(2019M653874,2020M683522);陕西省科技计划项目(2021JQ-572,2020JQ-757);陕西省教育厅科研计划项目(18JK0512,17JK0503);西安市碑林区科技计划项目(GX2116)
2、Foundation items:National Natural Science Foundation of China(51804250);China Postdoctoral Science Foundation(2019M653874,2020M683522);Shaanxi Provincial Science and Technology Plan Project(2021JQ-572,2020JQ-757);Shaanxi Provincial Education Department Scientific Research Program(18JK0512,17JK0503);
3、Xian Beilin District Science and Technology Plan Project(GX2116)第一作者:郝帅(1986),男,副教授,博士。主要研究方向为电气设备故障诊断和目标检测等。E-mail: First author:HAO Shuai(1986),associate professor,Ph.D.His main research interests cover electrical equipment fault diagnosis,target detection,etc.E-mail: 通信作者:马旭(1985),女,讲师,博士。主要研究方向为
4、图像处理和目标检测等。E-mail: Corresponding author:MA Xu(1985),lecturer,Ph.D.Her main research interests cover image processing,object detection,etc.E-mail: 基于 TR-YOLOv5 的输电线路多类缺陷 目标检测方法 郝帅,赵新生,马旭,张旭,何田,侯李祥(西安科技大学电气与控制工程学院,陕西 西安 710054)摘要:针对复杂环境中输电线路多类缺陷目标的多尺度检测问题,提出一种基于 Transformer 和感受野模块的 YOLOv5 输电线路多类缺陷目标检测
5、算法,简记为 TR-YOLOv5。首先,搭建了 YOLOv5 网络,针对复杂背景造成缺陷目标的显著性低,进而影响检测精度的问题,在 Backbone 部分引入 Transformer 模块,通过利用多头注意力结构获取特征图像素点间的相关性和全局信息,增强缺陷目标的特征表达能力,从而提升模型检测精度;其次,由于待检测目标受多尺度影响,在 Neck 部分引入感受野模块提取目标不同尺度的特征,利用空洞卷积增大感受野,为后续 PANet 结构保留更细致的特征,增强 Neck 特征融合能力,提高模型对多尺度缺陷目标的检测精度;然后,为了提升预测边框回归精度,引入 CIOU 函数,进一步提高算法检测精度;
6、最后,利用某电力巡检部门近 3 年的数据对该算法进行验证。实验结果表明,相比于 7 种对比算法,本文算法具有较高检测精度的同时具有较好的实时性,其平均检测精度可达 95.6%,1280720 分辨率的巡检图像检测速度为 125 帧/秒。关键词:YOLOv5;输电线路缺陷检测;空洞卷积;Transformer;感受野模块;损失函数 中图分类号:TP 391 DOI:10.11996/JG.j.2095-302X.2023040667 文献标识码:A 文 章 编 号:2095-302X(2023)04-0667-10 Multi-class defect target detection meth
7、od for transmission lines based on TR-YOLOv5 HAO Shuai,ZHAO Xin-sheng,MA Xu,ZHANG Xu,HE Tian,HOU Li-xiang(School of Electrical and Control Engineering,Xian University of Science and Technology,Xian Shaanxi 710054,China)Abstract:To address the problem of multi-scale detection of multi-class defect ta
8、rgets in transmission lines in complex environments,a YOLOv5 transmission line multi-class defect target detection algorithm was proposed based on Transformer and perceptual field modules,abbreviated as TR-YOLOv5.First,a YOLOv5 network was built to address the problem of low saliency of defect targe
9、ts caused by complex backgrounds,which hindered accurate detection.The Transformer module was introduced in the Backbone part.By utilizing a multi-head attention structure to capture the correlations and global information between the pixels of feature maps,the feature expression capability 668 图像处理
10、与计算机视觉 2023 年 1 of the defect targets was enhanced,thereby improving the detection accuracy of the model.Secondly,since the target being detected is impacted by multiple scales,a perceptual field module was introduced in the Neck part to extract features of different scales of the target.Null convol
11、ution was also employed to increase the perceptual field,while more detailed features were reserved for the subsequent PANet structure.Furthermore,the Neck feature fusion capability was bolstered to enhance the detection accuracy of the model for multi-scale defective targets.In addition,to enhance
12、the precision of predicted border regression,the CIOU function was introduced to further boost the detection accuracy of the algorithm.Finally,the proposed algorithm was validated using the data of a power inspection department for the past three years.The experimental results demonstrated that the
13、proposed algorithm could surpass seven comparative algorithms in terms of detection accuracy and real-time performance,with an average detection accuracy of 95.6%and the inspection image detection speed for 1280720 resolution reaching 125 frames/second.Keywords:YOLOv5;transmission line defect detect
14、ion;dilation convolution;Transformer;receptive field block;loss function 架空输电线路由于长期运行在复杂自然环境中,受雨水、冰霜、大风等影响,易导致线路出现故障1。为了掌握输电线路的运行状态、保障输电线路安全稳定运行,需要对架空线路进行定期巡检2。无人机电力巡检具有受地域限制少、环境适应性强、巡检效率高等优势,能够极大降低运维人员的工作强度3。然而,巡检产生的海量图像数据仍需工作人员利用肉眼进行识别,其不仅效率低下,还给相关工作人员带来巨大工作量4。因此,面向复杂巡检环境中的海量巡检数据,如何准确、快速进行缺陷目标检测具有
15、重要理论研究意义和实际应用价值。深度学习在目标检测5、图像超分辨率6等领域取得了一系列成果,其中基于深度学习的目标检测算法由于具有检测精度高、鲁棒性强等优点,是目前计算机视觉的研究热点。基于深度学习的目标检测算法主要分为两阶段和一阶段7。两阶段算法首先利用选择搜索策略生成候选窗口,然后提取窗口特征,最后进行分类和边框预测,代表算法为Fast RCNN8,Faster RCNN9。戚银城等10提出一种双注意力机制的 Faster RCNN 的航拍输电线路螺栓缺陷检测算法,对不同尺度的特征和不同位置的特征计算相应的注意力图,然后进行局部和全局特征融合,增大螺栓和背景的特征差异程度,并通过实验证明了
16、该算法的有效性和可靠性。顾超越等11提出一种改进的 Faster RCNN 算法,以ResNet101 作为前置特征提取网络,建立特征金字塔融合多尺度特征增强了小目标的特征表达,通过架空线路销钉缺陷检测试验验证了该算法相比传统算法具有较好的效果。然而,二阶段算法首先需要生成大量候选窗口,导致计算复杂、检测速度慢,难以满足海量巡检数据的检测需求。相比于二阶段算法,一阶段算法将检测作为回归问题处理,无需生成目标候选区域,具有体积小速度快的优势,代表性算法有单次多盒检测(single shot multibox detector,SSD)12,YOLOv313和YOLOv414。翁智等15在 YOL
17、Ov3 算法基础上引入 Res2Net 残差模块增强特征提取能力,并借鉴迁移学习加强特征融合。该方法实现了巡检图像多种关键部件的快速识别。郝帅等16提出一种基于注意力机制和跨尺度特征融合的 YOLOv5 输电线路故障检测算法。该方法通过设计的多尺度特征融合模块增强目标特征的表达能力,通过 CBAM 模块提高复杂背景中目标的显著度,提高了多尺度故障目标的检测精度。然而,输电线路各类设备缺陷具有外观多样、形状多变、尺度差异大的特点,同时无人机成像时因光照、遮挡等因素的干扰,给复杂环境下输电线路的多尺度缺陷目标的精确实时检测带来了挑战。针对以上问题,本文提出一种基于Transformer17与感受野
18、模块(receptive field block,RFB)18的YOLOv5 输电线路多类缺陷目标检测算法,简记为 TR-YOLOv5。本文主要创新和贡献如下:(1)针对复杂背景环境下缺陷目标显著性低进而影响检测精度的问题,首先构建了 YOLOv5 目标检测网络,然后在 YOLOv5 算法 Backbone 部分引入 Transformer 模块,利用其多头注意力机制获取特征图像素间的相关性和全局信息,增强故障目标的特征表达能力,从而提高模型检测精度。(2)由于待检测缺陷目标受多尺度影响,在Neck 部分首层引入 RFB 提取目标的不同尺度信息,利用空洞卷积增大网络感受野,为后续 PANet
19、第 4 期 郝帅,等:基于 TR-YOLOv5 的输电线路多类缺陷目标检测方法 669 保留更多的特征信息,增强 Neck 特征融合能力,提高模型对多尺度目标的分类和检测精度。(3)原始 YOLOv5 算法 采 用 广义 交并 比(generalized intersection over union,GIOU)作为边框损失函数,其无法有效度量预测框与真实框存在包含关系时两框的相对位置关系。为此,本文引入完整交并比(complete-IOU,CIOU)函数19,以提升算法对缺陷目标的预测边框回归精度,从而提供模型检测准确性。1 YOLOv5 检测算法原理 YOLOv5 检 测 算 法 框 架
20、主 要 由 Input,Backbone,Neck 和 Prediction 共 4 个部分组成,如图 1 所示。图 1 YOLOv5 检测框架 Fig.1 The detection framework of YOLOv5 1.1 Input Input 部分完成基本图像处理任务,主要包含Mosaic 图像处理、图像尺寸缩放和锚定框自适应处理 3 个部分。Mosaic 增强使用 4 张图片以随机裁剪和排布的策略进行拼接,丰富了目标的位置分布并且在一定程度上放大了小尺度目标,提高了检测模型的训练效率。1.2 Backbone Backbone 部分使用 CSPDarknet53 作为主干网络,
21、其主要包含 1 个卷积模块、4 个 CBS 模块和 4 个 C3 模块用于提取输入图像的特征信息,为模型后续处理提供基础。1.3 Neck Neck部分采用 SPPF模块和PANet结构。SPPF模块首先使用 4 种不同大小的池化核以串行方式对上层输入特征图进行最大池化,然后进行张量拼接获取多尺度特征信息。PANet 结构在特征金字塔网络(feature pyramid network,FPN)基础上通过建立一条自下而上的通路,有利于将不同尺度特征层的底层细节信息传递到高层特征图,经过融合后的特征图同时具备了高层语义信息和底层细节信息。因此,Neck 部分能够获得更多的特征信息,有利于提高模型
22、检测精度。1.4 Prediction Prediction 部分用来预测目标,其从 3 个不同尺 度 的 特 征 层 输 出 预 测 结 果,输 出 格 式 为NN3(4+1+C),其中 NN 为网格数,每个网格预测 3 个预测框,每个预测框包含 C 个条件类别概率、1 个类别置信度和目标的 4 个坐标信息。检测网络的后处理阶段使用非极大值抑制筛选掉冗余 670 图像处理与计算机视觉 2023 年 的预测框,得到模型最终预测结果。2 TR-YOLOv5 输电线路多类缺陷检测算法 本文提出的TR-YOLOv5输电线路多类缺陷目标检测算法如图 2 所示,为了描述方便将网络中的模块用数字进行编号。
23、Backbone 部分使用 CSPDarknet53 的结构,其中 0,1,3,5,7 模块采用步长为 2 的卷积操作将输入图像尺寸缩小至原始输入图像的 1/2,1/4,1/8,1/16 和 1/32。2,4,6 模块采用卷积核尺寸为 33,步长为 1 的卷积操作对特征图进行计算,特征图尺寸不发生变化。模块 8 引入 Transformer 模块构造了 C3Trans 模块,增强复杂背景下缺陷目标的特征表达能力及对特征图进行全局信息的提取。因此,Backbone 部分首先通过卷积模块获取具有平移不变性的特征图,再利用 Transformer结构获取特征图像素间的全局联系,并结合两者之优势。Ne
24、ck 部分为 RFB 模块和 PANet 结构,分别由模块 9 和模块 1023 组成。RFB 模块使用多个分支和多种尺寸卷积核的卷积操作提取缺陷目标的不同尺度特征信息,利用空洞卷积扩大网络感受野。为后续 PANet 特征融合保留更多的尺度信息,提升 Neck 网特征融合效果,以提高模型对多尺度缺陷目标的分类和检测准确率。模块 11 和 15 使用双线性插值方法实现上采样操作,获取更大尺寸的特征图。模块 1723 对特征图进行下采样和融合操作。图 2 TR-YOLOv5 检测算法框图 Fig.2 Block diagram of the TR-YOLOv5 detection algorith
25、m Prediction 部分利用 Neck 部分融合的特征信息,从检测网络的 17,20,23 共 3 个不同尺度的特征层预测输电线路巡检图像中存在的多尺度缺陷目标的物体类别和位置信息。算法损失函数包含置信度损失、目标类别概率和边界框回归损失 3 个部分,其中使用 BCE loss计算网格检测物体的置信度和类别概率损失,利用CIOU 计算预测框和真实框的边框损失。第 4 期 郝帅,等:基于 TR-YOLOv5 的输电线路多类缺陷目标检测方法 671 2.1 C3Trans 特征提取模块 为了提高 Backbone 的特征提取能力,在Backbone 部分 C3 模块中引入 Transform
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 TR YOLOv5 输电 线路 缺陷 目标 检测 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。