面向无人机前端轻量级应用的输电线路鸟巢智能检测.pdf
《面向无人机前端轻量级应用的输电线路鸟巢智能检测.pdf》由会员分享,可在线阅读,更多相关《面向无人机前端轻量级应用的输电线路鸟巢智能检测.pdf(8页珍藏版)》请在咨信网上搜索。
1、利用鸟巢颜色单一的特点,提出一种将YOLOX与颜色空间相结合的鸟巢检测方法,以提高巡检无人机在复杂输电线路背景下对鸟巢检测的准确率.在前端设备JetsonXavierNX里,采用经过模型调优的YOLOX目标检测网络对鸟巢图像进行检测并截取区域子图;根据颜色空间分布过滤非鸟巢区域,实现鸟巢的精筛.实验结果表明,采用上述方法对测试集中的鸟巢图像进行检测,准确率可达97.2 0%.关键词:鸟巢检测;电力巡检;深度学习;颜色空间;无人机中图分类号:TM75;T P18 3Bird s nest intelligent detection on transmission lines forunmanne
2、d aerial vehicle front-end lightweight applicationCHEN Jie,ZHU Shikun,SUN Qiang,LIN Caide,JIANG Hao(1.Zhangzhou Power Supply Company,State Grid Fujian Electric Power Co.,Ltd.,Zhangzhou,Fujian 363020,China;2.Pinghe County Power Supply Company,State Grid Fujian Electric Power Co.,Ltd.,Zhangzhou,Fujian
3、 363799,China;3.College of Electrical Engineering and Automation,Fuzhou University,Fuzhou,Fujian 350108,China)Abstract:In order to improve the detection accuracy of bird s nest for unmanned aerial vehicle incomplex transmission line backgrounds,a bird nest detection method is proposed which combines
4、YOLOX with color space based on the characteristic of single color of bird nests.In the front-end deviceJetson Xavier NX,a YOLOX object detection network that has been fine-tuned and trained is used todetect and crop sub-images of birds nest images.The non-nest regions are filtered according to the
5、col-or space distribution to achieve the fine screening of bird nests.The experimental results show that thedetection of bird nest images in the test set using the above method can reach an accuracy of 97.20%.Keywords:birds nest detection;power patrol;deep learning;color space;unmanned aerial vehicl
6、e0引言鸟类在输电线路上筑巢有可能导致电力系统故障跳闸,严重情况下会造成不可挽回的经济损失1。此外,鸟粪的下坠会导致高压线两端电场畸变,容易发生空气间隙击穿放电2 ,直接影响电网的稳定运行.但是,目前鸟巢的检测主要还是依靠人工辨识,这种方式工作效率和可靠性低下.国家电网大力提倡智能化电网,开发一种高效智能的输电线路鸟巢检测方法尤为重要.因此,如何利用鸟巢图像特点,提升鸟巢检测精度,成为研究的重点.近年来,国内外学者针对输电线路鸟巢检测展开大量研究.徐晶等3 利用鸟巢的形状和纹理特征,对鸟巢区域进行特征匹配,但是对图像的特征复用并不全面,检测可靠性较低.黄仁超等4 使用阈值分割结合模板匹配的方法
7、从输电线路图像中分割出鸟巢区域,但在复杂背景中存在无法准确分割出鸟巢的问题.传统检测方式效果不够理想,机器学习融人传统检测方式可以提高鸟巢特征的复用率.张义莲等5 利用收稿日期:2 0 2 2-0 5-0 5通信作者:陈杰(197 9-),工程师,主要从事输电管理中智能巡检方面的研究,4518 7 1435 基金项目:福建省高校产学研合作资助项目(2 0 19H600);国网福建省电力有限公司科技资助项目(52 1350 2 10 0 34)文献标识码:A540粗-精搜索策略结合Adaboost机器学习方法对特征进行学习,鸟巢检测的准确率有所提升.师飘6 也通过基于Haar和LBP特征训练的A
8、daboost分类器,对鸟巢特征分类学习.许烁7 则在此基础上再加人OTSU阈值分割,能更精确地提取鸟巢特征在传统算法的基础上,融人机器学习的鸟巢检测方法性能虽有所提升,但准确率依然不够理想.深度学习在图像目标识别领域发展迅猛,诸如 R-CNN8、SPP-NET 9、Fa s t e r R-CNN10 、SSD 1、YOLOv312等目标检测算法日趋成熟,被许多研究人员运用在鸟巢检测方面,并取得一定成果.王万国等13 利用Faster-RCNN目标检测卷积网络同时实现多类部件和缺陷故障识别,检测准确率和效率有极大的提升.金炜东等14 则提出DDGANs,在很大程度上缓解鸟巢数据样本不平衡的问
9、题.YOLOx15是YOLO系列最新的改进算法,在YOLOv3的基础上采用解耦头、无锚点、数据增强进一步提高目标检测的准确率.虽然输电线路中鸟巢的检测在上述研究中已取得较大进展,基于深度学习的鸟巢检测方法可提取大量的鸟巢图像轮廓、纹理、明暗、色彩等特征,但是单独使用深度学习进行目标检测,无法充分利用鸟巢色彩单一这个重要特征.此外,上述研究并未考虑到模型的实际应用,仅聚焦模型精度的提升,而忽略模型资源的占用.针对上述问题,本研究提出一种结合YOLOX算法与颜色空间检测的检测方法(YOLOXcombinedwithcolor space detection,YO LO X-CSD),并且将训练出的
10、模型部署在前端设备JetsonXavier NX上,实时检测巡检图像上的鸟巢区域.1基于无人机巡检的巢检测方法1.1 YOLOX-CSD鸟巢检测算法YOLOX-CSD检测原理如图1所示.为提高无人机(unmanned aerialvehicle,U A V)巡检图像中鸟巢的检测准确率,进行如下操作.首先,在YOLOX目标检测网络的基础上,进一步对鸟巢数据集进行微调,即利用已经在公共数据上表现良好的卷积神经网络模型,替换其输出层,并使用新的数据对其进行微调;其次,采用经过模型微调的YOLOX目标检测网络,对无人机巡检鸟巢图像进行初步检测;最后,根据鸟巢预测框信息从原无人机巡检图像中截取相应的鸟巢
11、检测区域,并经过基于颜色空间的鸟巢筛选器,对非鸟巢区域进行过滤,完成无人机巡检图像中鸟巢的检测.正样本鸟巢子图鸟巢测试集鸟巢检测模型福州大学学报(自然科学版)负样本第51卷鸟巢感兴趣样本正样本HSV颜色筛选器YOLOX目标检测模型解耦头鸟巢训练集模型微调数据增强CSPNet回归结果图1巡检鸟巢图像检测原理Fig.1 Principle of birds nest detection for inspection images1.1.1YOLOX目标检测模型YOLOX目标检测网络结构如图2 所示.首先,采用空间金字塔池化,解决网络深度加深引起的梯度消失问题和梯度爆炸引起的目标识别准确率降低问题;
12、其次,采用特征图金字塔网络和路径聚集网络进http:/第4期行特征融合,将低层的细节信息和高层的语义信息融合,使得模型提取的信息更加丰富;最后,采用无锚框的解耦头检测方式替换原来基于锚框的检测方式,逐像素直接预测目标的高、宽和左上角横、纵坐标这4个参数,以降低模型的计算量,进一步使模型的推理达到实时、高精度的要求.CSPDarknetInputs(416,416,3)Focus(208,208,12)Conv2D_BN_SiLU(208,208,48)Conv2D_BN_SiLU(104,104,48)CspLayer(104,104,48)Conv2D_BN_SiLU(52,52,96)Cs
13、pLayer(52,52,96)Conv2DBN_SiLU(26,26,192)CspLayer(26,26,192)Conv2D_BN_SiLU(13,13,384)SPPBottleneck(13,13,384)CspLayer(13,13,384)陈杰,等:面向无人机前端轻量级应用的输电线路鸟巢智能检测ClsConvRegConvConvConcat+CSPLayerUpSampling2DConv2DConcat+CSPLayerUpSampling2DConv2D541YoloHeadConvConvDownSamplingConcat+CSPLayerDownSamplingCon
14、cat+CSPLayerObjYoloHeadYoloHeadYoloHead图2 YOLOX网络结构Fig.2YOLOX network structure采用马赛克数据增强和混合数据增强丰富检测背景、增强小目标的检测,并在训练的最后15个训练轮次停止增强,防止数据增强过度.针对无人机巡检图像,马赛克数据增强和混合数据增强的强度选择会对模型准确率(P)造成影响.本研究具体采用如下的数据增强方法:1)马赛克数据增强是一种通过随机缩放、裁剪和排列将4张图片拼接在同一张图片中的技术.这种方法不仅可以丰富图像的背景,增强小目标的检测效果,而且还能在一次性计算4张图片的数据时,变相增加训练样本数量,从
15、而降低图形处理器的负荷.无人机巡检输电线路时,会在一定距离范围内拍摄线路部件,因此拍摄到的鸟巢在图像中的占比不会发生很大的波动.故在马赛克数据增强时,减小其缩放的尺度范围,可以提高模型的检测性能.2)混合数据增强将两个样本图片加权融合后生成新的数据样本,鸟巢在巡检图像上的占比相对稳定,因此混合数据增强无需进行尺度缩放.本研究所用混合数据增强算法的常数透明度为0.5,在丰富数据背景的同时对数据增加扰动,降低数据的敏感度,提升模型的泛化能力.1.1.2鸟巢HSV颜色筛选器鸟巢HSV颜色筛选器的工作流程如图3所示.首先,将鸟巢候选区域的颜色空间转换为HSV空间,因为该颜色空间采用色调(H)、饱和度(
16、S)和明度(V)3个参数来描述颜色,更符合人眼的视觉特征且易于数字化处理.然后,将电力巡检鸟巢图像候选区域中的HSV色彩分量中的H、S、V 分量分别归化到0180、0 2 40、0 2 40,并以2 0 为单位分割子区间进行颜色区间分割.将H分量划分为9个子区间,S分量和V分量各划分为12 个子区间;接着,根据HSV色彩量化子区间,将图像分割为12 9 6 张HSV子图,分析鸟巢分布的颜色空间.在实际测试过程中,排除V处于0 40 区间时图像呈现纯黑色的情况,和S处于0 2 0 或V处于18 0 2 2 0 区间时图像呈现纯白色的情况.通过对电力巡检鸟巢图像的收集和分析,发现鸟巢的HSV颜色空
17、间H、S、V分别集中落在10 0 12 0、0 8 0、40 2 0 0 区间内.最后,将该区间的像素提取出来,得到目标鸟巢候选图.通过对电力巡检鸟巢图像进行收集分析,发现电力巡检鸟巢图像中鸟巢的HSV颜色空间H、S、V 分别集中落在10 0 12 0、0 8 0、40 2 0 0 区间内.http:/542福州大学学报(自然科学版)第51卷RGBHSV鸟巢候选图颜色区间分割鸟巢判断器筛选鸟巢子图目标鸟巢候选图1296张子图图3鸟巢候选图像筛选流程图Fig.3 Bird s nest candidate image screening flow chart1.2基于无人机巡检实时检测鸟巢缺陷首
18、先,采用OcuSync2.0图传、TCP传输协议分别完成大疆御2 无人机与大疆御2 遥控器的数据通讯、大疆遥控器与JetsonXavierNX的数据通讯,无人机以30 顿s的速度采集视频流,并将其实时传输到前端设备JetsonXavierNX设备上,随后将检测结果和控制命令实时传回到无人机上,如图4所示.其次,前端设备JetsonXavierNX上的模型每秒必须检测30 帧的视频画面,即必须保证JetsonXavierNX上的模型单帧推理时间在33.33ms以内.OcuSync2.0图传视频流数据无人机控制大疆御2 无人机图4无人机巡检实时检测的通信关系Fig.4 Communication
19、relationship of UAV patrol real-time detection不同的网络深度结构会导致模型推理速度的差异.当网络结构部署在计算资源有限的JetsonXavierNX前端设备上时,这种差异会更加明显.表1为JetsonXavierNX上不同推理框架的推理时间.如表1所示,未进行TensorRT加速,利用Pytorch直接推理,即便是推理时间最短的YOLOX-nano模型也无法满足单帧推理时间小于33.33ms的要求.利用TensorRT推理引擎加速,网络模型的推理效率得到显著提升.与不同深度的网络模型YOLOX-s、YO LO X-x 相比,YOLOX-nano模型
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 面向 无人机 前端 轻量级 应用 输电 线路 鸟巢 智能 检测
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。