规范透视场景的半监督目标检...及其在保护压板巡检上的应用_韩畅.pdf
《规范透视场景的半监督目标检...及其在保护压板巡检上的应用_韩畅.pdf》由会员分享,可在线阅读,更多相关《规范透视场景的半监督目标检...及其在保护压板巡检上的应用_韩畅.pdf(8页珍藏版)》请在咨信网上搜索。
1、第 43 卷 第 7 期2023 年 7 月电 力 自 动 化 设 备Electric Power Automation EquipmentVol.43 No.7Jul.2023规范透视场景的半监督目标检测及其在保护压板巡检上的应用韩畅1,韩笑2,陈虹1,钟杰3,戈洋1,曹灿3,马杰3(1.电子科技大学 计算机科学与工程学院,四川 成都 611731;2.南京工程学院 电力工程学院,江苏 南京 211167;3.国家电网江苏省电力有限公司连云港供电公司,江苏 连云港 222000)摘要:如何快速准确地对继电保护压板的异常状态进行识别,是变电站二次设备巡检工作中亟待解决的技术难题。基于深度学习的
2、通用目标检测算法在向诸如继电保护屏压板检测等特殊化场景的迁移中,不能够充分利用保护屏场景中的规范透视先验特征;此外,人工标注大数据集的困难性一直以来都是通用检测模型迁移至特殊场景时的挑战。针对上述问题,提出了一种适用于保护压板规范化分布特征的半监督目标检测模型,该模型根据压板识别场景的特点对模型框架进行了一系列适应性改进。在模型的半监督训练阶段,使用一致性正则化方法生成伪标签,并基于保护屏压板图像特征,以边缘吸附和点阵行列拟合等方式,优化或剔除伪标签,从而突破了数据标注困难性带来的限制。改进后的模型达到平均精度均值为98.12%的应用级精度,并额外输出图像的逆透视变换参量。该模型被应用于便携式
3、智能终端,辅助工作人员进行继电保护压板状态的巡检工作;模型输出的逆透视变换参量,也可为3D人机交互等下游视觉任务提供技术支撑。关键词:继电保护压板;电力系统智慧化;半监督学习;目标检测算法;逆透视变换中图分类号:TP391.41 文献标志码:ADOI:10.16081/j.epae.2022090260 引言继电保护压板是一种安装于继电保护屏上的重要机械零件。工作人员通过投入或断开保护压板,以选择继电保护的具体功能或决定保护装置是否动作于断路器,因此压板是变电站二次回路的“关键”。在变电检修及日常运行过程中,部分压板的投入或断开状态需要按照调度指令进行人工切换,而为了消除压板状态错误造成的事故
4、隐患,工作人员需要通过人工巡检的方式核对所有压板状态的正确性。被巡检压板的数量极为可观,保护屏上压板布置方式错综复杂,巡检人员的专业基础水平不一,加之缺乏有效的辅助核对工具,导致工作效率低下,误检、漏检时有发生。在以变电站为代表的一次设备巡检工作中,智能化的技术与装备正不断得到推广应用1。然而,在以继电保护压板为代表的二次设备巡检过程中,受到识别准确率不足、复杂背景识别能力弱、图像采集成本高等因素的制约,相关设备难以有效推广应用,因此,如何在便携式智能终端对压板状态进行准确的可视化识别,及时提醒巡检人员压板状态异常的信息,提高压板巡检的数字化水平,已成为变电站二次设备智能巡检过程中亟待解决的技
5、术难题。近10年来,基于深度学习的目标检测技术高速发展。以基于锚框的检测方法为例,2014年提出的基于区域的卷积神经网络(region-based convolutional neural networks,R-CNN)模型2和 2016 年提出的YOLO模型3分别奠定了两阶段和单阶段目标检测模型的技术基础。此后,基于这2类框架的改进与优化层出不穷:单阶段检测技术中,经过多轮改进的YOLOR-D6在保证检测速度的前提下,在COCO2017测试集上的平均精度均值(mean average precision,mAP)达到了57.3%;两阶段目标检测技术也产生了Cascade R-CNN4、Lib
6、ra R-CNN5等改进方案。以深度学习为基础的目标检测模型在2017年前后超越了人眼识别的极限,并逐步在各高精度自动化检测领域得到应用。基于深度学习的目标检测算法曾在变电设备红外图像识别6、输电线路巡检7等电力生产管理过程中得到有效的工程应用,然而,与上述电力一次设备检测工作不同的是,继电保护压板的检测过程仅需满足准实时性标准,但对于精确度要求较高,且保护屏集成的压板数量普遍较多,这给大规模数据集的人工标注带来了极大的困难;同时,继电保护压板的检测场景具有独特的先验特征,或可被用于提升检测方法的精度或扩充数据集样本。现存的压板状态检测方法以传统的图像特征提取手段为主89,此类方法避免了大规模
7、数据集的标注问题,却难以满足精确性的要求,且通常需要苛刻的图像采集条件,因此难以在移动设备上有效应用,以文献 8 所提方法为例,该方法仅能适应本文第4收稿日期:20220329;修回日期:20220720在线出版日期:20221019基金项目:江苏省自然科学基金资助项目(BK20181021)Project supported by the Natural Science Foundation of Jiangsu Province(BK20181021)217电 力 自 动 化 设 备第 43 卷节所述的正面清晰图像集;此外少部分基于深度学习目标检测算法的应用方案10难以解决大规模数据集标注
8、的成本问题,从而不可避免地因数据集规模过小导致模型的严重过拟合现象,也未能充分、良好地利用压板图像的规范分布特征。针对上述问题,本文提出了一种适应于继电保护压板规范化分布特征的半监督目标检测模型,并在较小的标注压板图像数据集和较大的未标注数据集上联合训练,最终使模型的 mAP达到 98.12%的应用级精度。该模型被应用于便携式终端中,辅助工作人员进行继电保护压板状态的高效率巡检工作。同时,该技术可被推广应用于保护端子排连接正确性、断路器控制开关位置正确性等变电站二次设备状态的核检工作中。1 检测场景、对象与方法1.1检测场景:以保护屏为例的规范透视场景本文所述的规范透视场景是指待检测目标主体具
9、有显著透视规律的目标检测场景。继电保护压板检测场景具有鲜明的规范透视场景特征,具体体现在:压板安装于室内保护屏上,排布规范,呈矩形阵列状,具有显著透视规律;压板形制、尺寸统一,相对于图像尺寸较小,且密集度较高;压板之间不存在包含、依附关系。本文旨在设计一种适应复杂光照与拍摄条件的压板状态检测模型,充分利用规范透视场景特征缓解标注监督数据缺失所造成的一系列问题,从而有效提升检测方法的精度。1.2检测预期及对象对压板状态检测模型的预期是能够准确地从通用拍摄设备在工作场景下获取到的压板屏图像中标注出各压板的位置及状态。模型预期与压板分类见附录A图A1,模型的检测对象为图像中的压板位置与状态,压板位置
10、以矩形框边界坐标表示;压板状态可分为停用状态(连片被取下)、投入状态(压板正常连通)与退出状态(压板未连通)3种。大部分采集到的压板图像见图A1(a),其中少部分将由人工标注图像中压板的位置及状态类别,形成标注数据集,剩余的大部分图像不进行任何形式的标注组成未标注数据集,本文使用上述2个数据集对模型进行半监督训练,使其产生如图A1(c)所示的预测结果。1.3检测方法:半监督目标检测模型已有的相关研究和预测试结果显示,在本文的保护屏检测场景下,经典的通用目标检测算法即使仅在较小数据集上监督训练(500 张)亦能够确保mAP在80%以上,故可以认为训练后的经典模型的大部分预测是“基本精确”的。基于
11、这一假设,本文通过改进经典两阶段目标检测方法,使用同一增强的模型框架构建教师模型与学生模型,在较小的监督数据集上训练教师模型11;之后使用一致性正则化方法对教师模型的预测输出进行修正,并结合保护屏图像在透视关系、压板尺寸、排布规律等方面的先验特征,剔除和纠正部分错误的预测框,从而为未标注的数据生成一系列伪标签,并结合监督数据与伪标签联合训练学生模型。反复迭代两学习过程,最终达到提高训练精度的目的。2 模型框架及其适应性改进教师模型与学生模型在架构和训练流程上基本一致。考虑到所使用模型的稳定性、精确性、代表性和拓展性,本文改进增强Faster R-CNN作为模型框架,同时作为对照参考半监督训练效
12、果。本节将介绍模型框架概要、实现细节及其在本文场景下做出的适应性改进。2.1模型框架:增强的Faster R-CNNFaster R-CNN是两阶段目标检测的经典模型,通过调整区域生成网络(region proposal network,RPN),使其与检测头共享同一组图像卷积特征从而大幅提升模型效率。增强的 Faster R-CNN 框架见附录 A图 A2。增强框架使用残差神经网络12作为骨干网络以提取特征图,并使用平衡特征图金字塔网络(balanced feature pyramid network,BFPN)融合提取多尺度的图像特征;图像特征一方面作为RPN的输入,以滑动窗口的方式生成一
13、系列锚框,并经由分类分支与回归分支生成候选框,经由非极大值抑制(non maximum suppression,NMS)等后处理后与图像特征进行兴趣区域调优(region of interest align,RoI Align)5,将结果输入目标检测头;增强框架使用级联边界框回归以提升检测精确度,通过使用多个级联的回归器4,设置递增的交并比(intersection over union,IoU)样本阈值将检测框不断回归至更精确的位置;最终合并级联的检测头的分类结果和末端检测头的回归结果以生成预测框,完成目标检测过程。2.2模型框架的实现细节在模型框架中,本文综合考虑任务复杂性和网络能力,选择
14、了Resnet50-vd作为骨干网络,其网络结构如附录A图A3所示,其对Resnet的主要改进是使用平均池化层代替了原有降采样过程从而减少信息损失。考虑到压板图像的比例特征,在RPN阶段选取(1.0,2.0,3.5)的长宽比及(12,24,48,96,192)的尺寸生成锚框,使用平衡交并比(IoU-balanced)采样以缓解样本“难度”之间的不平衡性,根据IoU的不同将采样阈值内的区间均匀划分为若干个采样单元,并在每单元内随机采样,检测头中的分类与回归过程与RPN过程类似。模型的RoI Align阶段中位于以(x1,y1)与(xM,yN)为顶点的候选框内的任意一点(x,y)处的特征向量F(x
15、,y)可由式(1)插值产生。218第 7 期韩畅,等:规范透视场景的半监督目标检测及其在保护压板巡检上的应用F(x,y)=i=1Mj=1NF(xi,yj)D(x,y),(xi,yj)MN(1)式中:F为该坐标位置的特征向量;M、N分别为产生插值的区域在横向与纵向的坐标范围;D(,)为两坐标之间的距离函数。2.3模型框架中的适应性改进相对于通用目标检测,压板状态检测存在一定特殊性,即待检测物体之间不存在包含或依存关系,且各物体尺寸相对一致。基于这种特殊性,可对模型框架进行针对性改进。首先,使用完整交并比(complete IoU,CIoU)13损失函数LCIoU增强IoU损失函数,该损失函数由传
16、统IoU损失函数、框A与框B的距离损失函数、两框宽高比损失函数三部分构成,如式(2)所示。LCIoU=LIoU+LDistance+LWH=1-rIoU+2(A,B)dBound+(2)|=42()arctanwAhA-arctanwBhB2=(1-rIoU)+(3)式中:LIoU为传统IoU损失函数;LDistance为框A与框B的距离损失函数;LWH为两框宽高比损失函数;rIoU为两框的IoU;为两框中心点的距离函数;dBound为两框最小外接矩形的对角线长度;为衡量两框宽高比一致性的函数;为调整宽高比损失占全局损失的权重调节函数;wA、hA和wB、hB分别为框A和框B的宽、高。该损失函数
17、可以增强原损失函数在特殊情况下的适应性和精确性。然后,使用“压板区域不相互包含”的先验特征改进NMS过程。考虑如附录A图A4所示的情况,图中错误交叠的预测框之间的IoU值均小于0.5,而二者置信度又均高出阈值(如0.6),传统NMS过程不能正确处理此类反例,本文使用前述先验特征增强NMS判别条件,当某可信的预测框可能包含另一个时,倾向于抛弃内部的预测框。框A与框B发生包含的概率Pinclude为:Pinclude=|SISA-SISB|()1-maxSI/SA,SI/SB(4)式中:SA、SB、SI分别为框A、框B及两框相交部分的面积;、与分别为Pinclude值域范围及其各部分所占比重的调节
18、参数。3 伪标签生成、优化与纠错本节在教师模型预测的基础上,结合一致性正则化相关方法,为未标注数据生成伪标签;分析利用压板图像的先验特征,使用边缘吸附方法优化生成的伪标签坐标;最后利用压板的排列分布特征,使用点阵的行列拟合以及消失点计算的方式,纠正或剔除部分错误预测的伪标签。3.1基于一致性正则化的伪标签生成平滑假设是一致性正则化乃至半监督学习中的重要假设11,该假设认为:若两样本输入在样本空间中足够相似,则其标签也应相似。具体至本文场景,以 Auto-Augment14、Mixup 和 Mosaic 为代表的通用图像样本增强手段所产生的系列输出(见附录A图A5),应当对相同的物体产生相同的分
19、类和相近的预测框位置。基于上述假设,本文使用教师模型对同一张图片的各类数据增广样本进行预测,经逆变换后合并预测结果并执行目标物聚类,之后对于不同样本的预测结果,根据其相对目标物的距离和置信度进行“投票”,最终选取拥有足够“选票”的区域的外接矩形作为软标签。标签的边界框伪监督信息可通过计算某图像坐标(x,y)处的像素属于目标物i边界框的概率Pi(x,y)产生,Pi(x,y)的计算公式为:Pi(x,y)=1NAugk=1NAug1Nkj=1Nk fj(x,y)Bj fj BjPpredkCconf(Bj)D(ci,cBj)/Davg(5)式中:NAug为增强样本数量;Nk为第k个增强样本预测结果中
20、有效候选框的数量;fj为条件判别函数,当内部条件成立时函数值为1,否则为0;Bj为第 j 个预测框;Ppredk为第k个增强样本的预测结果;Cconf(Bj)为预测框Bj的置信度;c为物体或目标框的中心点;Davg为所有合法预测框与目标物中心点距离的调和平均值。对于物体i的边界框,汇总概率Pi(x,y)高于阈值的像素区域,并以该区域的外接矩形作为软标签坐标,并以区域内像素归属i的概率均值作为软标签置信度,根据目标物所有预测结果中各类别的占比生成软标签各分类的置信度。可视化的软标签生成过程见附录A图A6。以图像中某一压板为例,对该压板的预测结果如图A6的左下图所示。对各图进行变换后再进行预测,所
21、得的预测框经逆变换映射至原图,不同的预测框颜色代表不同的类别。区域内各像素归属于该压板区域的概率由图A6的右图中不同颜色的矩形半透明区域叠加后的不透明度进行可视化,软标签各分类的置信度则由区域内各颜色的比例进行可视化展示。3.2基于边缘吸附的伪标签优化压板相对保护屏底板在图像上一般呈现明显的梯度变化,因而本文使用边缘吸附方法优化3.1节生成的伪标签坐标,该方法亦可以作为模型输出的后处理过程以提升模型精度。边缘吸附过程中,当判别边界框未经过、未贴合边缘时,尝试将边界框范围调整至贴合附近的边缘。本文使用一种基于引力梯度的自适应阈值Canny算子15以从边缘信息丰富的保护屏图像中提取边缘。219电
22、力 自 动 化 设 备第 43 卷经典Canny算子中使用的梯度向量计算方法表示为:|g?=()x2+()y2|Ex2+|Ey2=arctan()y/xarctan|Ex|Ey(6)式中:|g?|为灰度梯度值;为梯度方向角;Ex、Ey分别为x、y方向的偏导值,由22的邻域差分算子近似计算得到。本文引入灰度值引力场改进这一计算方法,点i处的近似梯度向量i计算如下:Ei=jG(mj-mi)|mj-mirij2rij rij(7)式中:G为引力常数;rij为点i、j 之间的坐标向量;mi、mj分别为点i、j 的灰度值。i是对周围所有像素灰度差产生的“场”的合并从而近似梯度向量。使用区域梯度阈值自适应
23、的方法,根据像素点位置周围区域的梯度分布调整局部阈值以保证不损失边缘细节。在执行边缘吸附算法时,若预测框的某个边界未与任何边缘相交,则判别该边界处于目标压板图像外侧,应向内调整;为避免发生错误的边缘吸附,算法不向外部调整边界框。边缘检测效果的对比以及边缘吸附流程如附录A图A7所示。3.3基于行、列拟合与消失点计算的伪标签纠错保护屏压板通常以横向水平、纵向竖直的矩形阵列排布,每行、列压板的坐标均可拟合为直线,并汇于2个消失点,基于拟合生成的行、列直线以及消失点可以排除预测框位置的显著错误。需说明的是,图像的消失点检测问题已有许多有效解决方案,例如使用Hough变换方法16等,这类方案大多需要从图
24、像内正确检测到足够多的直线或直线对,然而当图像背景复杂时,在边缘信息丰富的保护屏图像中检测到的直线精度将被大量噪声所干扰,类似Hough变换的方法易产生部分错误的估计结果,该类方法也浪费了模型的预测结果所包含的信息。经过一致性正则化和边缘吸附的教师模型预测结果附录A图A8所示,但其仍包含数个错误检出的负样本,其中2个远离保护屏区域,另一个则混杂于大量压板图像之间。本节所述的处理过程旨在从该预测结果中排除类似错误。为方便表述,将附录A图A8所示的预测结果抽象为一个带有标签的点阵,需注意不是所有状态压板的图像中心均能充分靠近压板的实际中心(空与投状态压板图像的中心一般落在2个连接旋钮之间,而退状态
25、压板图像的中心则偏向一侧),因此这一抽象过程是通过抽取预测框右上角顶点实现的,抽象点阵如图1所示。行点集初步筛选的步骤如下:统计点阵中各点到最近邻点的距离,取中值作为压板间距估测值,并将其乘以比例系数(如1/5)得到阈值T0,计算点阵规模乘以比例系数(如0.95)记作T1;对于点阵中的每一点,均与其他所有点构成直线,统计与这些直线的距离小于阈值T0的点构成点集S,选择合适的直线使S的规模最大,对于多个相同规模者按照S内各点的最大间距dmax对各直线进行升序排列;根据各直线所对应dmax按比例对步骤中选择的点集S进行投票,统计点阵中各点的投票,选择票数最高且互不重叠的点集S0 Sk,使其总规模高
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 规范 透视 场景 监督 目标 及其 保护 压板 巡检 应用 韩畅
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。