基于VDRCNN的电力巡检图像超分辨率重建算法.pdf
《基于VDRCNN的电力巡检图像超分辨率重建算法.pdf》由会员分享,可在线阅读,更多相关《基于VDRCNN的电力巡检图像超分辨率重建算法.pdf(9页珍藏版)》请在咨信网上搜索。
1、May2023Journal of JilinUniversit(lntormationScienceEdition2023年5月No.3Vol.41第41卷第3期吉林大学#(信息科学版)文章编号:16 7 1-58 96(2 0 2 3)0 3-0 530-0 9基于VDRCNN的电力巡检图像超分辨率重建算法薛凯天,JOHNSavkinel,高吉龙(1.新南威尔士大学工程学院,新南威尔士悉尼2 0 33;2.长春绿动氢能科技有限公司系统工程部,长春130 0 2 2)摘要:针对无人机巡检图像模糊、分辨率低等问题,利用深度残差卷积神经网络(VDRCNN:Ve r y D e e pResidu
2、al ConvolutionalNeural Network)理论,提出了一种无人机巡检图像的超分辨率重构方法。该算法模型由超分辨率加深网络(VDSR:Ve r y D e e p Ne t w o r k f o r Su p e r-Re s o l u t i o n)和残差结构组成,同时结合批量组归一化和Adam优化器以获得更好的重建效果。在此基础上,构建电力部件检测数据集,通过恰当设置网络参数,实现针对模糊电力部件图像的高分辨率重构。实验结果表明,基于VDRCNN的超分辨率方法重建出的图像纹理更丰富、视觉效果更逼真,在峰值信噪比和结构相似度上分别有2.95dB和3.7 9%的提升,明
3、显优于传统检测方法。所提出的基于VDRCNN的电力巡检图像超分辨率重构方法对解决电力巡检实际问题具有一定的应用价值。关键词:深度学习;超分辨率;卷积神经网络;电力巡检;巡检图像中图分类号:TP391.41;P315.9文献标志码:ASuper Resolution Reconstruction Algorithm ofPower Inspection Image Based on VDRCNNXUE Kaitian,JOHN Savkine,GAO Jilong2(1.School of Engineering,University of New South Wales,Sydney 2033
4、,Australia;2.Department of System Engineering,Changchun Green Drive Hydrogen Technology Company Limited,Changchun 130022,China)Abstract:In the face of problems such as low resolution and image blurring in drone inspection images,a super-resolution reconstruction method is proposed for drone inspecti
5、on images using the theory of VDRCNN(Very DeepResidual Convolutional Neural Network).The algorithm model consists of a VDSR(Very Deep Network forSuper-Resolution)and a residual structure.Based on the VDSR,the algorithm is improved by adding a residualstructure to enhance convergence speed,while comb
6、ining batch group normalization and Adam optimizer toachieve better reconstruction effects.On this basis,an electric power component detection dataset is constructed,and high-resolution reconstruction of blurred electric power component images is achieved by properly setting thenetwork parameters.Th
7、e experimental results show that the super-resolution method based on VDRCNN canreconstruct images with richer textures and more realistic visual effects,with improvements of 2.95 dB and3.79%in peak signal-to-noise ratio and structural similarity respectively,compared to traditional detectionmethods
8、.Therefore,the proposed VDRCNN-based super-resolution reconstruction method has certain potentialapplication value in solving practical problems in power inspection.Key words:deep learning;super-resolution;convolutional neural network;power inspection;inspection images收稿日期:2 0 2 2-10-2 1基金项目:吉林省科技厅基
9、金资助项目(2 0 2 2 0 10 1190 JC)作者简介:薛凯天(1997 一),男,长春人,新南威尔士大学硕士研究生,主要从事电力图像处理研究,(Tel)61-0424450828(E-ma i l);Jo h n Sa v k i n e(198 7 一),男,墨尔本人,新南威尔士大学讲师,博士,主要从事深度学习研究,(Tel)61-0435090600(E-mail)z5348328ad.unsw.edu.au。531薛凯天,等:基于VDRCNN的电力巡检图像超分辨率重建算法第3 期0引言随着无人机技术(UAV:U n ma n n e d A e r i a l Ve h i c
10、 l e)1-2 的广泛应用,无人机在电力巡检领域得到了快速发展。由于其在电力巡检中不受地理和环境条件限制,可替代巡检工人在各种复杂地形和天气条件下及时、准确、高效地获取现场信息,相比于人工巡检的方式在工作效率及安全系数方面具有明显优势。然而,在无人机巡检过程中,由于一些外力因素,比如拍摄时风速过大使无人机不能保持稳定飞行,会导致拍摄得到的电力部件图像因无人机抖动变得模糊,从而影响了巡检图像中电力部件的识别准确率。因此有必要对拍摄得到的模糊图像进行高分辨率重建,以满足实际电力巡检技术要求超分辨率重构是指对低分辨率图像进行处理,进而重构得到高分辨率图像的处理过程,相关理论方法已经应用于卫星遥感3
11、、医疗图像4、视频监控5 以及图像压缩6 等领域。近年来,对图像超分辨率重构问题,人们开展了大量深人的研究工作,得到了一系列重要研究成果。其中比较有代表性的是基于稀疏变换的超分辨率图像重建7 。该方法利用联合字典对低分辨率图像进行稀疏表示,在此基础上,结合梯度下降方法求解上述最优问题,重构得到高分辨率图像。Freedman等8 提出了基于双三次插值法的超分辨率方法,通过找出邻域的16 个像素对待插值像素点的影响因子,最终得到对应像素值,实现了较好的重建效果。2012年Gao等9 将局部嵌入方法引入处理图像超分辨率重构问题,并结合流形学习相关理论,通过局部线性嵌人的方式重构高分辨率图像。虽然上述
12、传统方法在图像超分辨率重建领域取得一定的应用,但其无法应用于大型图片中,并在重建结果分辨率方面也需持续提升。为突破传统方法的局限性,人们尝试利用机器学习理论对图像超分辨率重建技术进行研究,并取得了一系列重要研究成果。2 0 15年Dong等10 提出了基于卷积神经网络的图像超分辨率重构方法SRCNN(Su p e r-Re s o l u t i o n Co n v o l u t i o n a l Ne u r a l Ne t w o r k)并迅速获得广泛应用。SRCNN使用端到端的模式,通过提取特征、非线性映射、重建等步骤输出高分辨率图像结果。此方法相较传统方法在重建效果上有了很大
13、的提升,在处理实际图像超分辨率重建问题方面取得了成功应用,但其仍存在以下几点不足:1)依赖于小图像区域的上下文信息;2)训练过程收敛速度差;3)无法应用于多尺度图像。针对上述问题,2 0 16 年Dong等11 提出改进的重建网络模型FSRCNN(Fa s tSuper-ResolutionConvolutional Neural Network)。FSRCNN在SRCNN的框架下使用反卷积对图像进行上采样,优化了SRCNN需在网络外部进行放大图片尺寸的不足。然而,FSRCNN需要将低分辨率图像通过上采样,在较大的尺寸上进行卷积操作,计算复杂度较高。Shi等12 提出ESPCN(Ef i c
14、i e n t Su b-Pi x e lConvolutionalNeuralNetwork),其主要利用亚像素卷积操作,通过改变通道数和像素点排列方式的途径放大图片,直接基于低分辨率图像特征重构高分辨率图像,减少了FSRCNN方法对计算复杂度的要求。但ESPCN的网络层数过低,而继续加深网络可能导致梯度爆炸或梯度消失,导致其无法通过进一步提取特征提升重建效果。2 0 16 年He等13 提出ResNet,大幅加深了神经网络的理论深度,从而使残差结构开始全面应用于神经网络中。Kim等14 提出了超分辨率加深网络结构(VDSR:Ve r y D e e p Ne t w o r k f o r
15、 Su p e r-Resolution),该方法主要通过训练过程构建低分辨率到高分辨率图像的高维映射关系,从而实现低分辨率图像的超分辨率重构。虽然VDSR较传统方法在重建精度方面具有明显提升,但应对过模糊图像时仍表现出一定的不适应性,相关方法仍有持续提升空间。针对VDSR方法不足,笔者提出了一种改进的深度残差卷积神经网络(VDRCNN:Ve r y D e e p Re s i d u a lConvolutionalNeuralNetwork),并将其应用于电力巡检图像重建领域。VDRCNN利用无人机电力巡检拍摄的模糊图像进行训练,通过构建多层的神经网络并添加残差模块,进而归一化算法和优化
16、梯度下降算法,提高学习率,弥补了VDSR参数过多、梯度下降缓慢等问题,提升图像重建效果,为电力巡检图像重建理论分析和实际应用提供必要研究基础。1图像超分辨率重建网络1.1VDSR网络结构由于SRCNN使用传统的卷积方式,经过逐层卷积处理后,图像尺寸会越来越小,同时边界像素会因感受野变小而导致重建结果退化。经典的VDSR模型为2 0 层网络,每层均由卷积层和激活函数构成,第41卷532吉林大学学报(信息科学版)通常第1层用于处理输人图像,最后一层用于图像重建,具体结构如图1所示。观察可知,VDSR主要利用大小为336 4的滤波器组实现低分辨率图像特征的提取,输入层和输出层只包含一个滤波器组,可将
17、高维度图像特征输出为维度为1的残差图像,而中间处理层由6 4个滤波器组组成,主要实现对图像特征的提取。虽然VDSR引入残差结构,加快了网络的收敛速度并降低了学习难度,但在应对过模糊图像时仍表现出网络结构单一、参数过多及梯度下降缓慢等问题,限制了其应用。ConvReLU(ConvReLUConvDInput LRConvl ReLUlConv2ReLU2D-1 D-1D-1D-1(Residual)Output HR图1VDSR网络结构图Fig.1VDSR network structure diagram1.2改进的VDSR网络1.2.1残差网络结构为改进传统VDSR网络的不足,笔者借鉴Res
18、Net的思想,将VDSR与ResNet相结合,在VDSR的基础网络结构中引入多个直接连接,将两层卷积组合构成一个残差块,并在其间插入残差结构,实现VDSR网络同残差网络的结合,增强网络特征交互和融合能力,提升网络超分辨率重构处理能力。改进后的网络结构如图2 所示。由于引人了从输人直接到输出的低分辨率图像,使低层的特征可直接传送至高层,网络的复杂度显著降低,需要的参数数量明显减少,解决了深层网络的退化问题Conv D-2Conv D-1ConvlConv2Conv3BGNReLU BGNReLUInput LRBGN1ReLU1BGN2ReLU2BGN3ReLU3D-2D-2D-1D-1BGND
19、ConvDOutput HR图2VDRCNN网络结构图Fig.2VDRCNN network structure diagram1.2.2批量组归一化为解决梯度消失或爆炸问题,笔者引人批量组归一化15,使每层的输入满足均值为0 和方差为1的分布,使输入规范化,在保证稳定性的同时,加快网络的训练速度。结合批量归一化(BN:Ba t c h No r m a l i-zation)和组归一化(GN:G r o u p No r m a l i z a t i o n)的思想,提出了改进的批量组归一化方法。BN作为比较成熟的归一化方法通常可在中、大批次任务中取得良好的性能,然而在小批次任务中其性能会
20、下降,这是由BN在小批次下噪声的统计计算引起的;而GN虽在中、大批次任务中的性能略差于BN,但在不同的批次任务中都具有较好的稳定性。因此,在不增加新训练参数和引人额外计算的情况下,通过结合GN、引入通道、高度和宽度维度,可解决BN在小批次下的噪声统计计算问题,并保证其稳定性。设归一化层的输人样本为X,X包含4个维度N、C、H、W,分别表示批次、通道、高度和宽度维度,设n、c、h、w 分别表示输入样本的批次、通道、高度和宽度,表示可学习参数,归一化输出为Y。BN的实现流程大致可分为4部分。1)计算样本均值2)计算样本方差NHW1X(1)NHW,c,h,won=1h=1W=1其中533薛凯天,等:
21、基于VDRCNN的电力巡检图像超分辨率重建算法第3 期3)样本数据归一化处理4)变换重构NHW1(Xi.c.h.-.)。(2)NHWn=1h=1W=1X,n,c,h,w(3)n,c,h,u2o+8Yn.ch.w=Xn.c.h.w+=BNy,e(X),(4)其中8 为常量,作用是避免除0,保持网络稳定。BN是在批次维度上进行的归一化,而GN是在通道维度上进行的归一化,即对通道进行分组,对每个分组通道的高度和宽度进行归一化,增强对不同批次的稳定性。GN的具体实现流程和BN相同,均值和方差的计算方法如下:gMHW1n.gX(5)MHW,c,h,w,m=(g-1)M+1h=1W=13gMH1W(6)2
22、ngMHW,m=-1)M+1.h=1w=1其中g为分组组号,M=C/g为分组数。BGN结合了BN和GN,将通道、高度、宽度维度整合到一个新的维度,其中D=CHW。BG N的均值和方差的计算方法如下:NgS1从X(7)NS=1d=(g-1)S+1NgS(Xn.d-g(8)NS(g-1)S+1其中S=M/G为每个划分的特征组内的实例数。当训练批次较小时,将参数G调小可以把新维度整合计算,避免噪声影响;当训练批次很大时,将参数G调大可以分割新维度成小块计算,避免混淆统计数据。BGN的后续流程和可学习参数B的使用方法与BN相同1.2.3梯度下降优化算法笔者采用自适应矩估计(Adam)【16-17 优化
23、算法更新网络参数。该算法基于梯度的一阶和二阶统计值,自适应确定不同参数的学习率。其结合了随机梯度下降算法和前向均方根梯度下降算法的优点,有利于提高稀疏梯度的性能和训练效率。Adam优化器的更新规则如下。1)计算t时间步的梯度和梯度的指数移动平均数:g,=V。J(0 r-1),(9)m,=,mt-1+(1-l)gt,(10)其中,用于控制权重分配(默认值为0.9),m的初始值设置为0。2)计算梯度平方的指数移动平均数U,=2ur-1+(1-2)gi,(11)其中2用于控制前续梯度平方影响,Uo的初始值设置为0。3)在训练初期,修正梯度均值m,降低误差对于训练过程的干扰:4)同理,修正v的取值:5
24、夏更新参数,具体计算过程如下:m,=m,/(1-i)。(12)m,=m,/(1-i)。(12),=0./(1-)。(13)0,=0r-1-m,/(/,+),(14)初始学习率=10-3,为一个极小且非零的常数。X=:6534第41卷吉林大学报(信息科学版)2VDSR网络数据集及评价指标2.1数据集由于目前没有公开完备的电力部件图像数据集,笔者构建了一个大型的由真实电力部件巡检图像构成的电力部件数据集,其数据均来源于无人机在中国某地区拍摄的实际电力部件巡检图像。实验中使用图像数据共90 0 张,由于巡检拍摄的图像尺寸不同,数据集中包含多种分辨率的图像,其中大部分图像的分辨率为8 6 8 8 57
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 VDRCNN 电力 巡检 图像 分辨率 重建 算法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。