基于知识蒸馏与RP-MobileNetV3的电能质量复合扰动识别.pdf
《基于知识蒸馏与RP-MobileNetV3的电能质量复合扰动识别.pdf》由会员分享,可在线阅读,更多相关《基于知识蒸馏与RP-MobileNetV3的电能质量复合扰动识别.pdf(10页珍藏版)》请在咨信网上搜索。
1、针对复合电能质量扰动(power quality disturbance,PQD)识别中特征提取复杂、识别正确率低和模型难以轻量化等问题,提出一种利用递归图(recurrence plot,RP)对 PQD 信号可视化方法和基于知识蒸馏的模型训练方法。首先,基于RP 挖掘PQD 信号隐含特征并构建图像数据集,并利用深度残差收缩网络(deep residual shrinkage network,DRSN)对图像数据集进行更深层次特征提取并完成自主分类。然后,基于知识蒸馏(knowledge distillation,KD)让已训练的 DRSN 指导轻量化网络 MobileNetV3 进行训练,
2、通过蒸馏实现知识的跨网络传输。最后,仿真实验和硬件实验表明,利用知识蒸馏训练的 MobileNetV3 能实现高精度且轻量化的复合扰动识别,同时在 30 dB 噪声环境下正确率能提升 1.06%,对实际扰动信号识别效果良好,具有良好的噪声鲁棒性。关键词:电能质量扰动;递归图;图像;深度残差收缩网络;知识蒸馏;MobileNetV3 Power quality compound disturbance identification based on knowledge distillation and RP-MobilenetV3 HE Caijun,LI Kaicheng,DONG Yufei
3、,SONG Zhaoxia,XIAO Xiangui,LI Beiao,LI Xuan(School of Electrical and Electronic Engineering,Huazhong University of Science and Technology,Wuhan 430074,China)Abstract:To solve the problems of complex feature extraction,low recognition accuracy and model weight reduction in the recognition of complex
4、power quality disturbance(PQD),a method of PQD signal visualization using recurrence plot(RP)and a model training method based on knowledge distillation are proposed.This method first mines the hidden features of PQD signals based on RP and builds image data sets.It then uses a deep residual shrinka
5、ge network(DRSN)to extract deeper features of image data sets and complete classification.Finally,based on knowledge distillation(KD),it lets the trained DRSN guide the training of the lightweight network MobilenetV3,and realizes cross network transmission of knowledge through distillation.The simul
6、ation experiment and hardware experiment show that MobileNetV3 trained by knowledge distillation can achieve high-precision and lightweight composite disturbance recognition,and the accuracy can be improved by 1.06%in a 30 dB noise environment.It has good recognition effect on actual disturbance sig
7、nals and good noise robustness.This work is supported by the National Natural Science Foundation of China(No.522077089).Key words:power quality disturbances;recurrence plot;image;deep residual shrinkage network;knowledge distillation;MobileNetV3 0 引言 在“碳达峰、碳中和”和“构建以新能源为主体的新型电力系统”目标驱动下,风电、光伏等分布式可再生能源
8、大规模并网给电网带来了更严重的电能质量问题1-3。一方面,分布式可再生能源具有显著的随机性、间歇性和波动性,其在并入配电网 基金项目:国家自然科学基金项目资助(522077089)运行时会导致电源的输出具有不确定性,从而引起(诸如振荡、电压波动等)电能质量扰动4。另一方面,分布式可再生能源并网引入了大量的电力电子设备,新型电力系统中非线性负载以及智能控制设备也同步增多,导致了大量谐波等暂态电能质量扰动问题5。在各种干扰源的共同作用下,电力系统中的电能质量复合扰动问题已屡见不鲜,不仅缩短敏感性设备寿命、造成电磁干扰,甚至引发停电事故,严重危害电网的经济、安全和稳定运行6-7。因此,-76-电力系
9、统保护与控制电力系统保护与控制 准确且快速识别不同噪声水平下电能质量扰动类型,对电能质量问题的治理和故障诊断具有重要意义8-9。电能质量扰动类型的辨识主要基于两个关键步骤特征提取及扰动识别。在特征提取阶段,传统方法通过对原扰动信号进行数学处理,从而对其在时域和频域上的不同表征进行分析,并提取有用的特征向量或指标,主要包括短时傅里叶变换、小波变换、S 变换、经验模态分解等方法10-13。特征提取是实现高精度扰动识别的关键,然而上述传统数学信号分析方法存在着人为因素干扰较多、特征相对单一和冗余信息较多的缺点,不利于电能质量扰动的在线高精度识别。近年来,人工智能技术越来越多地被应用到特征提取的过程中
10、。一方面,利用优化算法或决策树模型实现对最优特征集合的选取。文献14基于随机森林算法的特征重要性排序,结合贝叶斯优化方法,确定了最优特征子集,从而建立随机森林分类模型,实现对电能质量扰动的分类。文献15提出了一种自适应的人工蜂群-粒子群优化算法,从离散小波变换提取的 72 个特征中选取9 个最佳特征,获得了最高的分类准确率。另一方面,卷积神经网络的发展使得基于图像的特征提取受到重视。文献16提出了一种混合一维和二维的卷积神经网络,通过一维与二维特性向量相结合,获得了更好分类性能。文献17提出了一种基于二维残差网络的电能质量扰动识别方法,通过距离矩阵将电能质量扰动序列转化为图像,再利用残差网络提
11、取特征,实现了电能质量扰动的高精度识别。虽然上述基于人工智能的特征提取方法改善了传统方法在速度、人为因素上的缺陷,但扰动可视化的数据冗余、集成模型的复杂度较高等问题阻碍了电能质量扰动模块的轻量化,在线识别的难度和成本较大。在扰动识别阶段,依据特征提取过程获取的特性向量类型(一维/二维),多种人工智能算法均能实现分类任务的自动实现。在基于一维特征的扰动识别方面,机器学习、深度学习、集成学习等算法均能高效实现扰动识别,其中 XGBoost 算法的分类表现较为优异,而 LSTM 等深度学习模型具备一维特征的提取能力。文献18提出一种利用改进经验小波变换从时频域多角度获取复合扰动特征序列,以XGBoo
12、st 作为子分类器进行扰动识别。文献19提出一种利用 CNN-LSTM 提取扰动数据特征并完成分类的方法。但基于 XGBoost 等算法的识别模型仍依赖数学信号分析进行特征提取,基于 LSTM 的一维特征提取效率和深度也均不及二维模型。因此,以二维 CNN 为代表的扰动识别模型得到了更广泛的研究。文献20利用格拉姆角场提取二维扰动特征,文献1利用 S 变换提取扰动时频矩阵图,文献17利用距离矩阵将扰动特征转化为二维平面图,最后利用二维 CNN 对上述特征图像进行分类。但CNN 等深度学习模型的复杂度较高,若采用基础模型又面临着模型性能下降明显等问题,模型的低损失轻量化成为应用前的一道难题。近年
13、来,深度神经网络在学术界和工业界的快速发展,尤其是在计算机视觉领域,带来的问题是这些繁琐庞大的深度模型难以部署在小型设备上(嵌入式设备或其他移动终端),而知识蒸馏能有效地从教师模型中压缩、学习得到一个小的学生模型。为此,本文将知识蒸馏引入电能质量扰动识别领域来实现模型的轻量化,解决了深度模型的轻量化部署问题。利用递归图将一维扰动映射为二维图像后,一方面选取庞大且高识别精度的教师模型 DRSN,另一方面选取小巧且高计算速度的轻量化学生模型MobileNetV3,然后利用预训练的教师模型指导学生模型训练,以此提高学生模型的识别精度。1 PQD 识别框架 本文提出基于知识蒸馏和 RP-MobileN
14、etV3 的电能质量扰动(power quality disturbance,PQD)识别基本框架如图 1 所示。图 1 PQD 识别框架 Fig.1 Identification framework of PQD 1)基于递归图(recurrence plot,RP)进行 PQD 图像数据集生成。该方法通过对采样后的一维 PQD 时间序列信号进行相空间重构以及计算欧式距离,生成递归图矩阵,构建二维PQD 图像数据集,用于更深层次的特征挖掘。2)基于预训练好的教师模型(如 DRSN)对学生模型(MobileNetV3)进行知识蒸馏。预训练的 DRSN通过卷积层对图像数据集进行特征提取,引入注意
15、力机制进行软阈值化,残差连接加快网络收敛速度,最后全连接层输出预测结果。MobileNetV3 与其具有相似的网络结构,将 DRSN 的预测作为软标签与自身全连接层的输出计算损失函数,以此进行知识蒸馏。贺才郡,等 基于知识蒸馏与 RP-MobileNetV3 的电能质量复合扰动识别 -77-3)基于知识蒸馏训练得到的学生模型对各种单扰动以及复合扰动进行特征学习,从而对未知信号进行分类。对不同噪声的扰动数据集进行充分学习,训练得到高精度识别模型。2 基本原理 2.1 PQD 按照 IEEE Std1159-2019 标准,可以将电能质量单扰动划分为 9 类,依次为暂降、暂升、谐波、中断、缺口、尖
16、峰、闪变、暂态振荡以及暂态脉冲。复合扰动表现形式为单扰动相继发生或同时发生,本文在 9 种单扰动的基础上,研究了 15 种双重扰动和两种三重扰动,包括:谐波+暂升/暂降/闪变/中断、谐波+暂态振荡、暂态脉冲/振荡+闪变/暂升、闪变+暂降、暂态振荡+暂降、缺口/尖峰+暂升/暂降、暂态振荡+谐波+暂升/暂降,部分扰动波形如图2 所示。图 2 PQD 波形图 Fig.2 Waveform of PQD 2.2 RP 递归图21是非平稳信号领域的一种时间序列可视化方法,可以揭示时间序列的内部信息,给出预测性、信息量和相似性的相关先验知识,用于分析时间序列非平稳性、混沌性和周期性。因此本文采用递归图来挖
17、掘电能质量信号的隐含特征,并对其进行二维可视化。对于给定时间序列(1,2,)ku kn,其生成递归图的过程如下所述。1)相空间重构 选取合适的嵌入维度 m 和延迟时间,重构后的时间序列ix 为(1)(,)iiiimxu uu (1)式中,1,2,(1)inmt。2)计算距离 计算重构后两个时间序列向量之间的欧式距离,i jS,如式(2)所示。,i jijSxx (2)式中:,1,2,(1)i jnm;|表示范数。本文直接用欧式距离,i jS当作递归值生成递归图矩阵。2.3 DRSN 深度残差收缩网络22是在残差网络的基础上引入注意力机制和软阈值化,由此改进形成的一种新的神经网络,是经典信号处理
18、理论与注意力机制、深度学习的一次完美融合,具有极强的特征提取能力与抗噪性能,因此能用于电能质量扰动识别。残差收缩网络是一种面向含噪数据的深度学习方法,其通过注意力机制构建一个子网络,学习得到一组阈值,从而实现特征的软阈值化,添加的短路路径能加快网络收敛速度,避免网络退化,一个基本的残差收缩模块如图3所示。其中卷积层能够提取图像特征,BN(Batch Normalization)则是一种特征规范化技术,将特征标准化为正态分布(平均值为0,方差为1)。图 3 残差收缩网络的基本模块 Fig.3 Basic block of residual shrinkage network 残差连接能使得底层参
19、数得到有效更新,避免网络退化。图3中的残差连接为采用恒等路径直接连接,对于经过卷积运算后特征图尺寸改变的情况,可以在残差路径上加入一个步长为2的11卷积层。残差收缩模块的基本组成包括卷积层、批量标准化层、恒等映射、全局平均池化(global average pooling,GAP)、全连接层(full connection,FC)、激活函数和软阈值化,图3中短路路径为恒等映射。GAP是一种计算特征图每个通道平均值的操作。通常,它在最终输出层之前使用,可以减少FC-78-电力系统保护与控制电力系统保护与控制 输出层中要使用的权重数量,从而减少深层神经网络遇到过度拟合的可能性。ReLu和Sigmo
20、id为激活函数,数学表达式为 eLu,0()0,0 x xRxx (3)1()1exx (4)软阈值函数数学表达式为,0,xtxtytxtxtxt (5)软阈值函数与 ReLu 函数在残差收缩网络中都是非线性映射,都可以将部分区间置为 0,起到删除冗余特征的作用。但是与 ReLu 函数不同的是,软阈值化能够灵活地选取阈值 t,置零范围更灵活,且引入注意力机制后避免了人工选取阈值的困难,同时针对不同样本能够自动学习不同的阈值,每个样本都能拥有一组独特的阈值。2.4 MobileNetV3 MobileNetV323是一种融合了深度可分离卷积、残差连接、注意力机制的轻量化卷积神经网络,同时对激活函
21、数重新设计,大幅减少了网络计算量,使其更容易地部署在小型设备上。MobileNetV3 基本模块如图 4 所示,特征图先通过一个 11 PW(Pointwise)卷积升维,然后采用33 DW(Depthwise)卷积分别对每个通道进行卷积(通道内卷积),利用注意力机制对每个通道重新赋予权值,最后使用 11 PW 卷积降维(通道间卷积),并且恒等路径连接两个低维度特征图,图中NL(nonlinear)表示非线性激活函数。将正常卷积拆分成升维、DW 卷积和降维,目的是加快网络计算速度。升维之后的 DW 卷积只会对单个通道进行卷积,是通道内卷积;降维的 PW卷积是完成信息的跨通道传输,是通道间卷积。
22、MobileNetV3 对激活函数进行了重新设计,包括 ReLu6、hard-sigmoid 和 hard-swish 激活函数,如式(6)式(8)所示。eLu66,6(),060,0 xRxxxx (6)eLu6sigmoid(3)()6Rxhx (7)eLu6swish(3)()6Rxhxx (8)图 4 MobileNetV3 基本模块 Fig.4 Basic block of MobileNetV3 其中 ReLu6 函数比 ReLu 函数可以让模型更早地学到稀疏特征,同时能增强浮点数的小数位表达能力。而 swish 函数和 sigmoid 函数两者计算和求导过程十分复杂,并且对量化过
23、程也不友好,改进之后能加快网络推理速度。2.5 知识蒸馏 知识蒸馏24(knowledge distillation,KD)是一种模型压缩方法,对于已经训练好的大而笨重的教师模型,利用“蒸馏”方法,将从大模型中所需要的“知识”(软标签)转移到另一个更合适部署的轻量化学生模型,蒸馏过程如图 5 所示。原始 softmax 函数表达式为 exp()exp()iijjzqz (9)式中:iz、jz 为全连接层的输出;iq 为 softmax 的输出,即模型预测结果。若直接使用softmax函数的输出值作为软标签,输出的概率分布熵相对较小,负标签的值有时接近0,对损失函数的贡献非常小,可以忽略不计。所
24、以引入蒸馏温度 T 让 softmax 函数输出“软化”,蒸馏温度对软标签影响如图 6 所示,蒸馏温度从高变低时,曲线从陡峭变得平缓。加入温度后的 softmax 函数表达式为 exp(/)exp(/)iijjzTqzT (10)贺才郡,等 基于知识蒸馏与 RP-MobileNetV3 的电能质量复合扰动识别 -79-图 5 知识蒸馏 Fig.5 Knowledge distillation 图 6 蒸馏温度对标签影响 Fig.6 Effect of distillation temperature on label 原始 softmax 函数为温度1T 的特殊情况,T越大,softmax 函
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 知识 蒸馏 RP MobileNetV3 电能 质量 复合 扰动 识别
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。