基于CNN与注意力BiLSTM的轴承剩余使用寿命预测方法.pdf
《基于CNN与注意力BiLSTM的轴承剩余使用寿命预测方法.pdf》由会员分享,可在线阅读,更多相关《基于CNN与注意力BiLSTM的轴承剩余使用寿命预测方法.pdf(9页珍藏版)》请在咨信网上搜索。
1、文章编号:1009 444X(2023)01 0096 09基于 CNN 与注意力 BiLSTM 的轴承剩余使用寿命预测方法郭玉荣,茅健,赵嫚(上海工程技术大学 机械与汽车工程学院,上海 201620)摘要:滚动轴承的剩余使用寿命(Remaining Useful Life,RUL)预测对于旋转机械的运行和维护具有重要意义.以卷积神经网络(Convolutional Neural Network,CNN)为代表的深度学习方法虽然可以从轴承振动信号中自动提取特征,却不能对特征进行自适应的选择以提高模型对重要 特 征 的 关 注 程 度.针 对 上 述 问 题,提 出 一 种 基 于 CNN 和
2、注 意 力 双 向 长 短 期 记 忆 网 络(Bidirectional Long Short-Term Memory,BiLSTM)的轴承 RUL 预测方法.首先通过 CNN 对振动信号进行空间特征提取;然后利用 BiLSTM 提取时序特征;接着利用注意力机制增强模型对重要特征的关注程度,并以全连接层作为解码器预测健康指标(Health Indicator,HI);最后利用加权平均法对 HI 预测值进行修正,并利用多项式拟合曲线进行 RUL 预测.结果表明,所提方法的绝对百分比误差比卷积长短期记忆网络(CNN-LSTM)低 14.36%,比传统的自组织映射网络(SOM)低 21.28%,可
3、用于多故障模式下的 RUL 预测.关键词:滚动轴承;剩余使用寿命;卷积神经网络;双向长短期记忆网络;注意力机制中图分类号:TH133.33;TP183 文献标志码:APrediction method of bearing remaining useful life based on CNNand attention BiLSTMGUOYurong,MAOJian,ZHAOMan(School of Mechanical and Automotive Engineering,Shanghai University of Engineering Science,Shanghai 201620,C
4、hina)Abstract:The remaining useful life (RUL)prediction of rolling bearings is of great significance for theoperation and maintenance of rotating machinery.Although the deep learning method represented byconvolutional neural network(CNN)can automatically extract features from bearing vibration signa
5、ls,it cannot adaptively select features to improve the attention of the model to important features.In response to theabove problems,a bearing RUL prediction method based on CNN and attention bidirectional long short-termmemory(BiLSTM)was proposed.Firstly,the spatial features of vibration signals we
6、re extracted by CNN,thetemporal features were extracted by BiLSTM.Then,the attention mechanism was used to enhance the attentionof the model to important features,and the full connection layer was used as the decoder to predict the healthindicator(HI).Finally,the weighted average method was used to
7、modify the HI prediction value,and thepolynomial fitting curve was used for RUL prediction.The results show that the absolute percentage error of 收稿日期:2021 11 07基金项目:上海市浦江人才计划项目资助(20PJ1404700)作者简介:郭玉荣(1997 ),男,在读硕士,研究方向为智能制造、故障诊断与预测.E-mail:通信作者:茅健(1972 ),男,教授,博士,研究方向为航空装备检测与控制、碳纤维复材增材制造、智能机器人等.E-mai
8、l: 第 37 卷 第 1 期上 海 工 程 技 术 大 学 学 报Vol.37 No.12023 年 3 月JOURNAL OF SHANGHAI UNIVERSITY OF ENGINEERING SCIENCEMar.2023the proposed method is 14.36%lower than that of convolutional long short-term memory(CNN-LSTM)and21.28%lower than that of traditional self-organizing map network(SOM),which can be effe
9、ctively used forRUL prediction in multiple fault modes.Key words:rolling bearing;remaining useful life(RUL);convolutional neural network(CNN);bidirectionallong short-term memory(BiLSTM);attention mechanism 滚动轴承作为旋转机械的重要零部件,其健康状态直接影响整个设备的运行安全.然而,轴承属于易损伤部件,且长时间处于恶劣工作环境中,在其高负荷运行过程中不可避免地会发生性能退化现象.如果在轴承性
10、能完全退化之前没有及时地对设备进行保养和维护,则极有可能发生故障,造成经济损失,甚至引发安全事故1.因此,为保证旋转机械的平稳运行,有必要对滚动轴承等关键零部件进行剩余使用寿命(Remaining UsefulLife,RUL)预测2,及时制定相应的维修策略.理论上,通过研究滚动轴承的退化机理,可以建立一个完整的数学模型进行 RUL 预测.然而,这种方法需要大量的专业知识和复杂的建模,可行性较差.随着传感器技术和计算机技术的不断发展,数据驱动方法3开始广泛应用于轴承的故障诊断和 RUL预测.传统的数据驱动方法主要采用小波包分解4、经验模态分解5等信号处理技术改善数据质量并提取特征,利用支持向量
11、机6、人工神经网络7等模式识别方法实现 RUL 预测.Wu 等8提出一种基于改进集合经验模态分解(Ensemble EmpiricalMode Decomposition,EEMD)的轴承 RUL 预测方法,相比传统的相关性分析方法,其具有更高的预测精度和稳定性.张焱等9提出一种融合失效样本和截尾样本的滚动轴承寿命预测方法,利用截尾样本提高预测精度,对一定程度的数据缺失具有鲁棒性.Chauhan 等10提出一种基于支持向量回归的轴承 RUL 预测方法.Wu 等11提出一种基于高斯贝叶斯信念网络和支持向量数据描述的轴承 RUL 预测方法.利用小波包分解从原始数据中提取特征向量,并对高斯贝叶斯信念
12、网络模型和支持向量数据描述模型进行训练,然后将两种模型进行融合实现轴承的 RUL 预测.Hong 等12提出一种基于小波包经验模态分解的预处理模型,能有效反映轴承的退化状态.上述方法能够提取到具有代表性的特征,但提取过程需要人工参与,且需要大量的先验知识,泛化性较差.近年来,随着人工智能的发展,以卷积神经网络(Convolutional Neural Network,CNN)为代表的深度学习方法13广泛应用于轴承 RUL 预测.深度学习模型可以直接对轴承振动信号进行特征提取,不依赖于专家经验且消除了人为因素影响,在一定程度上提高了 RUL 预测的精度.Wang 等14提出一种基于多层长短期记忆
13、网络模型的 RUL 预测方法,充分利用历史数据获取退化特征.此外,多层深度网络还能更有效地实现非线性函数映射,提高了预测精度.孙鑫等15提出一种基于多尺度卷积神经网络的 RUL 预测方法,采用改进均方误差作为网络的损失函数,预测效果良好.张继冬等16提 出 一 种 基 于 全 卷 积 层 神 经 网 络 的 轴 承RUL 预测方法,将传统 CNN 中的全连接层替换为卷积层和池化层,减少训练参数,其预测平均相对误差比传统 CNN 降低 39.54%,提高了小样本条件下的预测精度.Hinchi 等17提出一种基于卷积长短期记忆网络的 RUL 预测方法,利用卷积层从轴承数据中提取局部特征,然后利用
14、LSTM 层捕获退 化 特 征,最 后 基 于 LSTM 的 输 出 值 预 测 轴 承RUL.上述方法虽可以从轴承振动信号中自动提取特征,但不能对特征进行自适应选择以提高模型对重要特征的关注程度.作为深度学习领域的重大突破,注意力机制可以学习到每一个特征信息的重要程度,并通过分配权重增强模型对重要特征的关注程度,进而提高模型的学习能力.1 理论背景 1.1 卷积神经网络卷积神经网络是受生物学启发的前馈神经网络18,也是近几年深度学习领域中应用广泛的模型之一.CNN 主要由卷积层、池化层和全连接层构成,可以同时使用多个卷积核进行卷积运算,从第 1 期郭玉荣 等:基于 CNN 与注意力 BiLS
15、TM 的轴承剩余使用寿命预测方法 97 而提取到不同类型的特征.卷积运算过程为xlj=fiMjxl1i klij+blj(1)xljxl1iklijblj式中:为第 l 层中第 j 个特征向量;f 为激活函数;Mj为用于计算第 l 层中第 j 个特征向量的集合;为第 l1 层中第 i 个特征向量;*为卷积运算符;为卷积核向量;为第 l 层中第 j 个特征向量的偏置.池化层的作用主要是将卷积后的特征图进行压缩,并在一定程度上防止过拟合.常用的池化操作有最大池化和平均池化,能够减少参数并降低数据维度.数据在经过若干卷积和池化操作后,最后会连接至全连接层实现回归或分类等功能.1.2 双向长短期记忆网
16、络长短期记忆网络是循环神经网络的变体19,增加能存放历史信息的存储单元,可用于长序列信息的特征提取.LSTM 具有特殊的门控机制,可控制对存储单元的访问并选择性的增加或减少细胞状态信息.LSTM 单元主要由遗忘门 ft、输入门it和输出门 ot组成,其神经元结构如图 1 所示.Ct 1ht 1xtftitottanhtanhhtCtCtht图 1 LSTM 神经元结构Fig.1 LSTM neuron structure 其中,ft决定前一个 LSTM 单元细胞状态信息的通过量,it决定当前 LSTM 单元细胞状态信息的更 新 量,ot决 定 当 前 LSTM 单 元 的 输 出 量.LSTM
17、 单元细胞状态向量 Ct和隐藏层状态向量ht的计算过程如下it=(wiht1,xt)+bift=(wfht1,xt)+bfot=(woht1,xt)+boeCt=tanh(wcht1,xt+bc)Ct=ftCt1+iteCtht=ottanh(Ct)(2)xtwxbx式中:为 sigmoid 激活函数;ht1为前一个 LSTM单元的隐藏层状态向量;为当前输入向量;为相应门的权重;为相应门的偏置.双 向 长 短 期 记 忆 网 络(Bidirectional LongShort-Term Memory,BiLSTM)是 LSTM 的 改 进体,由前向 LSTM 和后向 LSTM 共同组成20,可
18、以综合提取输入信号的前后信息特征,其网络结构如图 2 所示.xt 1ht 1ht 1xt+1ht+1ht+1xththtot 1ot+1w1w2w2w4w5w6w3w1w2w4w5w6w3w1w2w4w4w5w6w3ot图 2 BiLSTM 网络结构Fig.2 BiLSTM network structure ht htBiLSTM 在 t 时刻的隐藏层状态 Ot由前向隐藏层状态和后向隐藏层状态共同组成,计算为 ht=f(w1xt+w2 ht1)ht=f(w3xt+w4 ht+1)Ot=g(w5 ht+w6 ht)(3)wx式中:f 为 LSTM 单元函数;g 为 ReLU 函数;为对应的权重
19、.1.3 注意力机制注意力机制是一种借鉴人类注意力方式的资源分配机制,是深度学习领域的重要技术之一.注意力机制可以使模型从众多信息中挑选出高价值的信息,增强模型对重要特征的关注程度.注意力可分为软性和硬性两种,硬性注意力只关注某一个输入向量,而软性注意力关注的是所有输入向量在注意力分布下的期望.本研究使用软性注意力机制,计算过程为:利用注意力函数计算得到各输入向量的注意力值;利用 softmax 函数对注意力值进行归一化得到权重;对所有输入向量加权求和得到输出向量.2 建模方法 2.1 模型提出RUL 预测的关键在于模型提取的特征是否具有代表性,能否反映不同类型振动信号的差异性.98 上 海
20、工 程 技 术 大 学 学 报第 37 卷以 CNN 为代表的深度学习模型虽然可以从轴承信号的振幅变化中提取空间特征,但却无法捕捉时间序列信息的前后联系,导致时序相关的特征丢失.BiLSTM 作为 RNN 的改进体,可以通过特殊的门控机制和结构特征来学习时间序列信息中的长期相关性,并在一定程度上解决梯度爆炸和消失的问题.将 CNN 和 BiLSTM 结合,可以同时利用 CNN 的空间特征提取能力和 LSTM 的时序特征分析能力,解决传统 CNN 对时序信息不敏感的问题,使模型具有记忆功能.本研究提出一种基于 CNN 与注意力 BiLSTM的 RUL 预测方法.在 BiLSTM 中加入注意力机制
21、,通过注意力函数判断 BiLSTM 各时刻隐藏层状态的重要性并赋予相应的权重,提高重要特征的受关注程度,最后将所有时刻的隐藏层状态加权求和得到 BiLSTM 的输出.经过注意力加权求和得到的隐藏层状态更具代表性,且能抑制冗余特征的干扰,避免重要信息丢失.2.2 模型结构lit模 型 结 构 如 图 3 所 示.其 主 要 由 CNN 层、BiLSTM 层、Attention 层以及全连接层组成.模型计算过程为:由 CNN 层提取轴承振动信号的空间 特 征 输 入 BiLSTM 层,以 LSTM 作 为 编 码 器(Encoder)学习序列特征间的长期依赖关系;在BiLSTM 隐藏层引入注意力机
22、制,计算得到各时刻隐藏层状态的注意力值.CNN 层x1x2xth1h1LSTMBiLSTM 层Attention 层Softmax 权重LSTMLSTMLSTMLSTMLSTMh2h2yhthnl1l2ln12n最大池化特征图n l卷积核卷积方向通道注意力加权加权求和全连接层图 3 模型结构图Fig.3 Model structure diagram litlitaitaitBiLSTM 当前时刻隐藏层状态 ht的注意力值以前一时刻的隐藏层状态 ht-1和细胞状态 Ct-1为基础,利用 softmax 函数对 归一化得到注意力权重.此时,注意力权重就是当前时刻隐藏层状态 ht的权重系数.最后将
23、所有时刻的隐藏层状态ht加 权 求 和 得 到 C,并 以 全 连 接 层 作 为 解 码 器(Decoder)得到预测值 y.其计算过程为lit=VTtanh(Wht1,Ct1+Uhit+b)ait=exp(lit)Tj=1exp(ljt)C=Ti=1aithit(4)式中:V、W、U 和 b 均为模型需要学习的参数.为提高模型的稳定性和泛化性,本研究将卷积得到的特征图进行批归一化21.批归一化可以不断调整模型中间层的输出,使下一个网络层输入数据的分布相对稳定,同时加快模型的学习效率,并 在 一 定 程 度 上 缓 解 过 拟 合.小 批 量 输 入b=x1,x2,xn的批归一化计算过程为b
24、=1nni=1xi2b=1nni=1(xib)2b xi=xib2b+yi=b xi+(5)b2bb xiyi式中:为小批量样本的均值;为小批量样本的方差;为规范化后的输入;为规范化后的网络响应;和为批归一化过程中需要学习的参数.另外,如果 BiLSTM 包含过多的参数容易发生过拟合,使模型不会被完全训练.因此,在 BiLSTM中加入 dropout 操作使其正则化22.dropout 操作能够以一定的失活率随机屏蔽部分神经元的输出,降低神经元之间的相关性,有效防止过拟合.第 1 期郭玉荣 等:基于 CNN 与注意力 BiLSTM 的轴承剩余使用寿命预测方法 99 3 试验验证 3.1 试验描
25、述为验证所提方法的可行性和有效性,本研究采用真实的轴承数据进行测试,数据来源于电气和电子工程师协会(IEEE)2012 年举办的故障预测与健康管理(PHM)数据挑战赛,由 PRONOSTIA平 台 在 不 同 载 荷 和 参 数 条 件 下 试 验 测 量 得 到.PRONOSTIA 平台可以在数小时内完成轴承性能的退化试验,主要由速度传感器、温度传感器、压力传感器、交流电机和 NIDAQ 数据采集卡组成,其试验装置如图 4 所示.其中,加速度计分布在轴承的水平和垂直两个方向上,每 10 s 采集一次数据,采样频率为 25.6 kHz,单次采样时长为 0.1 s,每个样本包含 2 560 个数
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 CNN 注意力 BiLSTM 轴承 剩余 使用寿命 预测 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。