基于多头注意力机制的飞机发动机寿命预测研究.pdf
《基于多头注意力机制的飞机发动机寿命预测研究.pdf》由会员分享,可在线阅读,更多相关《基于多头注意力机制的飞机发动机寿命预测研究.pdf(9页珍藏版)》请在咨信网上搜索。
1、2023 年 8 月第 44 卷 第 8 期推进技术JOURNAL OF PROPULSION TECHNOLOGYAug.2023Vol.44 No.82204040-1基于多头注意力机制的飞机发动机寿命预测研究*聂磊,徐诗奕,张吕凡,尹业寒,董正琼,周向东(湖北工业大学 机械工程学院 湖北省现代制造质量实验室,湖北 武汉 430068)摘 要:针对飞机发动机监测参数多和预测模型不能充分提取监测数据的有效信息等问题,基于一维卷积神经网络(1DCNN)、时序卷积神经网络(TCN)和多头注意力机制,提出一种新的网络结构以实现飞机发动机剩余寿命的准确预测。对多维特征参数分别建立一个 1DCNN-T
2、CN 模型,利用两层1DCNN对飞机发动机的多元传感器信号进行特征提取,利用TCN对特征量的时序信息进行记忆,通过多头注意力机制对多个1DCNN-TCN的输出分别进行加权处理,并拼接最终结果。分析结果表明,采用本文方法得到的RMSE和Score值比目前文献中最优值分别降低了6.84%,63.41%。该方法显著提升了飞机发动机剩余寿命预测的准确性。关键词:飞机发动机;卷积神经网络;时序卷积神经网络;多头注意力机制;剩余寿命中图分类号:V233.7 文献标识码:A 文章编号:1001-4055(2023)08-2204040-09DOI:10.13675/ki.tjjs.2204040Remain
3、ing Useful Life Prediction of Aeroengine Based on Multi-Head AttentionNIE Lei,XU Shi-yi,ZHANG Lyu-fan,YIN Ye-han,DONG Zheng-qiong,ZHOU Xiang-dong(Hubei Modern Manufacturing Quality Laboratory,School of Mechanical Engineering,Hubei University of Technology,Wuhan 430068,China)Abstract:Aiming at the pr
4、oblems of multiple parameters of aeroengine and insufficient extraction of effective information from monitoring data by prediction model,this paper proposes a new network structure based on one-dimensional convolutional network(1DCNN),temporal convolutional network(TCN)and multi-head attention mech
5、anism to accurately predict the remaining life of aircraft engines.Firstly,1DCNN-TCN models are established for multi-dimensional characteristic parameters,two-layer 1DCNN was used to extract features from multi-source sensor signals of aircraft engines,and TCN was used to memorize timing informatio
6、n of features.Finally,multiple 1DCNN-TCN outputs are weighted by multi-head attention,and the final results are spliced.The experimental results show that the proposed method can reduce the RMSE and Score by 6.84%and 63.41%respectively on the basis of the existing model,which significantly improves
7、the accuracy of aircraft engine remaining life prediction.Key words:Aeroengine;Convolutional network;Temporal convolutional network;Multi-head attention;Remaining useful life*收稿日期:2022-04-18;修订日期:2022-07-06。基金项目:国家自然科学基金(51975191);襄阳湖北工业大学产业研究院项目(XYYJ2022B01)。通讯作者:聂磊,博士,教授,研究领域为装备可靠性。E-mail:引用格式:聂磊,
8、徐诗奕,张吕凡,等.基于多头注意力机制的飞机发动机寿命预测研究 J.推进技术,2023,44(8):2204040.(NIE Lei,XU Shi-yi,ZHANG Lyu-fan,et al.Remaining Useful Life Prediction of Aeroengine Based on Multi-Head Attention J.Journal of Propulsion Technology,2023,44(8):2204040.)基于多头注意力机制的飞机发动机寿命预测研究第 44 卷 第 8 期2023 年2204040-21 引 言飞机发动机作为飞机的核心部件,其健康
9、状态直接决定了飞机的飞行安全。由于长期工作在高温高压、强振动、高负荷等极端多变的环境下,飞机发动机的安全性评估等问题突出。为掌握飞机发动机健康状态,需要通过传感器技术获得设备的工作状态,凭借各种诊断与预测手段,在掌握发动机故障特征的基础上,对发动机健康状态进行评估,随后将有效信息用于后续的运行规划与维修决策,以确保飞机发动机的运行安全性与可靠性。而对于发动机健康状态评估而言,剩余使用寿命(RUL)预测是核心内容。主要目标是预测发动机从当前时刻保持正常运行的剩余时间。随着传感器技术和存储技术的快速发展,利用传感器对设备的状态进行监测,在大量监测数据的基础上,利用人工智能方法,对发动机 RUL剩余
10、使用寿命进行准确预测,这对减少运维成本和提高飞行安全系数具有重大意义。目前,根据预测原理的不同,RUL 预测方法基本可以分为基于物理失效模型和数据驱动两大类。前者结合设备的构成、机械动力学原理和退化机理等先验知识和传感器监测数据构建 RUL 物理预测模型,此类方法可以得到较高的预测精度1-3,但模型的通用性较差且建模过程较为复杂。后者借助传感器的监测参数挖掘有用信息,通过数据分析提取有效的特征信息来表征飞机发动机的健康状态,此类方法较前者预测精度有所降低,但使用简便且模型通用性较强。由于数据驱动的 RUL 预测方法在复杂设备建模方面的灵活性,国内外学者对其进行了广泛研究。较常采用的两种方案,其
11、一是采用数据融合的方法将 多 元 传 感 器 监 测 数 据 映 射 到 一 维 的 健 康 指 标(HI),利用 HI进行后续的 RUL预测,其二是直接利用多元传感器监测数据来预测 RUL。其中,针对构建HI的预测方法,李浩等4采用堆叠自编码对飞机发动机的多元传感器数据进行特征提取从而得到 HI,并利用双向长短期神经网络(Bi-LSTM)构建 DeepAR预测模型,该方法拥有更好数据融合的效果,并有效提高了预测性能。Wang等5利用线性逻辑回归模型来构建 HI,并采用深度森林(DFC)和长短期神经网络(LSTM)建立 RUL 预测模型,该方法消除了飞机发动机不同操作条件的影响,有效挖掘出了退
12、化特征。上述方法均对飞机发动机的多元传感器数据进行特征融合,从而构建复合的 HI,利用 HI来表征飞机发动机的退化过程,构建单通道网络模型预测 RUL。基于上述理论,可以利用多维特征量构建多维HI 以表征设备的退化过程。周哲韬等6利用基于Transformer 的预测模型来挖掘多维特征量与轴承RUL之间的复杂映射关系。Ansari等7针对电池的多特征量构建了多通道的人工神经网络(ANN)进行处理,在 NASA 不同电池数据上都取得了良好的预测效果,预测模型显现出了较强的通用性。Zhao等8利用双通道混合模型对飞机发动机的 RUL 进行预测,较传统预测模型体现出了更好的预测性能。Li等9基于长短
13、期神经网络(LSTM)、卷积神经网络(CNN)和有向无环图(DAG)针对飞机发动机构建 RUL 预测模型,得出双路径的 DAG 较单通道的 CNN 或 LSTM 预测效果更好的结论。基于上述文献的结论与方法,本文将多维特征量视为多维的 HI,利用多通道网络结构的非线性映射能力,建立多维特征量与 RUL 之间的关系。针对飞机发动机监测参数维数高,预测模型不能充分提取监测数据的有效信息等问题,本文依据多 通 道 的 网 络 结 构 的 相 关 研 究,提 出 一 个 基 于1DCNN-TCN 和多头注意力机制的 RUL 预测方法,引入 1DCNN 进行时序特征的挖掘,引入 TCN 在保证长时间序列
14、的完整性的同时提高网络的运算效率,引入自注意力机制(Self-attention)对有用信息进行重点关注。该方法可对不同的传感器监测参数单独建模,以实现不同传感器数据的并行处理,最大限度保证数据完整性的同时提高网络的计算效率。文中利用 NASA 的 C-MAPSS 数据对本文方法进行验证,试验结果表明飞机发动机的 RUL 预测效果得到了显著的提升。2 基于1DCNN-TCN的多头注意力网络模型的RUL预测流程飞机发动机在运作过程中,设备发生故障到性能完全失效需要一个较为漫长的过程,此时传感器监测参数与飞机发动机的退化状态具有较强的关联性。由此,是否有效利用多元传感器数据直接关系到飞机发动机 R
15、UL 预测准确性的高低。在现有的基于飞机发动机的寿命预测研究中,CNN 和 RNN 都是常见的基于数据驱动的预测方法。但是 CNN 无法对时序信号进行有效处理,而 RNN 无法避免长期依赖等相关问题。在 相 关 问 题 的 基 础 上,本 文 提 出 一 个 基 于1DCNN-TCN 和多头注意力的模型。该模型通过两推进技术2023 年第 44 卷 第 8 期2204040-3个 1DCNN 对输入的多元传感器信号进行特征提取,再将提取出的时序特征输入进 TCN 进行处理。TCN中的因果卷积保证了飞机发动机传感器长序列数据的完整性,加强网络对过去传感器参数的记忆;TCN中的扩张卷积可以实现对传
16、感器参数长序列的间隔采样,保证网络拥有广阔视野的同时避免网络过深带来的网络退化问题;TCN中的残差链接可以提高梯度传播能力和网络计算效率。随后利用多头注意力机制(Multi-head attention)可以对飞机发动机的多维传感器数据分别进行分析处理,在纵向、横向两个方向上增加网络的深度,既最大限度地保留了多维传感器数据的有用信息,又可以对权重高的信息进行重点关注。基于 1DCNN-TCN 与多头注意力机制的飞机发动机 RUL 预测方法大体分为两个部分,第一部分是对多维传感器监测参数进行数据预处理,主要包含有特征筛选、平滑处理和标准化等;第二部分是将预处理后的多维传感器数据输入进构建好的网络
17、预测模型,利用网络来挖掘飞机发动机的退化信息,以实现 RUL的准确预测。具体流程如图 1所示。(1)数据预处理:在给定的 21个传感器监测值中进行筛选,依据国内外研究者的经验选取其中变化较大的 14个传感器监测值。对筛选出的传感器参数进行指数平滑处理,在去除环境噪声的同时,最大程度地保留原始的退化信息。随后对特征量进行标准化,去除量纲干扰。(2)模型的构建:引入滑动窗口对预处理后的数据进行二次处理,滑动窗口越长,所包含的数据信息就越多,但是可能导致短期设备状态变化被忽略的可能。考虑到测试集样本大小的限制,本文选择长度为 30 的滑动窗口以保证能够对测试集的 100 组发动机的 RUL 做出预测
18、。将划分好的训练集数据作为预测模型的输入,将剩余寿命作为标签,对预测模型进行训练。训练模型的损失函数为 Huber函数,优化器为 Adam,并利用早停法来预防网络过拟合。(3)寿命预测:调用训练好的基于 1DCNN-TCN与多头注意力机制预测模型对测试集进行预测,并将预测结果与真实值进行对比。3 预测模型及其优化理论3.1 卷积神经网络卷积神经网络由于其强大的同类型泛化能力,常用于处理类似图像、时间序列信号和音频信号等多阵列信号。其基本结构有卷积层、池化层和全连接层等,通常卷积层和池化层交替设置,如图 2所示。本文利用两个一维卷积神经网络(1DCNN)层对飞机发动机的多元传感器信号进行特征提取
19、,每层 CNN都有若干个大小一致的卷积核,卷积核沿时间顺序遍历输入的多维特征量,生成更高层的特征空间。随后将不同的特征空间进行组合,以产生下层 CNN的输入序列10-11。卷积层是 CNN 的核心架构,主要由卷积核组成,卷积核的本质工作是特征提取。卷积层实现了局部感知和权值共享,并因这一特性降低了模型的复杂度,减少了计算成本。假设 xn,l表示第 l层的第 n个特Fig.1RUL prediction process for aircraft engines基于多头注意力机制的飞机发动机寿命预测研究第 44 卷 第 8 期2023 年2204040-4征面(Feature map),则第 l层
20、的输出 zn,l可以表示为zn,l=kn,l*xl-1+bn,l=c=1Ckc,n,l*xc,l-1+bn,l(1)式中*表示卷积运算符,kn,l表示第 l层的第 n 个权重,bn,l表示偏置量,C表示输入信号的数量。此外,利用激活函数 ReLU 对激活层的输出做非线性变换,提高网络的适用性,计算公式如下Sn,l=ReLU(zn,l)=max 0,zn,l(2)式中 Sn,l表示激活函数的输出。池化层作为卷积层后的常用层,通过将相似度高的特征进行合并,从而达到减少网络参数,提高运算效率的目的。本文选用最常用的最大值池化层(Max pooling),其计算公式如下pn,l=max()n-1 v+
21、1 t nv Sn,l(3)式中 v 表示池化区域的尺寸参数,pn,l为池化层的输出。3.2 时序卷积神经网络时间卷积神经网络(TCN)是被用于解决时序问题的一种网络,该网络结合了扩张因果卷积(DCC)和残差连接(RC)。针对本文的多元传感器时序信号,TCN 既可以解决传统卷积神经网络受限于卷积核而无法有效处理时序特征的问题,又可以避免循环神经网络存在的梯度消失或爆炸的问题。TCN 的构成单元为 TCN残差块,其结构如图 3所示。TCN中因果卷积的应用避免了信息泄露,加强了对网络过去信息的记忆,但同时也提高了训练成本。扩张卷积可以通过卷积时的输入间隔采样,在保证TCN 拥有更广阔的视野、接收更
22、多的历史数据的同时,避免网络过深而导致的问题。3.3 多头注意力机制自注意力机制同 TCN 类似,可以实现并行计算,其目的是从输入的序列中筛选出定量的重要信息,并根据信息的重要性赋予不同的权重,使得模型更加重视权重较高的信息。常用的方法有缩放点积注意 力(Scaled dot-product attention),先 将 查 询 矩 阵(Query)与键矩阵(Key)进行点积得到对应的权重,随后利用 Softmax 函数进行归一化处理,最后通过加权求和得到注意力,具体公式如下6Attention(Q,K,V)=Softmax(QKTdk)V(4)Q=AWQ(5)K=AWK(6)V=AWV(7)
23、式中 Q表示查询矩阵;K表示键矩阵;V表示数值矩阵(Values);A表示输入矩阵;WQ,WK,WV分别表示 Q,K,V的权重矩阵;dk为 Q,K,V的维数。自注意力机制可以依据目标去关注输入信息的部分细节,针对本文飞机发动机的多元传感器信号选用多头注意力机制,以实现对不同传感器检测参数的同时关注。多头注意力机制基于自注意力机制,针对不同的特征量进行分头学习,最后再将取得的结果进行拼接得到最终的注意力,公式如下所示12。Multihead(Q,K,V)=Concat(head1,head2,headn)W(8)headi=Attention(QWQi,KWKi,VWVi)(9)式中 WiQ,W
24、iK,WiV分别表示 Q,K,V 在第 i个注意力头的权重矩阵,W 表示多头注意力机制的权重矩阵,利用融合层对多头注意力机制的输出进行拼接。4 结果与分析4.1 数据集介绍实验数据来源于 NASAC-MAPSS 的涡扇发动机退化数据13。C-MAPSS数据集包含有 FD001FD004组数据,本文选用 FD001 对本文方法进行有效性验证,如表 1 所示(其中 H 为飞行高度,kft表示千英尺,Fig.3TCN residual block structure diagramFig.2Traditional CNN structure推进技术2023 年第 44 卷 第 8 期2204040-
25、5Ma为马赫数,TRA 为油门解析角度)。FD001包含有三个文件,分别为训练集、测试集和 RUL 真实值。其中,训练集涵盖了 100台飞机发动机从初始运行状态到出现故障过程中,指定飞行高度、马赫数和油门解析角度条件下 21 个传感器监测参数的变化,如表 2所示。针对每一个发动机,都经历了从初始健康状态到故障状态的过程。测试集包含有 100 台发动机在发生故障之前的一定循环次数。4.2 评价函数针对 C-MAPSS 数据集有两个常用的评价指标,分别为性能指标评分 Score和均方根误差 RMSE,定义公式为RMSE=1ni=1ndi2(10)Score=i=1n(e-di13-1),di 0i
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 多头 注意力 机制 飞机 发动机 寿命 预测 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。