基于可变时序移位Transformer-LSTM的集成学习矿压预测方法.pdf
《基于可变时序移位Transformer-LSTM的集成学习矿压预测方法.pdf》由会员分享,可在线阅读,更多相关《基于可变时序移位Transformer-LSTM的集成学习矿压预测方法.pdf(7页珍藏版)》请在咨信网上搜索。
1、基于可变时序移位 TransformerLSTM 的集成学习矿压预测方法李泽西(西安科技大学通信与信息工程学院,陕西西安710054)摘要:现有的矿压预测模型多为依赖固定长度时序序列特征的单一预测模型,难以准确捕捉矿压时序数据的复合特征,影响矿压预测的准确度。针对该问题,提出一种基于可变时序移位 Transformer长短时记忆(LSTM)的集成学习矿压预测方法。基于拉依达准则和拉格朗日插值法,剔除矿压监测数据中的异常值,插入缺失值,并进行归一化预处理;提出可变时序移位策略,划分不同尺度的矿压时序数据,避免固定长度时序序列可能存在的数据偏移问题;在此基础上,构建基于 TransformerLS
2、TM 的集成学习矿压预测模型,通过结合注意力机制和准确的时序特征表示能力,多层次捕捉矿压变化规律的动态特征,采用集成学习的投票算法,联合预测矿压数据,克服单一预测模型的局限性。实验结果表明:采用集成学习的投票算法可降低矿压预测平均绝对误差(MAE)和均方根误差(RMSE)的波动性,有效减小不同尺度特征序列对矿压预测结果的敏感性影响;TransformerLSTM 模型在 2 个综采工作面顶板矿压数据集上预测结果的 MAE 较 Transformer 模型分别提高了 8.9%和 9.5%,RMSE 分别提高了 12.7%和 16.5%,且高于反向传播(BP)神经网络模型和 LSTM 模型,有效提
3、升了矿压预测准确度。关键词:矿压预测;可变时序移位;TransformerLSTM 模型;集成学习;投票算法中图分类号:TD323文献标志码:AEnsemblelearningminepressurepredictionmethodbasedonvariabletimeseriesshiftTransformer-LSTMLIZexi(CollegeofCommunicationandInformationTechnology,XianUniversityofScienceandTechnology,Xian710054,China)Abstract:Theexistingminepressu
4、repredictionmodelsaremostlysinglepredictionmodelsthatrelyonfixedlengthtimeseriesfeatures.Itisdifficulttoaccuratelycapturethecompositefeaturesofminepressuretimeseriesdata,whichaffectstheaccuracyofminepressureprediction.Tosolvethisproblem,anensemblelearningminepressurepredictionmethodbasedonvariableti
5、meseriesshiftTransformer-longshort-timememory(LSTM)isproposed.BasedontheLaidacriterionandLagrangepolynomialmethod,theoutliervaluesintheminepressuremonitoringdataareeliminated,andthemissingvaluesareinserted.Thennormalizedpreprocessingisperformed.Thepaperproposesavariabletimeseriesshiftstrategytodivid
6、eminepressuretimeseriesdataatdifferentscales.Itavoidspotentialdatashiftissuesthatmayexistinfixedlengthtimeseries.Onthisbasis,theensemblelearningmine pressure prediction model based on Transformer-LSTM is constructed.By combining the attentionmechanism and the accurate time series feature representat
7、ion capability,the dynamic features of the minepressurechangelawarecapturedatmultiplelevels.Thevotingalgorithmofensemblelearningisusedtojointlypredicttheminepressuredatatoovercomethelimitationsofasinglepredictionmodel.Theexperimentalresultsshowthatthevotingalgorithmofensemblelearningcanreducethevola
8、tilityofmeanabsoluteerror(MAE)and收稿日期:2023-05-10;修回日期:2023-07-10;责任编辑:李明。作者简介:李泽西(2001),男,湖北孝感人,研究方向为人工智能、电子信息技术在煤矿领域的应用,E-mail:。引用格式:李泽西.基于可变时序移位 TransformerLSTM 的集成学习矿压预测方法J.工矿自动化,2023,49(7):92-98.LIZexi.EnsemblelearningminepressurepredictionmethodbasedonvariabletimeseriesshiftTransformer-LSTMJ.Jo
9、urnalofMineAutomation,2023,49(7):92-98.第49卷第7期工矿自动化Vol.49No.72023年7月JournalofMineAutomationJul.2023文章编号:1671251X(2023)07009207DOI:10.13272/j.issn.1671-251x.18142root mean square error(RMSE)of mine pressure prediction.It effectively reduces the sensitivity impact ofdifferentscalefeatureseriestothemin
10、epressurepredictionresults.ComparedwiththeTransformermodel,theMAEoftheTransformer-LSTMmodelspredictionresultsontworoofminepressuredatasetsoffullymechanizedworkingfacesimprovesby8.9%and9.5%respectively,andtheRMSEhasincreasedby12.7%and16.5%respectively.Theaboveindexesarealsohigherthanthoseofbackpropag
11、ation(BP)neuralnetworkmodelandLSTMmodel.Themethodproposedinthepapereffectivelyimprovestheaccuracyofminepressureprediction.Key words:mine pressure prediction;variable time series shift;Transformer-LSTM model;ensemblelearning;votingalgorithm 0引言随着煤炭开采深度的增加,矿压显现规律的研究仍是煤炭开采的重要课题。矿压是煤矿生产中不可避免的问题,其变化规律的研究
12、能够揭示煤炭开采的物理本质和变形机制1,为煤矿安全生产提供科学依据。因此,针对矿压预测问题的研究持续受到关注2。目前,矿压预测方法已由早期的物理力学、统计学等方法3逐步转变为以浅层神经网络预测模型4-5、深度神经网络预测模型和其他类别机器学习模型6-8为主的预测方法。国内外学者针对综采工作面矿压预测问题进行了大量研究工作,主要分为 3 类:基于物理理论的矿压预测方法。惠艳荔9利用电磁辐射技术预测采煤工作面的矿压,通过对采煤机推进过程中产生的采动应力分布情况进行分析,成功预测了矿压发生的情况。李静等10提出了一种基于 CT 技术的矿压灾害预测方法,利用 CT 技术反演待开采工作面的应力场,预测可
13、能发生矿压事故的区域范围,并实时监测和分析矿震特征,提前预报矿压事故的发生。基于模糊数学的矿压预测方法。LiYe 等11利用模糊认知图技术构建了一种矿压预测模型,在引入遗漏正则化和权重正则化基础上,提出了实数编码遗传算法,用于矿压预测。霍丙杰等12建立了矿压显现分级预测指标体系,并利用模糊数学理论构建了矿压显现强度分级预测模型,能够准确刻画坚硬顶板厚煤层的矿压显现特征。基于机器学习的矿压预测方法。赵铭生等13利用遗传算法优化反馈神经网络,建立了矿压毁坏高度的预测模型,在矿压破坏深度预测方面具有更高的预测精度。赵毅鑫等14基于实测矿压数据,利用长短时记忆(LongShort-TermMemory
14、,LSTM)模型对工作面支架工作阻力、初次来压与周期来压等矿压显现规律进行分析,实验结果表明该方法较基于反馈神经网络的预测方法具有更高的准确性。曾庆田等15提出了融合相邻多架影响的 Prophet+LSTM 矿压数据预测模型,通过数字信号处理技术减少噪声和随机误差,结合 Prophet和 LSTM 模型特性,通过添加额外回归变量融合相邻支架矿压数据,构建组合模型,实现工作面矿压预测,通过实验验证了该模型优于反馈神经网络和自回 归 积 分 滑 动 平 均 模 型(AutoregressiveIntegratedMovingAverageModel,ARIMA),具有更强的稳定性和准确性。李泽萌1
15、6研究了 LSTM 模型时间窗设置对综采工作面矿压预测精度的影响,通过优化历史数据和预测数据长度,显著提高了预测结果的准确性。目前,基于机器学习的矿压预测方法已广泛应用于采矿领域。矿压数据具有时序性和非线性特性,其变化受多种因素(采煤工艺、地质条件等)的影响。而基于机器学习的矿压预测方法大多采用单一预测模型,较依赖固定长度时序序列特征,难以有效捕捉其复合特征,影响矿压预测的准确度。为解决该问题,本文以综采工作面实测的顶板矿压数据为研究对象,提出了一种基于可变时序移位 TransformerLSTM 的集成学习矿压预测方法:基于拉依达准则和拉格朗日插值法,剔除矿压监测数据中的异常值,插入缺失值,
16、并进行归一化数据预处理;提出可变时序移位策略,通过划分不同尺度的矿压时序数据,避免固定长度时序序列可能存在的数据偏移问题;构建基于 TransformerLSTM 的集成学习矿压预测模型,通过多层次捕捉矿压变化规律的动态特征,联合预测矿压数据,克服了单一预测模型的局限性。1矿压预测方法基于可变时序移位 TransformerLSTM 的集成学习矿压预测方法主要包括矿压数据预处理、基于可变时序移位的矿压数据划分、基于 TransformerLSTM 模型的集成学习矿压预测 3 个部分,如图 1所示。1.1矿压数据预处理现代化煤矿企业在井下施工时通常会配备监测系统,可实时记录开采环境及设备状态参数
17、。但当监测设备发生系统故障或受到其他因素干扰时,监测数据可能会受到显著的扰动,产生与真实值存在2023年第7期李泽西:基于可变时序移位 TransformerLSTM 的集成学习矿压预测方法93较大差异的异常数据,影响监测数据后续应用。因此,需对监测数据进行针对性的预处理和数据清洗。采用拉依达准则17检测矿压数据中的异常值,其对于大量的矿压监测数据具有显著效果。该方法通过计算数据的标准偏差,并根据一定的概率设置范围实现异常数据检测。超过该范围的误差称为严重误差,达到这种严重误差的数据即为异常数据。异常值检测公式为=vuuuuutni=1(xix)2n1(1)|xix|3(2)nxiix式中:为
18、标准偏差;为矿压数据总数;为第 个矿压数据;为矿压数据的算术平均值。煤矿井下监测设备易受到干扰,引起系统操作故障,甚至使传感器脱离系统,导致矿压监测数据缺失。采用拉格朗日插值方法18插值缺失的矿压数据,从而减小误差,提高数据的完整性和准确性。在此基础上,考虑矿压为多变量数据,存在不同量纲和数值的差异,直接应用会对模型训练和测试造成影响。因此,采用数据归一化方法(式(3)将矿压样本数据映射到0,1区间,保证不同变量之间的数值范围相同,减小对于数据的偏好和权重分配,保证模型预测的精度和稳定性。xi=xixminxmaxxmin(3)xiixminxmax式中:为第 个矿压数据的归一化值;为矿压数据
19、最小值;为矿压数据最大值。1.2基于可变时序移位的矿压数据划分考虑矿压数据通常包含复杂的时间序列模式和周期性变化,提出一种可变时序移位策略,避免固定长度时序序列可能存在的数据偏移问题。P=X1,X2,Xn Xm假设综采工作面某液压支架监测数据含 n 个按时间顺序排列的数据,时间序列为,为该支架在 m 时刻的矿压监测值,m=1,2,PP(m)=Xmt+1,Xmt+2,Xm1,Xmn。若以 m 时刻为当前时刻,则矿压数据 前 t 时刻的时间序列可表示为。为了划分可变时序移位的矿压数据,以 m 时刻监测数据为基础,通过移动非固定长度的窗口,获取不同尺度的时序序列:y1=X1,X2,Xmy2=X2,X
20、3,Xm.yk=Xk,Xk+1,Xm(4)yk式中为尺度 k 的时序序列。进行矿压预测时,将不同尺度的时序序列依次注入基于 TransformerLSTM 的集成学习矿压预测模型。1.3基于 TransformerLSTM 的集成学习矿压预测模型Transformer 模型是一种基于自注意力机制的序列建模模型,由编码块和解码块组成,每个块都由多个独立的编码层(Encoder)或解码层(Decoder)堆叠构成19。每个编码层包含多头注意力层(Multi-HeadAttention)、全 连 接 层(FFN)和 正 则 化 层(Add&Norm),而每个解码层则包含 2 个多头注意力层。Tran
21、sformer 模型采用位置编码(PositionalEncoding)策略获取输入序列中的相对位置信息,通过多头注意力机制实现在不同子空间上关注不同的细节信息。LSTM 模 型 是 一 种 循 环 神 经 网 络(RecurrentNeuralNetwork,RNN)的变体,专门设计用于处理和建模具有时序特征的序列数据20。相较于其他类型的 RNN 模型,LSTM 模型能够更好地捕捉时序数据中的长期依赖关系,保证模型的准确性,目前已广泛应用于矿压预测。为了更好地捕捉时序数据中潜在的矿压变化规律,基于传统 Transformer 模型结构,将解码器修改为全连接层,并在解码器中引入 1 个 LS
22、TM 模块,构建了 TransformerLSTM 模型,如图 2 所示。在此基础上,将不同尺度的矿压数据分别注入Transformer 模型的多头注意力机制中,然后计算不矿压数据可变时序移位的序列划分基于 TransformerLSTM 的集成学习矿压预测模型TransformerLSTM 模型集成学习预测值 Y1预测值 Y2预测值 Yk投票算法矿压预测403530矿压/MPa真实值预测值2520220 222 224测试数据序号226 228 230EncoderAdd&NormAdd&NormAdd&NormAdd&NormMulti-HeadAttentionPositionalEnc
23、odingFeedForwardtFeedForwardLSTMDecoderLinear时序移位序列 1X1,X2,Xm Xm+1X2,X3,Xm Xm+1Xk,Xk+1,Xm Xm+1序列 2序列 k不同尺度的时序序列数据预处理异常值处理缺失值处理图1基于可变时序移位 TransformerLSTM 的集成学习矿压预测方法Fig.1EnsemblelearningminepressurepredictionmethodbasedonvariabletimeseriesshiftTransformer-LSTM94工矿自动化第49卷同时序序列的特征权重。这些权重用于局部注意力机制,以便模型在
24、每个时间点仅关注该尺度内时序数据的局部矿压变化特征,最终捕捉到不同尺度下的多层次矿压变化特征。在上述过程中,通过采用相对位置编码,使 Transformer 模型能够对时序数据进行编码。由此,可将不同尺度的时序数据特征通过 Transformer 模型输出,并利用拼接方式实现矿压变化特征的向量表示,以便后续矿压预测。具体过程如下。XmXm1)对于输入的时序数据 Xm,将其分解成不同尺度的时序序列片段,每个片段在时间维度上关注某个局部时序序列特征,由此得到时序序列矩阵。将注入 Transformer模型中的多头注意力机制,得到局部特征表示 Am。Am=MultiHeadAttention(Xm)
25、(5)SmM(m)2)分别计算不同时序序列的特征权重,用于计算局部自注意力分数。Sm=Softmax(ReLU(WqAm)TWkAm)(6)M(m)=nm=1SmWvAm(7)Wq,Wk,Wv式中为权重矩阵。3)将 Transformer 模型输出的各特征向量进行拼接,构成不同尺度下矿压数据的特征向量表示 H。4)将特征向量表示 H 注入 LSTM 模型,进一步抽取时序特征。Ytm=LSTM(H,Wm,Yt1m,m)(8)YtmLSTM()Wmm式中:为 t 时刻的隐藏状态;为 LSTM 模型的时序特征提取函数;为 LSTM 模型训练过程中学习的参数矩阵;为 LSTM 模型的超参数。p1,p2
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 可变 时序 移位 Transformer LSTM 集成 学习 预测 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。