基于Attention机制的CNN-BiLSTM瞬变电磁实时反演方法.pdf
《基于Attention机制的CNN-BiLSTM瞬变电磁实时反演方法.pdf》由会员分享,可在线阅读,更多相关《基于Attention机制的CNN-BiLSTM瞬变电磁实时反演方法.pdf(10页珍藏版)》请在咨信网上搜索。
1、基于 Attention 机制的 CNN-BiLSTM 瞬变电磁实时反演方法古瑶1,2,解海军1,周子鹏2,李璐1(1.西安科技大学 地质与环境学院,陕西 西安 710054;2.自然资源部煤炭资源勘查与综合利用重点实验室,陕西 西安 710048)摘要:瞬变电磁一维反演方法存在耗时长、参数难以调控、过于依赖初始模型等缺陷。为此,提出一种基于 Attention 机制的卷积双向长短时记忆神经网络(AC-BiLSTM)瞬变电磁实时反演方法,充分利用时间差,在非观测时间进行模型训练,在观测时间对当下采集数据进行实时反演。整个过程中,以实测数据加入一定比例正演数据作为数据集,以监督学习方式将采样时间
2、视电阻率作为输入特征,以测井约束的 Occam 反演结果作为学习目标,基于卷积神经网络和长短期记忆神经网络搭建编码器解码器模型,并针对数据特性,在解码器部分加入 Attention 机制对隐藏层输出数据进行重点提取,最后经全连接层获得深度电阻率数据。研究结果表明:AC-BiLSTM 算法能充分挖掘数据时空特性,快速获得符合地层电性特征的电阻率成像结果,在瞬变电磁正演数据集上的预测值与正演模型拟合优度达 0.898、均方根误差 18.44、平均相对误差 0.065,与单一长短期记忆神经网络及Occam 方法相比,拟合优度分别提高了 0.086、0.176,均方根误差分别减小了 2.97、9.32
3、,平均相对误差分别减小了 0.012、0.068。通过对 V8 电法工作站实测瞬变电磁数据的 AC-BiLSTM 反演,快速实现了研究区地层的精准分层、圈定了煤矿采空区分布范围,获得成果与真实情况一致。研究成果突破了传统反演方法局限性,提高了瞬变电磁数据解释精度及效率。关键词:瞬变电磁法;卷积神经网络;长短时记忆神经网络;Attention 机制;反演中图分类号:P631;TD745 文献标志码:A 文章编号:1001-1986(2023)10-0134-10AnAttentionmechanism-basedCNN-BiLSTMreal-timetransientelectromagneti
4、cmethodGU Yao1,2,XIE Haijun1,ZHOU Zipeng2,LI Lu1(1.College of Geology and Environment,Xian University of Science and Technology,Xian 710054,China;2.Key Laboratory of CoalResources Exploration and Comprehensive Utilization,Ministry of Natural Resources,Xian 710048,China)Abstract:The one-dimensional t
5、ransient electromagnetic(TEM)method is time-consuming and suffers other draw-backs such as difficult parameter adjustment and heavy dependence on the initial model.Therefore,this study proposed areal-time TEM inversion methodthe Attention mechanism-based convolutional neural network(CNN)-bidirection
6、alLong Short-Term Memory(BiLSTM)(AC-BiLSTM).By fully utilizing the time difference,the AC-BiLSTM per-formed model training in non-observation time and the real-time inversion of the collected data in observation time.Withthe measured data mixed with a certain proportion of data obtained from forward
7、 modeling as the dataset,the samplingtime and apparent resistivity as the input features in the form of supervised learning,and the log-constrained Occam in-version results as the learning target,the whole process of the AC-BiLSTM method is as follows:(1)the encoder-de-coder model is established bas
8、ed on CNN and LSTM;(2)based on the data characteristics,the Attention mechanism isadded to the decoder to extract the output data from the hidden layer;(3)finally,the depth-resistivity data are obtained 收稿日期:2022-12-31;修回日期:2023-05-29基金项目:陕西省自然科学基础研究计划项目(2021JLM-11)第一作者:古瑶,1992 年生,女,陕西铜川人,硕士,工程师,从事电
9、法勘探工作.E-mail: 第 51 卷 第 10 期煤田地质与勘探Vol.51 No.102023 年 10 月COAL GEOLOGY&EXPLORATIONOct.2023古瑶,解海军,周子鹏,等.基于 Attention 机制的 CNN-BiLSTM 瞬变电磁实时反演方法J.煤田地质与勘探,2023,51(10):134143.doi:10.12363/issn.1001-1986.22.12.1000GU Yao,XIE Haijun,ZHOU Zipeng,et al.An Attention mechanism-based CNN-BiLSTM real-time transie
10、nt electromagnet-ic methodJ.Coal Geology&Exploration,2023,51(10):134143.doi:10.12363/issn.1001-1986.22.12.1000from the fully connected layer.The study results indicate that the AC-BiLSTM algorithm can fully dig out the spatio-temporal characteristics of data and quickly yield resistivity images that
11、 meet the electrical characteristics of strata.Thepredicted values of the AC-BiLSTM algorithm on the TEM dataset obtained from forward modeling showed a goodnessof fit of 0.898 with the forward model,with root mean squared error of 18.44 and an average relative error of 0.065.Fur-thermore,compared t
12、o the single LSTM neural network and the Occam method,the AC-BiLSTM algorithm showed thatthe goodness of fit was improved by 0.086 and 0.176,respectively,the root mean squared error was reduced by 2.97 and9.32,and the average relative error was reduced by 0.012 and 0.068,respectively.The AC-BiLSTM i
13、nversion of meas-ured TEM data from the V8 Receiver enabled the quick and accurate stratification of strata in the study area and the de-lineation of the distribution range of coal mine goaf,with the obtained results consistent with the actual situation.Re-search results break through the limitation
14、s of traditional inversion methods and improve the accuracy and defficiency oftransient electromagnetic data interpretion.Keywords:transient electromagnetic method(TEM);Convolutional Neural Network(CNN);Long Short-Term Memory(LSTM)Neural Network;Attention mechanism;inversion 瞬变电磁法作为时间域扫面性方法被广泛应用于矿产勘
15、查、地下水调查等领域1。在其数据解释方面,线性反演虽取得一定的应用效果,但存在过于依赖初始模型、易丢失细节信息且分辨率低等缺点2,不适用于高精度反演;而模拟退火、人工鱼群优化算法等完全非线性方法又受限于复杂的正反演理论和数据处理过程而难以真正投入使用3-4,因此,寻找简洁快速、具有高分辨率的实时反演方法是亟待解决的问题。近年来,神经网络凭借其突出的学习能力、非线性映射和泛化能力,被大量应用于地球物理领域的反演成像问题5-7,该方法可避免复杂的正演计算,极大地提高了反演效率。在瞬变电磁反演方面,李实8、王秀臣9等基于反向传播(Back Propagaton,BP)算法设计了瞬变电磁实时反演系统;
16、秦善强10利用遗传算法优化的 BP 神经网络实现了瞬变电磁的即时反演;闫国才11利用 3 层人工神经网络分析了孔隙度与瞬变电磁数据的关系,成功预测了岩层的富水性。以上研究虽利用神经网络达到了实时反演的目的,但未考虑到瞬变电磁数据的时间序列性和时空相关性,且从深度学习角度来看,BP 神经网络适用性较低,不利于复杂地质条件下的精细化反演。此后,范涛等12利用专门解决时序问题的长短时记忆神经网络(Long-ShortTerm Memory,LSTM)实现了基于大量正演数据的瞬变电磁实时反演成像,并验证了其在 3 层、5 层模拟地层结构上的应用效果,证明了 LSTM 反演在理论层面的合理性。但单一的
17、LSTM 对于空间特征的提取能力相比时间特征而言略显薄弱13,这使得该网络压制随机干扰、提取空间局部信息的能力不足,而瞬变电磁反演的主要目的是突出高阻或低阻异常区,因此,需要对其进行优化或与其他算法联合使用,进一步提高反演精度。从实现难易程度和应用效果来看,算法的联合使用更为适用,且联合算法已经在地球物理领域成功开展。袁英淏14利用深层卷积神经网络(Convo-lutional Neural Network,CNN)实现了层位的自动追踪,利用基于前馈注意力机制(Attention)的 LSTM 实现了全剖面弹性波阻抗的预测;Cao Wei 等15利用架构在编码器解码器(Encoder-Deco
18、der)模型的卷积长短期记忆神经网络(CNN-LSTM)算法成功进行了地震速度反演;冼锦炽等16基于 CNN-LSTM 组合结构研究了拖曳式地面瞬变电磁的快速成像问题。以上研究证明了 CNN-LSTM算法适用于反演领域,但将该方法联合 Attention 机制用于地面瞬变电磁勘探还未见论述。本文在综合考虑瞬变电磁数据时空特征和不同神经网络优势情况下,以正演和常规反演结果为学习基础,在特定地电模型条件下,将瞬变电磁反演思想与机器学习方法相结合,研究了瞬变电磁反演电阻率的预测方法,以期快速、准确地实现资料反演。1AC-BiLSTM 反演方法原理根据不同的网络组合特性、反演需求及数据集大小,本次 A
19、C-BiLSTM 反演算法整体框架使用 Encoder-Decoder 模型,编码器(Encoder)部分使用 CNN 和 Bi-LSTM;解码器(Decoder)为 LSTM15-16。整体反演流程如下:首先,将各测点数据归一化后输入二维卷积神经网络(2D CNN),通过卷积层挖掘数据间的空间相关性并剔除随机干扰,再将处理后的数据作为整体传入双向长短时记忆神经网络(Bi-LSTM)中提取时间特征,获得具有深度向长期相关性的数据体;最后,利用 At-tention 机制计算不同数据点的注意力权重,将加权平均后的数据输入全连接层,对输出数据进行反归一化计算,获得反演结果。详细流程如图 1 所示。
20、1.1卷积神经网络(CNN)CNN 作为深度学习代表算法之一,是仿造生物的视知觉机制构建,可进行监督学习或非监督学习,其不完全连接、卷积核参数共享、池化等特性可显著降低网络复杂度,提高模型的运算容错能力17,目前已广泛第 10 期古瑶等:基于 Attention 机制的 CNN-BiLSTM 瞬变电磁实时反演方法 135 应用于大地电磁18、地震19、测井20等领域。经典CNN 结构包括输入层、卷积层、池化层、全连接层和输出层,其中池化层通过舍弃部分信息实现数据降维,然而在反演过程中,计算成本远小于图像处理,因此,本文设计的 CNN 包括 1 个输入层、2 个卷积层、1 个全连接层和 1 个输
21、出层。多个瞬变电磁测点在空间上处于相邻位置,故数据以二维张量 X(tn)的形式输入神经网络,X 为一个t 行 n 列的二维矩阵,t 为时间道数,n 为测点数。为保留多个测点的空间相关性,本次使用二维卷积神经网络进行数据处理,卷积核按照测道和测点两个方向进行卷积。根据范振宇21、王琪凯22等的研究,对于二维矩阵的卷积计算公式如下:g(l,j)=(mnkth(m,k)X(lm,jk)+b)(1)g(l,j)l n,j t X(lm,jk)(m,k)h(m,k)mnktb()式中:为第 l 测点第 j 时间道的卷积结果输出,;为以第 l 测点第 j 时间道数据为中心的尺寸为的实数矩阵;为二维卷积核及
22、尺寸,按照滤波需求,设置二维卷积核尺寸为 33,即长度 m 为 3,宽度 k 为 3,核数组首次输入为随机值;为遍历输入特征;为偏置参数;为非线性激活函数。1.2双向长短时记忆神经网络(Bi-LSTM)LSTM 是循环神经网络(Recurrent Neural Network,RNN)的变体算法,其通过增加输入门、遗忘门、输出门来保持和更新细胞状态,以门控结构解决一般循环神经网络处理长序列数据时所产生的梯度爆炸或梯度消失问题23。其单元内部结构如图 2所示。ht-1xtnCt-1tanhtanhfthtitCtCthtottanhHadamardproductadditionSigmoid()
23、tanh()Memory stateHidden state图 2 LSTM 单元内部结构Fig.2 Internal structure of the LSTM unit Xnx1n,x2n,xtnxtnXnftitotht1Xnht1CtXnCtht1XnhtCtCtotht令第 n 测点处数据为=,其中为第 t 时间道的视电阻率数据,令为当前输入,则LSTM 对于 t 时刻的工作流程如下24-26:每一个当前时刻,LSTM 单元通过遗忘门()、输入门()、输出门()接受上一时刻隐藏状态与当前状态两类信息的输入,其中遗忘门决定上一时刻保留到当前单元状态的比例,输入门决定输入到当前单元状态的
24、比例,输入门的信息经过非线性变换后与经遗忘门变换的记忆状态叠加,形成新的临时记忆单元;输出门决定上一输出和当前输入到当前隐藏层状态的比例,为临时细胞状态;最后,当前记忆单元与输出信息经过运算,形成了当前单元的输出。it=(xiXn+hiht1+bi)(2)ft=(xfXn+hfht1+bf)(3)ot=(xoXn+hoht1+bo)(4)Ct=tanh(xcXn+hcht1+bc)(5)Ct=ftCt1+itCt(6)ht=ottanh(Ct)(7)xixfxoxCXnhihfhohCht1bibfbobC式中:、为对应的权重矩阵;、为的权重矩阵;、为偏置向量;tanh()为激活函数。h1,h
25、2,htBi-LSTM 是前向后向长短时记忆神经网络的拼接,即利用 concat 函数将前向隐藏状态 Embedding layerXn=xn1,xn2,xnt Yn=yn1,yn2,ynt 2D CNNBi-LSTMContextvectorAttention layer全连接层output layerLSTMEncoderDecoderh1h1h1h2h2hththt图 1 AC-BiLSTM 模型工作流程Fig.1 Flow chart of the AC-BiLSTM model 136 煤田地质与勘探第 51 卷h1,h2,hth1,hth2,ht1ht,h1h1,h2,ht与后向隐
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 Attention 机制 CNN BiLSTM 电磁 实时 反演 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。