基于Transformer模型的电力隧道开挖工法预测研究.pdf
《基于Transformer模型的电力隧道开挖工法预测研究.pdf》由会员分享,可在线阅读,更多相关《基于Transformer模型的电力隧道开挖工法预测研究.pdf(7页珍藏版)》请在咨信网上搜索。
1、第41卷第8 期2023年8 月文章编号:10 0 9-7 7 6 7(2 0 2 3)0 8-0 2 53-0 7市放技术Journal of Municipal TechnologyVol.41,No.8Aug.2023D0I:10.19922/j.1009-7767.2023.08.253基于 Transformer工法预测研究模型的电力隧道开挖陈莉颖,朱颖杰*(北方工业大学土木工程学院,北京10 0 144)摘要:在电力资源供应不足与绿色城市建设的双重影响下,电力隧道已经成为城镇化建设的必要选择,而根据已有工程条件确定电力隧道开挖工法更是施工稳定与取得经济效益的关键。以我国多个省份提供
2、的电力隧道开挖工法应用情况为基础构建了数据集,应用Transformer模型对数据集之间的因果序列关系进行了学习与预测研究。研究结果表明,与传统机器学习模型相比,Transformer模型做到了不定项预测,同时在电力隧道开挖工法的最优项预测方面也取得了较好的结果,其准确率、精确率、召回率和F1值分别为98.2 5%、98.53%、98.45%和98.47%。Transformer模型在北京市某些已有工程实例中也得到了进一步的验证,具有极大的发展潜力。相关结论可为类似研究提供参考。关键词:电力隧道;Transformer模型;机器学习模型;开挖工法预测TransformerModelChen L
3、iying,Zhu Yingjie*中图分类号:TU74Prediction Research on Excavation Method for Power Tunnel by(School of Architecture and Construction,North China University of Technology,Beijing 100144,China)Abstract:Under the influence of insufficient supply of power resources and green city construction,a power tunnel
4、has become a necessary choice for urban construction.That determining the excavation method for a power tunnel bythe existing engineering conditions is the key to construction stability and economic benefits.Based on the applica-tion of power tunnel excavation methods of several provinces in China,a
5、 data set is constructed.The causality se-quence relationship between data sets are studied and predicted by the Transformer model.The research results showthat compared with the traditional machine learning model,the Transformer model can achieve uncertain term pre-diction.Better results in the opt
6、imal term prediction is obtained for power tunnel excavation construction method,with the accuracy,precision,recall rate,and F1 values of 98.25%,98.53%,98.45%,and 98.47%respectively.Being further verified in some existing projects in Beijing,the Transformer model has great development potential.The
7、relevant conclusions can provide a reference for similar research.Key words:power tunnel;Transformer model;machine learning model;prediction of excavation method文献标志码:A随着我国新型城镇化进程高质量深化发展新篇章的开启,在充分带动人口经济高速增长的同时,收稿日期:2 0 2 3-0 3-2 7作者简介:陈莉颖,女,在读硕士研究生,主要研究方向为土木工程与智能建造。通讯作者:朱颖杰,女,讲师,博士,主要从事土木工程与智能建造方面的研
8、究工作。引文格式:陈莉颖,朱颖杰.基于Transformer模型的电力隧道开挖工法预测研究J.市政技术,2 0 2 3,41(8):2 53-2 59.(CHENLY,ZH U YJ.Prediction research on excavation method for power tunnel by transformer modelJ.Journal of municipal technology,2023,41(8):253-259.)也导致城市电力负荷增长速度过快与电力资源供应不足的矛盾更加突出。为解决该问题并满足绿254色城市建设发展的要求,电力隧道已经成为城镇化建设的必要选择,而
9、合理的电力隧道施工工法不仅能够保证施工质量,还能极大地降低施工成本、缩短工期,因此建立一个能够精准预测电力隧道开挖工法的模型至关重要。国内学者对电力隧道开挖工法的确定进行了相关研究2-7。目前,我国仍没有关于电力隧道开挖工法选择的明确规定,由于需要考虑地质条件、水文条件、不良土质、隧道所在地层、造价、工期等较多因素,因此绝大多数设计人员采用层次分析法(AHP法)8)选择电力隧道开挖工法。但AHP法的客观性较高,受限于标度专家的工作和判断能力,必然会导致整个评价过程复杂性增加且周期变长,同时AHP法中特征值和特征向量的精确求法也增加了计算过程的复杂性。因此,传统预测方法存在一定的主观性和局限性。
10、得益于人工智能的崛起与计算机硬件的更新换代,Transformer模型凭借较强的迁移学习能力从最初的自然语言处理9领域逐步向其他领域拓展,尤其是在时间序列10、计算机视觉1、音频处理12 等领域取得了令人瞩目的重要成果。与传统的机器学习模型相比,Transformer模型能够通过自注意力机制学习数据序列之间的因果关系且具备记忆能力。同时,Transformer模型比RNN等模型具有更强的并行计算能力。考虑到Transformer模型常用于处理序列到序列的问题,通过将电力隧道开挖工法选择与预测的问题转化为序列到序列的问题,再利用Transformer模型学习输入特征之间的因果序列关系对输出预测进
11、行排序,以实现推荐最优电力隧道开挖工法的目的。鉴于此,以我国多个省份提供的电力隧道开挖工法应用情况为基础构建数据集,并建立训练模型,与其他传统的机器学习算法模型相比,Transformer模型能够实现不定项选择,且其首选方案推荐准确率高达98.2 5%,同时Transformer模型在北京市某些工程案例中已得到进一步的验证,可对电力隧道开挖工法的预测提供有效参考。1研究方法1.1Transformer模型架构Transformer模型9 具有较好的泛化能力和迁移学习能力,因此被广泛应用于神经语言程序学(NLP)、Journal of Municipal Technology第41卷计算机视觉和
12、强化学习等领域,其核心在于以自注意力机制为依托,构建出Encoder和Decoder2个关键部分,可实现直接建模全局信息与并行计算的优势互补,大大提高了模型的学习能力、泛化能力和计算效率。同时,Transformer模型利用自注意力机制对序列输人中各位置之间的关系进行建模,避免了梯度爆炸和梯度消失的现象,从而有效地提升了其训练和推理的准确性。Transformer模型架构如图1所示。残差连接和层标准化Nx前馈神经网络Nx残差连接和层标准化多头注意力机制位置编码输人嵌人输人图1Transformer模型架构图Fig.1 Transformer model architecture diagram
13、1.2Transformer模型输入Transformer模型通过词嵌人算法加上位置编码将输人数据的位置信息准确提供给模型,实现模型对全局信息的学习。词嵌人算法将输人文本中的每个词汇转化为相应的词向量,并将其映射到1组实数空间。同时,利用位置编码将输入中各词汇位置信息传人Transformer模型进行学习。位置编码(PE)的维度与词向量维度一致,可通过训练或计算公式(1)获得。PE(as,2)=sin(pos/10002id),(1)式中:pos为当前词汇在输人中的位置;d为输入序输出Softmax回归线性化残差连接和层标准化前馈神经网络残差连接和层标准化多头注意力机制残差连接和层标准化掩码多
14、头注意力机制位置编码输出嵌入上一解码的输出(右移一位)第8 期列的词向量维度;i为某词向量维度。1.3自自注意力机制介绍1.3.1自注意力机制自注意力机制是对输入序列中的每个词向量创建Q(Query)、K(K e y)、V(Va l u e)3个向量,并以计算该词的Q向量与所有词的K向量的点积所得到的对应权重作为支撑,使Transformer模型能学习到每个词汇相对于输人序列中其他词汇的注意力分数。自注意力机制计算公式如下:Arerio(.,)=sofimax(OVdk式中:dk为K向量的维度。1.3.2多头注意力机制为完善自注意力机制层并防止在训练过程中出现过拟合现象,增加多头自注意力机制以
15、拓展关注不同空间特征的能力,其关键在于通过h个不同的线性变换对Q、K、V 向量进行映射,之后拼接不同的自注意力机制层输出结果,最后利用一次线性变换使Transformer模型学习到更丰富的信息,并有效提升模型预测精度。多头注意力机制计算公式如下:MultiHead(Q,K,V)=Concat(headi,.-,headh)W;(3)head;=Attention(QW,KWk,VW)。(4)式中:h为注意力头的个数;W为附加权重矩阵;W%、WK、W Y分别为第i个Q、K、V的权重矩阵。1.3.3残差连接和层标准化残差连接即输人与输入的非线性变化的连接,其目的在于防止梯度消失。层标准化是对层内所
16、有神经元进行标准化处理,使同层的所有隐藏单元共享均值与方差,不仅可以加快收敛,还可以使各隐藏层传递更为稳定。残差连接和层标准化计算公式如下:LayerNorm(X+MultiHeadAttention(X);(5)LayerNorm(X+FeedForward(X)。(6)式中:X为MultiHeadAtention或FeedForward的输人;MultiHeadAttention(X)和FeedForward(X)为输出。1.3.4前馈神经网络前馈神经网络主要由2 个全连接层组成,第1层的激活函数为ReLU,第2 层不使用激活函数,其目的是通过线性变换与激活函数的处理将当前词向量转换为另一
17、种词向量,使Transformer模型可以提取到更深层次的信息。前馈神经网络计算公式如下:FFN(x)=max(0,xZ)+b)Zz+b2 0(7)陈莉颖等:基于Transformer模型的电力隧道开挖工法预测研究b2为线性变换的偏置向量。1.3.5掩码Transformer模型中的Encoder结构多头自注意力机制的掩码用于屏蔽无效填充字符P,而Decoder结构的掩码可屏蔽无效填充字符P和某些“未来”信息(即在当前时间步之后(包括当前时间步)的信息),通过Masked操作可以防止解码器在对一个元素进行输出时提前识别到后续的元素。1.3.6Encoder-DecoderV。(2)255式中:
18、x为输人;Z,和Z,为线性变换的参数矩阵;b,和Transformer模型以Encoder-Decoder架构为支撑,Encoder结构和Decoder结构均由N个编码器协同工作组成1个大的编码器,Encoder结构可以将输人编码转化成机器容易学习的向量,Decoder结构可以将模型学习的向量转化为输出编码。1.4Transformer模型输出Transformer模型的输出部分包含线性化与Softmax回归两部分,线性化将Decoder结构输出的向量映射到1个更长的向量,该向量中的每个数都代表1个词汇的分数,Softmax回归则是将这些分数转化为对应词典中词汇的概率,最后选择概率最高的词汇作
19、为当前的输出。2模型建立与分析2.1整体流程模型建立与分析流程如图2 所示。2.2模型输入与输出特征确定通过整理陕西、天津、安徽、河北等省市提供的电力隧道开挖工法选择情况,得到各影响因素占比如图3所示。以上述数据为基础构建数据集,同时对相关领域的专家进行调研以保障数据的准确性与可靠性。笔者共整理出8 55条数据,其中8 0%用于训练、2 0%用于测试,且每条数据都给出了明开、暗挖、顶管和盾构4种工法按照优先级排序的组合,以该组合作为模型的初步输出结果。通过Transformer模型对训练集数据之间的因果序列关系进行学习再对测试集进行测试,首先输出根据优先级排序的4种推荐工法序列,之后提取出最优
20、选项即组合首选项作为最终输出结果。2.3数据预处理由于Transformer模型无法直接对输人的文本256Journal of Municipal Technology第41卷明开暗挖顶管盾构训练集原始样本集样本数据样本数据样本数据样本数据训练预测原始样本集地质条件周围有无重要明开、暗特征提取水文条件不良土质断面尺寸范围4种工法按照优先隧道所在地层级排序的曲线半径组合特征目标决策树随机森林KNNXCBoostBP神经网络Transformer算法模型特征1特征1构筑物挖、顶管、盾构固定的工法组合输出测试集预测目标预测目标预测目标按照优先级排序的提取最优项开挖工法序列输出预测最优项预测最优项特征
21、7目标特征7目标数据预处理特征1特征1特征1特征1评价测试集最优项预测最优项评价训练特征7目标测试集特征7目标特征7目标特征7目标准确率精确率召回率F1值预测对比分析图2 模型建立与分析流程图Fig.2 Flow chart of establishing and analysis of the model39.24%地层条件图3电力隧道开挖工法选择影响因素占比示意图Fig.3 The proportion of influencing factors in selecting the powertunnel excavation method信息进行学习,因此需要将输人的文本信息转化为由若干
22、个不同的专业术语构成的集合,以便模型可以更好地理解结构化信息13。笔者选取了2 7 个特征与4个目标值,其中编号0 4代表地质条件的选项,510 代表水文条件的选项,1118 代表不良土质的选项,192 1代表断面尺寸范围的选项,2 2、2 325.09%20.40%线路条件隧道周围环境用于描述周围有无重要构筑物,2 4、2 5用于描述曲线半径,隧道所在地层主要为复合地层、软土和填7.27%6.67%造工价期1.33%特殊项目土,其中软土和填土2 个词汇信息已在不良土质的选项中出现,并进行了相应的转化处理,因此仅将编号2 6 代表复合地层,最终以编号2 6、11、12 代表隧道所在地层的选项。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 Transformer 模型 电力 隧道 开挖 预测 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。