基于ALSTM模型的基坑周边建筑物沉降预测_余凯.pdf

2023 年第 3 期工程勘察Geotechnical Investigation&Surveying63 基于 ALSTM 模型的基坑周边建筑物沉降预测余 凯,吴来根(福建岩土工程勘察研究院有限公司,福州 350108)摘要:中短期基坑沉降监测序列具有非线性和数据量小的特点,导致常规预测模型很难获取准确的预测结果。针对传统模型未考虑到历史时刻沉降情况对未来沉降量具有不同影响的缺点,本文采用 ALSTM(Attention LSTM)预测模型,并以某大厦基坑工程变形监测的数据为例进行验证。实验结果表明,相比 LSTM、支持向量回归和 BP 神经网络模型,ALSTM 模型能够取得更加准确的预测结果,适用于短期和中短期两种情况下的沉降变形预测。关键词:基坑监测;沉降预测;LSTM;注意力机制中图分类号:TU196文献标识码:APrediction of buildings settlement around foundation pit based on ALSTM modelYu Kai,Wu Laigen(Fujian Geotechnical Engineering Investigation and Research Institute Co.Ltd,Fuzhou 350108,China)Abstract:The monitoring sequence of medium and short-term foundation pit settlement has the characteristics of non-linearity and small amount of data,which makes it difficult for conventional prediction models to obtain accurate prediction results.Aiming at the disadvantage that the traditional model does not take into account the fact that the settlement at the historical moment has different effects on the future settlement,this paper adopts the ALSTM(Attention LSTM)prediction model,and takes the deformation monitoring data of a building foundation pit as an example to verify;the experimental results show that,compared with LSTM,support vector regression and BP neural network models,the ALSTM model can achieve more accurate prediction results,and is suitable for the prediction of settlement deformation in both short-term and medium-short-term conditions.Key words:foundation pit monitoring;settlement prediction;LSTM;attention mechanism收稿日期:2022-01-12;修订日期:2022-02-24作者简介:余凯(1974-),男(汉族),江西南昌人,大学本科,高级工程师.0引言随着社会经济的蓬勃发展,我国城市化进程不断加快,越来越多的深基坑工程也随之出现1。深基坑工程(如地下商场、地下停车场、地铁等)大多位于城市经济繁荣的区域,其安全问题除了基坑自身的形变安全外,还包括基坑开挖过程中对周边建筑物和居民生命财产安全的影响,因此,对基坑及周边建筑物进行沉降监测并对监测数据进行分析处理和预测,对于深基坑工程的安全施工尤为重要2,3。常用的变形预测方法主要有回归分析法、时间序列分析预测法、灰色系统预测法和人工神经网络预测法等,各种模型有着各自的优势和局限性。王建民等在矿山边坡监测中运用了高斯回归预测模型4;李瑞等在大坝变形监测中采用多元线性回归法5,回归分析法较为成熟且容易实现,但对数据的准确性要求较高,个别粗差的存在会影响其预测结果;针对沉降数据非平稳的特征,曹净、徐爱功等将时间序列分析应用于地铁沉降和建筑物基坑沉降预 测 中,得 到 了 真 实 反 映 变 形 情 况 的 预 测 结果6,7。灰色模型8 10通过小样本数据对变形系统的规律进行预测,但对非线性、非平稳序列的沉降数据预测效果较差。近年来,人工神经网络由于其强大的自学习能力,在处理非线性以及复杂时序问题中具有独特的优势,发展较为迅猛;王磊等将时间序列与 BP 神经网络相结合应用于沉降监测11;张文博等在建筑物基坑预测中采用 BP 神经网络方法,证明了 BP 神经网络模型具有较高的精确性和64 工程勘察Geotechnical Investigation&Surveying2023 年第 3 期稳定性,但 BP 神经网络也存在训练收敛速度较慢等问 题12;许 宁 等 利 用 长 短 时 记 忆(Long Short-Term Memory,LSTM)神经网络模型进行基坑沉降预测13,分别进行单点预测和多点预测对比实验,得到了较好的预测精度。在实际工程中,不同时刻的沉降情况对未来沉降量影响是不同的,针对传统模型未考虑到历史时刻沉降情况对未来沉降量具有不同影响的缺点,本文采用 ALSTM(Attention LSTM)预测模型进行实例研究,该模型的特点是将历史不同时刻的重要程度纳入到长短时记忆(LSTM)神经网络模型中14。为验证 ALSTM 模型可用于不同样本数量条件下的沉降变形预测,分别采用短期和中短期两种样本划分方式进行训练和测试。1研究方法1.1长短时记忆网络长短时记忆网络是一种循环神经网络,由于其独特的门结构设计使该网络具有记忆信息的能力,常被用 于 时 间 序 列 预 测 和 自 然 语 言 处 理 等 任 务中15 17。假设输入 LSTM 的时间序列为 X=x1,x2,xn,则对应的 LSTM 包含 n 个细胞;其中第 t 个细胞的输入为时间序列 xt、上一个细胞的输出 ht-1和状态 ct-1,输出为当前细胞的输出 ht和状态 ct。LSTM 网络中每个细胞的工作流程相同且共享参数,首先通过遗忘门决定是否从上一个细胞输出的状态 ct-1中丢弃无效信息,并由输入门决定在ct-1中加入多少新的有效信息,在 ct-1中删除无效信息和添加有效信息后得到当前细胞的状态 ct,上述过程的计算表达式为:ft=(Wfht-1,xt+bf)(1)it=(Wiht-1,xt+bi)(2)ct=tanh(Wcht-1,xt+bc)(3)ct=ftct-1+itct(4)式中,ft和 it分别为遗忘门和输出门的输出;表示 Sigmoid 激活函数;tanh 表示 tanh 激活函数;W为神经元的权值矩阵;b 为偏置。在得到当前细胞的状态 ct后,通过输出门可以计算细胞的输出 ht,计算过程为:ot=(Woht-1,xt+bo)(5)ht=ottanh(ct)(6)1.2ALSTM 预测模型对于沉降量序列 X=x1,x2,xn,在对n+1 时刻的沉降量进行预测时,通常以 n+1 时刻之前的若干个时刻的沉降量作为 LSTM 模型的输入。考虑到实际工程中不同时刻的沉降情况对未来沉降量的影响不同,本文通过采用注意力机制将不同时刻的重要程度纳入到 LSTM 模型中,以获取更加准确的预测结果。假设预测模型的输入为 S=x1,x2,xt,首先经过一层神经网络得到特征向量 V=v1,v2,vt,再利用 Softmax 函数输出所有时刻特征的权重向量,最后将输入 S 与权重 做哈达玛积,得到重标定后的特征向量 R=r1,r2,rt,计算过程为:V=WS+b(7)=Softmax(VT)(8)R=ST(9)式中,W 为神经网络的权重矩阵;b 为偏置矩阵;Softmax 表示 softmax 函数,其表达式为:Softmax(vi)=evitj=1vj(10)在 完 成 权 重 的 分 配 后,将 特 征 向 量 R 作 为LSTM 的输入,并通过全连接层输出预测值。由于所建立的预测模型结合了注意力机制和 LSTM,所以将其称为 ALSTM(Attention LSTM)。相比标准的LSTM 模型,ALSTM 模型能够通过网络学习的方式为不同时刻的特征赋予相应的权重,更适用于时间序列预测问题。2实例分析某大厦位于福建省某市二环路南侧,五四北路东侧,南侧紧邻湖前河,分布有地下管线;东侧为省老年医院,其高压配电房与场地相隔仅 15m;建筑物沉降监测采用徕卡 NA2 精密水准仪。2.1实验数据如图 1 所示,选取基坑周边的 H2、F9 和 L7 监测点,其中 H2 为施工场地临近河岸的河道监测点,F9 为施工场地东侧配电房上的监测点,L7 为基坑北侧地表的道路监测点。监测时间为 2018 年 2 月 14 日至 2018 年 8 月26 日,共 49 期,监测内容为累积沉降量,监测点H2、F9 和 L7 的原始监测数据如图 2 所示。为验证模型的预测能力,分别对短期预测和中短期预测进行实验分析。原始的沉降量序列按照8 1 1 的比例划分为训练集、验证集和测试集。其中,训练集用于预测模型训练,验证集用于模型2023 年第 3 期工程勘察Geotechnical Investigation&Surveying65 图 1监测点点位分布 Fig.1Distribution of monitoring points图 2实测沉降量序列Fig.2Data series of measured subsidence value参数选取,测试集用于预测精度评价。样本数量的具体分布如表 1 所示。表 1训练集、验证集和测试集样本数量对比Table 1Comparison of sample size on training set,verification set and test set类别总期数训练集期数验证集期数测试集期数短期302433中短期4939552.2实验流程本文实验的具体步骤为:(1)首先完成数据集的划分,对其中训练集数据进行归一化和滑动窗口采样。对于深度学习模型,通常需要对输入数据进行标准化,以加快网络的学习和收敛速度,此处采用 Z-Score 标准化,其计算方式为:X=X-X(11)式中,X 为划分后的训练数据;X 和 分别为 X 的平均值和标准差;X为标准化后的序列。在对训练数据进行标准化后,需要通过滑动窗口采样生成适用于神经网络训练的样本。对于 X=x1,x2,xi,假设滑动窗口的大小为 t(t1),那么第 1 个训练样本为input:x1,xt);output:xt+1,第2 个 训 练 样 本 为 input:(x2,xt+1);output:xt+2,依 此 类 推,最 后 一 个 训 练 样 本 为 input:(xi-t,xi-1);output:xi;经过上述滑动窗口采样后便得到 i-t 个训练样本,其中滑动窗口 t 对应 LSTM 中的 time-steps 参数,决定网络所接受的信息量和细胞的数量;(2)模 型 训 练 和 参 数 调 优。将 训 练 集 输 入ALSTM 模型进行训练,通过网格搜索选择在验证集上精度最高时所对应的 time-steps 和 LSTM 细胞的神经元数量 units 作为最优参数;(3)滚动预测和反归一化。在完成 ALSTM 模型的训练后,将xi-2,xi-1,xi 作为输入并预测出xi+1,然后将 xi-1,xi,xi+1 作为输入 并 预 测 出xi+2,依此类推,滚动预测出未来若干期的沉降量,并利用 X 和 将其进行反归一化;(4)精度评价。采用平均绝对误差(Mean Absolute Error,MAE)和均方根误差(Root Mean Square Error,RMSE)作为 精 度 指 标 对 预 测 结 果 的 准 确 性 进 行评价。2.3模型参数设置ALSTM 模型中有两个影响模型预测精度的重要参数,分别为 time-steps 和 LSTM 细胞中的神经元数量 units。其中,time-steps 参数对应采样时滑动窗口的大小,决定输入模型的数据量;units 参数决定LSTM 的拟合能力。实验中设定 time-steps 参数的范围为 1 10,间隔为 1,units 参数的范围为 3 30,间隔为 3,通过网格搜索算法选择在验证集上误差最小的参数组合。表 2 列出了 H2、F9 和 L7 三个监测点短期和中短期沉降预测对应的最优参数组合。表 2ALSTM 模型最优参数组合Table 2Optimal parameter combination of ALSTM model滑动窗口大小神经元数目H2F9L7H2F9L7短期43418129中短期710101815182.4注意力机制有效性分析最优参数选取完成后,对模型进行训练和保存,导出模型中所有时刻沉降特征所对应的权重向量,并进行可视化。H2、F9 和 L7 监测点短期和中短期预测模型的注意力权重分配如图 3 所示。从图 3 可以看出,对于短期和中短期 ALSTM预测模型,注意力权重的分配都存在一个规律:接近预测时刻的历史沉降量,其权重大于远离预测时刻的沉降量,说明 ALSTM 预测模型能够根据历史时刻沉降情况对未来沉降量变化的影响程度进行权66 工程勘察Geotechnical Investigation&Surveying2023 年第 3 期图 3短期和中短期 ALSTM 预测模型的注意力权重 Fig.3Attention weight for short-term and medium-short-term ALSTM prediction model重分配。为验证引入注意力机制后 ALSTM 模型的有效性,将改正后的模型与普通 LSTM 模型进行对比,表 3 和表 4 分别列出了两类模型进行短期和中短期预测的 MAE 和 RMSE。表 3ALSTM 和 LSTM 模型短期预测误差对比Table 3Comparison of short-term prediction errors between ALSTM and LSTM models精度指标H2F9L7LSTMALSTMLSTMALSTMLSTMALSTMMAE(mm)1.030.860.890.710.870.75RMSE(mm)0.300.280.260.230.210.20表 4ALSTM 和 LSTM 模型中短期预测误差对比Table 4Comparison of medium-short-term prediction errors between ALSTM and LSTM models精度指标H2F9L7LSTMALSTMLSTMALSTMLSTMALSTMMAE(mm)0.330.100.240.140.310.21RMSE(mm)0.130.070.090.070.100.08由表 3 和表 4 可知,对于短期和中短期基坑周边的建筑沉降预测,ALSTM 模型在 H2、F9 和 L7 这 3 个监测点上的 MAE 相比 LSTM 模型平均降低了 27.04%和 44.09%,RMSE 平均降低了 14.46%和 29.41%。2.5算法对比实验为验证所采用 ALSTM 模型的准确性,选取支持向量回归(SVR)和 BP 神经网络(BPNN)作为对比算法;其中,SVR 的核函数、参数 gamma、惩罚参数 C 和 BPNN 的网络层数、神经元数目均通过网格搜索进行确 定。支持向量机、BP 神 经 网 络 与LSTM 网络采用同样的训练样本,并保持滑动窗口一致,图 4 和图 5 分别表示 3 种方法对 H2、F9 和L7 监测点沉降量进行短期和中短期预测的平均绝对误差和均方根误差。由图 4 和图 5 可知,对于短期的基坑周边建筑物沉降预测,ALSTM 模型在 3 个监测点上的 MAE和 RMSE 相 较 SVR 模 型 平 均 降 低 了 51.87%和29.7%,相 较 BPNN 模 型 平 均 降 低 了 43.55%和22.83%;对于中短期的基坑周边建筑物沉降预测,ALSTM 模型在 3 个监测点上的 MAE 和 RMSE 相较SVR 模 型 平 均 降 低 了 67.5%和 44.19%,相 较BPNN 模型平均降低了 60%和 38.46%。3结语为提高中短期基坑周边建筑物沉降量的预测图 4不同模型进行短期和中短期沉降预测的 MAE 对比Fig.4Comparison of MAE for short-term and medium-short-term settlement predictions by different models2023 年第 3 期工程勘察Geotechnical Investigation&Surveying67 图 5不同模型进行短期和中短期沉降预测的 RMSE 对比 Fig.5Comparison of RMSE for short-term and medium-short-term settlement predictions by different models精度,本文采用一种结合注意力机制和 LSTM 的ALSTM 模型,并结合实例进行详细的实验与分析,得到初步结论如下:(1)以实际工程中 3 个监测点的数据序列为例,通过可视化注意力权重,并将所建立的 ALSTM模型 与 LSTM 模 型 进 行 对 比 分 析,结 果 表 明,ALSTM 模型的 MAE 和 RMSE 均低于 LSTM 模型,证明采用注意力机制是有效的;(2)通过 ALSTM 模型与 SVR、BPNN 预测模型的对比实验,结果表明 ALSTM 模型在短期和中短期沉降变化预测任务中均具有较高的预测精度,验证了 ALSTM 模型应用于基坑周边建筑沉降预测的有效性与可靠性。由于短期的沉降预测只使用了 30 期数据进行实验,因此 3 种模型的预测误差均高于中短期的沉降预测,后续将针对短期沉降预测样本少的问题开展进一步研究。参考文献 1 叶强,吴庆令.某深基坑工程的监测分析与变形特性 J.岩土工程学报,2010,32(S2):541544.Ye Qiang,Wu Qingling.Monitoring analysis and deformation characteristics of a deep foundation pit J.Chinese Journal of Geotechnical Engineering,2010,32(S2):541 544.(in Chinese)2 马德云,南锟,宋佳.某超期深基坑对周边建筑物沉降影响的研究 J.建筑科学,2014,30(11):112116.Ma Deyun,Nan Kun,Song Jia.Study on influence of deep foundation pit excavation to adjacent building J.Building Science,2014,30(11):112116.(in Chinese)3 汤汉,丁志广.非等间隔无偏 GM(1,1)模型在基坑周边建筑物沉降预测中的应用 J.测绘通报,2016,(S2):158162.Tang Han,Ding Zhiguang.Application of unequal interval and unbiased GM(1,1)model in settlement prediction of buildings around foundation pit J.Bulletin of Surveying and Mapping,2016,(S2):158162.(in Chinese)4 王建民,张锦.基于高斯过程回归的变形智能预测模型及应用 J.武汉大学学报(信息科学版),2018,43(2):248254.Wang Jianmin,Zhang Jin.Deformation intelligence prediction model based on Gaussian process regression and applicationJ.Geomatics and Information Science of Wuhan University,2018,43(2):248254.(in Chinese)5 李瑞,姜新元,秦涛.多元线性回归在大坝变形监测数据处理中的应用 J.黄河水利职业技术学院学报,2017,29(1):1719.Li Rui,Jiang Xinyuan,Qin Tao.Application of multiple linear regression in data processing of dam deformation monitoring J.Journal of Yellow River Conservancy Technical Institute,2017,29(1):1719.(in Chinese)6 曹净,丁文云,赵党书等.基于 LSSVM-ARMA 模型的基坑变形 时 间 序 列 预 测 J.岩 土 力 学,2014,35(S2):579586.Cao Jing,Ding Wenyun,Zhao Dangshu et al.Time series forecast of foundation pit deformation based on LSSVM-ARMA model J.Rock and Soil Mechanics,2014,35(S2):579586.(in Chinese)7 徐爱功,李娜,张涛.时间序列分析在地铁沉降观测中的应用 J.测绘科学,2013,38(5):5760.Xu Aigong,Li Na,Zhang Tao.Application of time series analysis in subway settlement observation J.Science of Surveying and Mapping,2013,38(5):5760.(in Chinese)8 董鹏超,赵利民.基于卡尔曼滤波的离散灰度模型在基坑沉降数 据 的 研 究 J.测 绘 与 空 间 地 理 信 息,2016,39(4):215217.Dong Pengchao,Zhao Limin.Application of discrete gray model based on Kalman filter to the foundation pit settlement data J.Geomatics&Spatial Information Technology,2016,39(4):215217.(in Chinese)9 李立云,刘政,王兆辉.基于灰色关联模型的改进型层次分析法与基坑风险评价 J.北京工业大学学报,2018,44(6):94101.Li Liyun,Liu Zheng,Wang Zhaohui.Improved analytic hierarchy process based on gray correlation model and its application in pit engineering J.Journal of Beijing University of Technology,2018,44(6):94101.(in Chinese)(下转第 72 页)72 工程勘察Geotechnical Investigation&Surveying2023 年第 3 期参考文献 1 徐光禹,杜宁,王莉等.多源数据融合技术在古建筑三维重建中的应用 J.测绘通报,2019,(10):7782.Xu Guangyu,Du Ning,Wang Li et al.Application of multi-source data fusion technology in the 3D reconstruction of old architectures J.Bulletin of Surveying and Mapping,2019,(10):7782.(in Chinese)2 何士伟,王健,刘宇.基于激光点云与倾斜影像的复杂表面重建 J.应用激光,2021,41(4):909915.He Shiwei,Wang Jian,Liu Yu.Complex surface reconstruction based on laser point cloud and inclined image J.Applied Laser,2021,41(4):909915.(in Chinese)3 何原荣,陈平,苏铮等.基于三维激光扫描与无人机倾斜摄影技术的古建筑重建 J.遥感技术与应用,2019,34(6):13431352.He Yuanrong,Chen Ping,Su Zheng et al.Ancient buildings reconstruction based on 3D laser scanning and UAV tilt photography J.Remote Sensing Technology and Application,2019,34(6):13431352.(in Chinese)4 杨常红.联合空地多源数据的全要素实景建模方法 J.测绘地理信息,2021,46(6):7277.Yang Changhong.Full-feature real-scence modeling of integrated space-ground multi-source data J.Journal of Geomatics,2021,46(6):7277.(in Chinese)5 段平,李佳,李海昆等.无人机影像点云与地面激光点云配准的三维建模方法 J.测绘工程,2020,29(4):4447.Duan Ping,Li Jia,Li Haikun et al.3D modeling method of UAV image point cloud registration J.Engineering of Surveying and Mapping,2020,29(4):4447.(in Chinese)6 丁影,李浩,刘亚南等.平面约束的近景影像绝对定向方法及其精度 J.测绘科学,2020,45(3):7480.Ding Ying,Li Hao,Liu Yanan et al.The method of plane-constrained absolute orientation for close-range images J.Science of Surveying and Mapping,2020,45(3):7480.(in Chinese)7 张文春,范洪洋,刘永吉等.三维激光点云联合无人机影像的古建筑重建 J.测绘通报,2019,(11):130133,144.Zhang Wenchun,Fan Hongxiang,Liu Yongji et al.Ancient building reconstruction based on 3D laser point cloud combined with UAV image J.Bulletin of Surveying and Mapping,2019,(11):130133,144.(in Chinese)8 荣延祥,汪旭伟,李健平等.一种影像辅助的由粗到精的边坡点云自动配准 J.工程勘察,2021,49(12):5053.Rong Yanxiang,Wang Xuwei,Li Jianping et al.An image-aided coarse-to-fine registration for side slope point clouds J.Geotechnical Investigation&Surveying,2021,49(12):5053.(in Chinese)9 刘洋,廖东军,王朝刚等.无人机近景摄影支持下的古建筑三维建模 J.测绘通报,2020,(11):112115.Liu Yang,Liao Dongjun,Wang Chaogang et al.3D modeling of ancient buildings based on UAV close-range photographyJ.Bulletin of Surveying and Mapping,2020,(11):112115.(in Chinese)10 李永正,许鹏,杜彬.基于罗德里格矩阵的三维坐标转换方法 J.测绘与空间地理信息,2021,44(4):192194.Li Yongzheng,Xu Peng,Du Bin.3D coordinate transformation method based on Rodrigues Matrix J.Geomatics&Spatial Information Technology,2021,44(4):192194.(in Chinese)(上接第 67 页)10 彭正明,王腾军,曹冬冬等.GM(1,1)模型的改进及其在变形预测中的应用 J.地球科学与环境学报,2012,34(4):102106.Peng Zhengming,Wang Tengjun,Cao Dongdong et al.Improvement of GM(1,1)model and its application on deformation prediction J.Journal of Earth Science and Environment,2012,34(4):102106.(in Chinese)11 王磊,高峰.基于时间序列-BP 神经网络在基坑方面的应用研究 J.测绘与空间地理信息,2018,41(6):201205.Wang Lei,Gao Feng.Application research of foundation pit based on time series and BP neural network J.Geomatics&Spatial Information Technology,2018,41(6):201 205.(in Chinese)12 张文博,郭云开.基于 BP 神经网络的建筑物沉降预测模型研究 J.测绘工程,2013,22(2):5256.Zhang Wenbo,Guo Yunkai.Prediction model of building settlement based on BP neural network J.Engineering of Surveying and Mapping,2013,22(2):5256.(in Chinese)13 许宁,徐昌荣.改进型 LSTM 变形预测模型研究 J.江西理工大学学报,2018,39(5):4551.Xu Ning,Xu Changrong.A deformation prediction model based on improved LSTM J.Journal of Jiangxi University of Science and Technology,2018,39(5):4551.(in Chinese)14 张冲.基于 Attention-Based LSTM 模型的文本分类技术的研究 D.南京:南京大学,2016.Zhang Chong.Text classification based on attention-based LSTM model D.Nanjing:Nanjing University,2016.(in Chinese)15 Greff K,Srivastava R K,Koutnk J et al.LSTM:A search space odyssey J.IEEE Transactions on Neural Networks and Learning Systems,2015,28(10):22222232.16 杨背背,殷坤龙,杜娟.基于时间序列与长短时记忆网络的滑坡位移 动 态 预 测 模 型 J.岩 石 力 学 与 工 程 学 报,2018,37(10):23342343.Yang Beibei,Yin Kunlong,Du Juan.A model for predicting landslide displacement based on time series and long and short term memory neural network J.Chinese Journal of Rock Mechanics and Engineering,2018,37(10):2334 2343.(in Chinese)17 王鑫,吴际,刘超等.基于 LSTM 循环神经网络的故障时间序列预测 J.北京航空航天大学学报,2018,44(4):772784.Wang Xin,Wu Ji,Liu Chao et al.Exploring LSTM based recurrent neural network for failure times series prediction J.Journal of Beijing University of Aeronautics and Astronautics,2018,44(4):772784.(in Chinese)