![点击分享此内容可以赚币 分享](/master/images/share_but.png)
基于孤立森林算法的高拱坝施工期变形异常值检测模型.pdf
《基于孤立森林算法的高拱坝施工期变形异常值检测模型.pdf》由会员分享,可在线阅读,更多相关《基于孤立森林算法的高拱坝施工期变形异常值检测模型.pdf(10页珍藏版)》请在咨信网上搜索。
1、水利水电技术(中英文)第 54 卷 2023 年第 9 期Water Resources and Hydropower Engineering Vol.54 No.9郑磊,纪新帅,齐问坛,等.基于孤立森林算法的高拱坝施工期变形异常值检测模型J.水利水电技术(中英文),2023,54(9):127-136.ZHENG Lei,JI Xinshuai,QI Wentan,et al.A model for detecting deformation outliers during construction of high arch dams based on iso-lated forest al
2、gorithmJ.Water Resources and Hydropower Engineering,2023,54(9):127-136.基于孤立森林算法的高拱坝施工期变形异常值检测模型郑 磊1,纪新帅2,齐问坛2,韩国君2,张 磊1,张国新1(1.中国水利水电科学研究院 流域水循环模拟与调控国家重点实验室,北京 100038;2.华电金沙江上游水电开发有限公司叶巴滩分公司,四川 甘孜 626700)收稿日期:2022-12-08;修回日期:2023-04-24;录用日期:2023-04-26;网络出版日期:2023-05-09基金项目:国家重点研发计划项目(2018YFC0406703)
3、;国家自然科学基金项目(51779277);中国水科院科研专项(SD0145B072021);流域水循环模拟与调控国家重点实验室资助项目(SKL2022ZD05);华电集团科技项目(SS120203A0102022,SS120203A0322022)作者简介:郑 磊(1998),男,硕士研究生,主要从事混凝土结构温控防裂和安全检测研究。E-mail:iwhr_zhenglei 通信作者:张 磊(1980),男,正高级工程师,博士,主要从事水工建筑物安全监测与智能监控、大体积混凝土防裂技术研究。E-mail:3040252 Editorial Department of Water Resour
4、ces and Hydropower Engineering.This is an open access article under the CC BY-NC-ND license.摘 要:【目的】高拱坝建设过程中的倒悬变形是导致施工期裂缝的原因之一,采用连续测斜设备开展施工期变形监测时,因分层浇筑等施工过程造成的监测异常值需进行检测和判断。【方法】结合工程实际所需精度,设计了变形监测试验以模拟拱坝工作状态和“突变”过程。针对试验结果,提出了一种基于孤立森林算法的异常值检测模型,通过小波变换预处理数据,降噪后的数据采用改进孤立森林算法检测异常值,将结果通过窗函数回归分析,并和实际调节数据进行
5、对比。【结果】结果表明,对比传统孤立森林算法,改进孤立森林算法在各个调节值下的识别率均达到 95%。当调节值为0.1 mm 时,本模型的预测变形为0.105 mm,误差为5.0%;当调节值为0.6 mm 时,本模型的预测变形为0.610 mm,误差为5.0%;当调节值为1.0 mm 时,本模型的预测变形为1.010 mm,误差为1%;当调节值为 1.4 mm 时,本模型的预测变形为 1.424 mm,误差为 1.7%。【结论】根据模型预测结果和实际调节值对比,本模型的异常值识别率在各加载位移下均大于 96%,误差率在各加载位移下均小于 5%,能有效识别测斜仪在高拱坝施工期位移监测中的“突变”异
6、常值。关键词:高拱坝;施工期;小波变换;孤立森林;类间方差;异常值DOI:10.13928/ki.wrahe.2023.09.011开放科学(资源服务)标志码(OSID):中图分类号:TV642.4文献标志码:A文章编号:1000-0860(2023)09-0127-10A model for detecting deformation outliers during construction of high arch dams based on isolated forest algorithmZHENG Lei1,JI Xinshuai2,QI Wentan2,HAN Guojun2,ZH
7、ANG Lei1,ZHANG Guoxin1(1.State Key Laboratory of Watershed Water Cycle Simulation and Regulation,China Institute of Water Resources and Hydropower Research,Beijing 100038,China;2.Yebatan Branch of Huadian Jinshajiang Upstream Hydropower Development Co.,Ltd.,Garze 626700,Sichuan,China)721郑 磊,等/基于孤立森林
8、算法的高拱坝施工期变形异常值检测模型水利水电技术(中英文)第 54 卷 2023 年第 9 期Abstract:ObjectiveThe inversion deformation during the construction of high arch dams is one of the causes of cracks during the construction period.When continuous inclined measuring equipment is used to monitor the deformation during the construc-tion
9、period,the abnormal values caused by the construction process such as layered pouring need to be detected and judged.MethodsCombining with the required accuracy,this paper designs a deformation monitoring test to simulate the working condi-tion and“sudden change”process of arch dams.For the test res
10、ult,an outlier detection model based on the isolated forest algo-rithm is proposed.The data are pre-processed by wavelet transform,and the outliers are detected by the improved isolated forest algorithm after noise reduction,and the result are analyzed by window function regression and compared with
11、 the actual adjust-ment data.ResultsThe result show that,compared with the traditional isolated forest algorithm,the recognition rate of the improved isolated forest algorithm reaches 95%at each adjustment value.When the adjustment value is 0.1 mm,the prediction deformation of this model is 0.105 mm
12、 with an error of 5.0%;when the adjustment value is 0.6 mm,the prediction deformation of this model is 0.610 mm with an error of 5.0%;when the adjustment value is 1.0 mm,the prediction deformation of this model is 1.010 mm with an error of 1.0%;when the adjustment value is 1.4 mm,the prediction defo
13、rmation of this model is 1.424 mm with an error of 1.7%.ConclusionAccording to the comparison between the prediction result of the model and the actual ad-justment value,the outlier recognition rate of the model is greater than 96%under each loading displacement,and the error rate is less than 5%und
14、er each loading displacement,which can effectively identify the“sudden change”outliers of the inclinometer in the displacement monitoring.Keywords:high arch dam;construction period;wavelet transform;isolation forest;between-class variance;outliers0 0 引引 言言 高拱坝施工期监测量以温度、横缝开度及一些应力应变为主,缺少施工期的变形观测1。一般情况
15、下,在初次蓄水前安装垂线开始观测大坝变形,此时大坝浇筑高程一般在坝高的 2/3 以上,大部分自重变形不能被捕捉到,坝体变形部分的缺失,不利于运行期大坝安全监控,也不利于大坝施工期工作性态的全面把握和防裂2-3。截至目前,高拱坝施工期变形监测尚未有过成功的先例,采用连续柔性测斜的方法进行施工期倒悬变形监测是一种新的尝试,但受施工复杂及多种未知因素的影响,测斜设备的观测规律并不理想,产生大量偏离真实值或出现空白值的异常情况4。同时,根据某200 m 级高拱坝施工期的变形状态及对该高拱坝全过程仿真计算的结果5,在1/3 高程在重力荷载和温度荷载作用下施工期变形的最大值为 10 mm 级别,在浇筑过程
16、中,每一仓浇筑时由于自重荷载的作用,产生一个相对于整个时间序列的“突变”,该“突变”变形最大为 0.2 mm,这些异常数据需要进行实时判断和处理,防止干扰对高拱坝倒悬变形的测量。异常数据分析和处理作为变形监测的一个重要环节,国内外学者已开展大量研究。目前,异常值检测方法主要分为基于统计学和基于机器学习两类6。基于统计学的方法包括基本统计量法、箱线图法、正态分布检验法、Grubbs 检验法等。陈娇等7基于统计分析方法对不同信号速率给定不同统计区间,根据分布判别异常值,改善了时间序列的原始数据质量;卢勇夺等8利用统计学相关理论和测量数据连续性特点,综合运用极值法则、莱以特法则、局部法则和观测误差控
17、制,提出了海洋浮标数据异常值检测方法;ZHANG 等9将统计学方法和有限元分析相结合,采用蒙特卡洛法处理力学参数,用置信区间筛选异常数据,提出了一种确定混凝土坝变形监测指标的方法,并验证于锦屏一级拱坝监测数据中。以上方法主要通过统计学原理对数据进行分析和处理,从而识别出异常值。但是,这些方法通常只适用于数据分布符合正态分布或近似正态分布的情况,而在实际应用中,大坝监测数据往往呈现出非正态分布的特点,因此以上方法的适用性有限。基于机器学习的异常值检测方法在混凝土大坝的数据分析中运用较多。这类方法主要包括分类法、回归法、聚类法等。其中,分类法是将数据集划分为正常和异常两类,然后通过机器学习算法进行
18、分类;回归法则是通过建立回归模型对数据进行拟合和预测,然后通过比较实际值和预测值的差异来判断是否存在异常值;聚类法是将数据集划分为若干个子集,然后对每个子集进行异常值检测,CAO 等10基于时空聚类分离异常值,构建了高拱坝分区预测模型,在局部和整体都趋势方面都有良好的稳定性,SONG11将多变量面板数据和 K 均值聚类相结合,根据规律有效检测了大坝变形异常值。这些方法能够用于非正态分布数据且具有良好的鲁棒性和准确性,但大多适用于运行期或蓄水期的监测数据中,此时的监测数据有较821郑 磊,等/基于孤立森林算法的高拱坝施工期变形异常值检测模型水利水电技术(中英文)第 54 卷 2023 年第 9
19、期明确的趋势性和规律性,其数据挖掘规则易于确定。在开展高拱坝施工期变形监测时,其“突变”监测数据呈现非线性特征和非趋势性特征,上述两类方法实际操作中难以实现对异常值的实时检测和分离11。目前还有一些其他的异常值检测方法,如基于深度学习的异常值检测、基于图像处理的异常值检测等。这些方法在一定程度上能够克服传统方法的局限性,但是也存在一些问题,如算法复杂度高、训练数据集难以获取、无法实时检测等。孤立森林是冯帆12、周志华等13提出的一种基于集成学习的快速异常检测方法,对于离群值有着很好的识别能力14。张海龙15、赵新华16等采用小波变换、傅里叶变换等方法对监测数据进行重构,提取出趋势项后通过孤立森
20、林法对剩余项进行异常检测,实现了大坝监测数据离群值的识别;CHENG17、易思成等18通过 LOF 算法二次筛选,优化了孤立森林算法在局部位置处理效果不佳的问题。上述研究中的时序数据多为趋势性数据,且离群点量值、数量、分布规律较简单,在识别异常值时使用随机的切割点即可完全切割异常值,异常分数阈值也易于确定。高拱坝施工期倒悬变形有精度高、波动性强、趋势性低、加载区间长的特点,孤立森林算法运算中会存在切割点不完全切割、数据异常分数集中于 0.5 无法判断的问题19。本文在孤立森林算法基础上进行改进,提出了切割点属性指标,用于评价切割点左右样本差异性和样本内数据集中性,进而选择最优的切割点指标;同时
21、,采用最大类间方差法(OTSU)确定异常分数阈值,以类间方差最大时的阈值为最优阈值20。本文基于工程实际及仿真计算结果,通过设计试验模拟高拱坝施工期“突变”过程并采集测斜仪时序数据;采用小波变换预处理数据,降噪数据通过改进孤立森林算法识别“突变”异常,将识别结果通过窗函数回归分析计算突变值的大小,并与实际调节值进行对比,以验证本文提出的改进孤立森林算法对“突变”异常的识别率和本文异常值检测模型的检测效果,为后续开展高拱坝施工期变形监测提供数据分析方法。1 1 基基于于孤孤立立森森林林算算法法的的检检测测模模型型 为了检测高拱坝施工期变形的异常数据,识别每一仓浇筑时的“突变”数据,本模型将柔性测
22、斜仪测量数据采用小波分析降噪,结合改进孤立森林法建立起异常点识别模型,将原始数据的波动趋势进行过滤,并剔除异常点,做出分析预测,最后采用高斯窗函数回归分析,结合真实调节值分析该异常检测算法模型的识别率和相对误差,算法流程如图 1 所示。图 1 算法流程Fig.1 Algorithm flow chart孤立森林算法的基本思想是,对描述同一对象的不同维度的数据构建一系列的孤立二叉树。相对于数据样本中的正常点,异常点在随机树中的深度较浅,将多维数据的分割结果相综合,则可以得知某一对象是否为异常对象。本文在此基础上提出搜索切割点和基于组合权重的异常分数得分的改进孤立森林算法,具有较高的异常值识别率和
23、准确率21。算法主要包括以下两个步骤。(1)构建 t 个 itrees,组成孤立森林 iforests,在此步骤中,搜索切割点的方式如下:给定一个 MEMS 测斜仪的 j 个数据点的时间序列,作为训练样本数据集的属性值集合 A。规定初始位置 xleft=x(1),xright=x(l),确认训练样本数据集A 中 xleft至 xright的中位数 xmid,按照下式计算切割点属性指标 CP(A,xmid),有CP(A,xmid)=E(x x A,x xmid)D(x x A,x xmid)(1)式中,A 为训练样本数据集;xmid为训练样本数据集A 的中位数;E(x)为均值函数;D(x)为方差
24、函数。计算训练样本数据集 A 中 x(1)到 xmid的中间数 xleft,训练样本数据集 A 中 xmid到 x(l)的中间数xright,计算切割点属性指标 CP(A,xleft)和 CP(A,xright),对比CP(A,xleft)和CP(A,xright)的大小。若921郑 磊,等/基于孤立森林算法的高拱坝施工期变形异常值检测模型水利水电技术(中英文)第 54 卷 2023 年第 9 期CP(A,xleft)CP(A,xright),则令 xright=xmid,否则,令 xleft=xmid。不断迭代缩小计算长度 l 至 l=1 或满足特殊条件 CP(A,xleft)和 CP(A,
25、xright)均小于CP(A,xmid),迭代过程结束,得到切割点 c。(2)计算被检测样本的异常分值。在测试阶段,每一个测试数据样本遍历上述得到的每一棵分离树,最终得到该测试样本数据在每棵分离树上的高度即路径长度 Hi,根据该路径长度计算得到测斜仪监测数据的异常分数 S,根据异常分数的值判断监测数据是否异常。异常分数 S 计算如下S=2-E(h)C(m)(2)式中,E(h)为该测试数据样本 B 在所有分离树中的路径长度的平均值;C(m)为孤立森林的平均路径长度。C(m)计算如下C(m)=2ln(m-1)+c0-2(m-1)m(3)式中,c0为欧拉常数,c0=0.577 215 664 9。由
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 孤立 森林 算法 拱坝 施工期 变形 异常 检测 模型
![提示](https://www.zixin.com.cn/images/bang_tan.gif)
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。