一种基于注意力机制和Bi-LSTM的流域水质预测模型.pdf
《一种基于注意力机制和Bi-LSTM的流域水质预测模型.pdf》由会员分享,可在线阅读,更多相关《一种基于注意力机制和Bi-LSTM的流域水质预测模型.pdf(5页珍藏版)》请在咨信网上搜索。
1、1120232023年SHAANXITRANSPORTSCIENCE&EDUCATIONRESEARCHNO.1第1期陕西交通科教研究一种基于注意力机制和Bi-LSTM的流域水质预测模型罗娟(陕西交通职业技术学院发展规划处,陕西西安7 10 0 18)摘要:水质预测可以帮助开展流域生态管理。流域的水质数据具有时间序列特征,但目前研究中一般只考虑了正向的时间序列,未考虑逆向时间的效应。提出了一种基于注意力机制和Bi-LSTM算法的水质预测模型DB-LSTM。模型通过进行双向特征提取并引入注意机制,分析对预测结果影响更大的关键性数据。研究根据渭河流域陕西段4个监测站的数据,验证方法的有效性。通过与
2、传统参考模型进行比较,验证了提出的模型性能优于原有模型,与原LSTM模型相比,模型的参数RMSE和MAE分别降低到0.10 1和0.0 59,r2提高到0.97 0,在四个截面中的预测性能最好,可为流域的生态管理提供更加准确的数据依据。关键词:Bi-LSTM;神经网络;注意机制;时间序列;水质预测中图分类号:P331文献标识码:A文章编号:(2 0 2 3)0 1-0 0 11-0 0 0 51绪言水是人类和其他生物的生存、生长和发展的物质基础。随着工业化和城市化的加快,水资源的消耗与污染也在不断增加。我国乃至世界上很多流域都受到磷、锰过量和富营养化的影响。因此,流域生态保护和污染控制已成为一
3、个重要的研究热点。水质安全是流域水污染管理的重点,是合理利用水资源的依据。以往的水质测量是从生物学的角度来进行的,精度较高,但检测周期长,不能及时有效地应对突发性的污染。因此,有必要对各种水质参数进行预测,帮助管理者及时了解水质状况及其变化趋势。水质数据为时间序列数据,传统的神经网络要获取有关这种时间序列的关键信息是很困难的。递归神经网络(RNN)是一种深度学习方法,在训练中存在梯度消失和梯度爆炸问题,不具有序列相关性。长短期记忆网络(LSTM)是对RNN的改进,它克服了RNN的梯度消失和梯度爆炸,但只有时间序列正向处理,没有考虑反向序列,这会降低预测的准确性。双向LSTM(Bi LS T M
4、)可以同时考虑时间序列数据的正邻域和负邻域,并通过对序列进行双向非线性映射,快速获取水质数据序列的序列相关性,以获得更准确的预测结果,也被广泛应用于时间序列数据的预测中。基于此本文构建了DB-LSTM模型,提取流域水质时间序列的关键特征。目的是实现对多元时间序列数据的综合自适应学习,发掘关键的时间相关特征,以提高流域水质预测的精度。2DB-LSTM模型构建由于水污染物的的来源很复杂,并且污染物的浓度变化也具有非线性特征。深度学习可以通过神经网络自动训练更好地获取水质序列的特征来解决这些问题。本文提出了一种改进的DB-LSTM水质预测模型来预测流域未来的水质状况。该模型的主要思想是将LSTM网络
5、转变为Bi-LSTM,并引人注意机制,使模型能够在两个方向上处理序列上的数据并对其进行加权,从而有效地解决模型的序列相关性问题。模型结构如图1所示,分为Bi-LSTM层和时间注意层两部分。收稿日期:2 0 2 3-3-18基金项目:陕西高校第五批“青年杰出人才支持计划”项目和省级课题(省教育厅编号2 2 JK0028/社科联编号2 0 2 2 HZ1112)作者简介:罗娟(198 6),女,陕西交通职业技术学院规划处副处长,副教授。12At20232023年陕西交通科教研究NO.1第1期LstmhLstmLstma输入LstmLstm输出a.Lstm1LstmaLstmBi-LSTM层注意力层
6、图1DB-LSTM模型2.1Bi-LSTM层Bi-LSTM层对水质序列数据进行双向非线性特征提取,为下一步的注意力权重分配提供依据。完整的Bi-LSTM模块具有相同的输出来连接两个时间相反的LSTM网络,以获得输人序列的双向数据信息。该模块包含大量的LSTM单元;每个LSTM单元通过输出门控制单元状态值输出,在用tanh激活函数处理单元状态后,输出信息乘以存储单元状态值。o,为输出值,h,是t矩隐藏层状态值:0,=o(W,ht-1,x,I+b,)(1)h,=o,*tanh(C,)(2)其中W。是输入的权重,b。是偏差。这些LSTM门可以有效捕获对输人时间序列数据的长期和短期依赖性,并防止了梯度
7、消失和梯度爆炸问题。LSTM长期记忆的关键是,每个单元格之前的所有信息都可以被遗忘、更新并存储在隐藏层中,并导出到下一个单元格。Bi-LSTM模块有两个时间相反的LSTM网络,它们在前后方向上处理序列信息,然后将信息反馈给当前的输出层。Bi-LSTM在时间t中的隐藏状态包括正向和反向,如下所示:h,-LSTMi(h-1,c-1),t 1,T(3),=LsTM(h.1,*,C),t e T,1(4)H,=h.,h,(5)Bi-LSTM层的展开结构如图2 所示。由于LSTM单元的隐藏状态通常用一定长度的向量表示,因此水质数据中所包含的信息逐渐被遗忘,这种不加选择的遗忘会在一定程度上削弱输人特征之间
8、的时间差异,发掘出一些不能突出显示的重要信息,从而提高预测的准确性。因此,模型构建了注意层,并将隐式层处理后的数据输出到时间注意层进行权值计算,以提高Bi-LSTM的识别能力。Y.YYYY.LSTMLSTMLSTMLSTMLSTMLSTMLSTMLSTMLSTMLSTMXXXX.X.图2BiLSTM结构2.2时间注意层注意机制起源于仿生学对人类大脑的注意特征的模拟。注意机制通过对输入序列特征中的重要信息分配更高的权重来传递有用的信息,从而合理地改变对信息的关注程度,识别更重要的内容,提高数据处理的准确性。本文模型构建了一个注意层,将模型学习到的特征的权重分配给隐式层学习到的输出向量,突出了关键
9、特征数据对水质预测的影响。注意机制可以将输人数据源中的数据设想为一系列 密钥对组成。此时,对于给定的目标元素查询,通过计算查询与每个键的相似性或相关性,得到每个键对应的权重值,然后对该值进行加权,得到非注意值。注意机制是使用查询键来计算对应值的权重系数。计算结果如下所示。Similarity(Query,Key,)*Value;(6)ti=1注意力机制的运行可表示为如下式7 一10 所示:Sh=utanh(Wh,+Uh;+b)(7)exp(St)aki(8)Texp(Sh)j=iTC=akihi(9)最终输出的特征向量值如下hk:=H(C,hk,xk)(10)其中,hi,h2,,h 为输人序列
10、对应的隐层状态,i为隐层状态特征h分配给当前输人的注意权重,h为最终输出的特征向量值。本层增加了一个注意力机制,使模型能够学习对时间序列数据的输人特征进行不同的注意力,并充分利用水质时间序列数据的序列相关性。2.3模型训练本文将水质数据划分为训练集、验证集和测试集。首先用训练集和验证集对预测模型进行训练,然后用测试集对预测模型进行评估。训练过程的关键步骤如下:132023年2023陕西交通科教研究NO.1第1期步骤1输人:对预测的水环境质量污染物进行相关性分析,选择与待预测污染物相关性最强的特征进行输人,以提高模型精度。步骤2 特征学习:输人向量从输入层进人Bi-LSTM隐藏层,其中输人层还包
11、括同一层LSTM隐藏状态的转移,映射x,到h,其中为非线性激活函数LSTM,转换公式如下:h,=f(ht-1,x,)(11)步骤3添加注意权重:注意机制设计根据不同时刻的隐藏状态 ht-1和细胞状态C,-1在Bi-LSTM隐藏层计算结果权重,所得到的,是一个注意力权重,其中包含k特征序列的注意力权重。步骤4输出:通过设计一个全连接层,可以得到t的预测输出,加权输入特征序列后跟着z,得到输出值。转换公式如下:zt=(xl,x,-x)(12)3数据集与预处理为了验证所提出的DB-LSTM模型在流域水质预测中的有效性,利用渭河流域陕西段中的林家村、咸阳公路桥、耿镇、潼关吊桥的水质序列数据进行数据预处
12、理和数据集构建。四段覆盖渭河流域陕西段从西到东的典型河段,周边有大量农田、畜牧业、城乡生产和生活污染、沿线污水,它们的水质特征可以有效地反映各段的水环境质量。该断面的水质特征包括2 0 2 0 年6 月至2 0 2 1年12月期间的5个特征,包括每小时水温(T)p H、溶解氧(DO)、电导(EC)和浊度(NTU)数据。研究区域的地理位置见图3所示。耿镇威阳公路桥童关吊桥西安林家村图3渭河水质检测站点位置图3.1数据预览表处理实验数据来自渭河流域的水质观测站的传感器,因为环境原因,存在一部分空缺数据和异常数据。为了保证实验和模型的准确性,对原始数据进行预处理,然后利用处理后的数据进行实验模拟。缺
13、失值处理:为了保证数据集的连续性,提高模型输出的可靠性,采用近邻法,根据欧氏距离确定与缺失数据样本最近的K个样本,并利用K个样本值的加权平均值计算缺失样本数据。异常值检测:为了减少模型预测误差,提高预测精度,对于异常水质的数据,采用孤立森林算法检测异常值,根据异常值计算公式计算各测试数据的异常得分,判断异常值,用近邻法代替异常值。数据标准化:为了消除输人特征之间的单位和尺度差异的缺陷,提高收敛速度和精度,采用最大最小值对原始水质特征数据进行归一化,使数据能够映射到 0,1 的区间。3.2评价指标为了证明本文提出的DB-LSTM模型的预测性能,我们选择了均方根误差(RMSE)、平均绝对误差(MA
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 一种 基于 注意力 机制 Bi LSTM 流域 水质 预测 模型
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。