基于注意力机制的LSTM-CNN航道洋流速度预测方法研究.pdf
《基于注意力机制的LSTM-CNN航道洋流速度预测方法研究.pdf》由会员分享,可在线阅读,更多相关《基于注意力机制的LSTM-CNN航道洋流速度预测方法研究.pdf(5页珍藏版)》请在咨信网上搜索。
1、第 51 卷收稿日期:2022年11月10日,修回日期:2022年12月19日作者简介:包锋,男,硕士,教授,研究方向:大数据、数据挖掘等。刘恺轩,男,硕士研究生,研究方向:深度学习,大数据等。张春江,男,高级工程师,研究方向:航保信息化。1引言近年来,伴随着经济全球化,海洋运输成为国际贸易运输的主要方式。但与此同时,受到天气等多种因素的影响,海洋运输会遇到很多风险,航道洋流就是影响海洋运输的重要不利条件之一1。自从探索时代以来,水手们就需要知道洋流的速度和方向来引导他们的船只在港口内航行,并沿着贸基于注意力机制的 LSTM-CNN 航道洋流速度预测方法研究包锋刘恺轩张春江(东北石油大学计算机
2、与信息技术学院大庆163318)摘要当前随着经济的快速发展,航道水域的交通状况趋于复杂,而且受到天气等影响,海洋运输的航期不固定,很容易遇险,航道洋流就是其中很重要的因素,所以航道洋流的实时预测具有重要意义。为了对航道洋流进行预测,针对航道洋流的历史速度数据集,提出了一种基于注意力机制的LSTM-CNN网络的预测方法。首先,对航道洋流历史速度的缺失值进行上一层和下一层加和的平均值处理,以及离散数据的清除。然后,对该预测模型包括隐藏层层数、超参数和预测过程优化算法等进行设计。最后,将该算法与长短期记忆网络、卷积神经网络和BP神经网络在不同时间的步长上进行对比,验证其可行性。以预测误差最小为目标,
3、来实现对短期航道洋流速度的预测。实验结果表明,新提的预测模型对于短期航道洋流速度预测来说,有一定的实用价值。关键词航道;基于注意力机制的LSTM-CNN;短期航道洋流速度;时间序列;预测中图分类号O141.4DOI:10.3969/j.issn.1672-9722.2023.05.017Prediction of Ocean Current Velocity Based on AttentionMechanism in LSTM-CNN NetworksBAO FengLIU KaixuanZHANG Chunjiang(School of Computer and Information T
4、echnology,Northeast Petroleum University,Daqing163318)AbstractAt present,with the rapid economic development,the traffic conditions of waterway waters tend to be complicated,and affected by weather,etc.,the voyage period of ocean transportation is not fixed,and it is easy to be in danger.Waterway oc
5、eancurrent is a very important factor,so the real-time prediction of waterway ocean current is of great significance.In order to predictocean currents in waterway,a prediction method based on attention mechanism LSTM-CNN network is proposed according to thehistorical velocity data set of ocean curre
6、nts in waterway.Firstly,the missing value of the historical velocity of ocean currents in thechannel is processed by adding the average value of the upper layer and the lower layer,and the discrete data is cleared.Then,theprediction model is designed including the number of hidden layers,the super p
7、arameters and the optimization algorithm of the prediction process.Finally,the proposed algorithm is compared with LSTM,convolutional neural network and BP neural network in different step sizes at different time to verify its feasibility.With the aim of minimizing the prediction error,the current v
8、elocity ofshort-term channel can be predicted.The experimental results show that the new prediction model has certain practical value forpredicting the speed of ocean current in short-term channel.Key Wordschannel,LSTM-CNN based on attention mechanism,short-term channel current velocity,time series,
9、predictionClass NumberO141.4总第 403 期2023 年第 5 期计算机与数字工程Computer&Digital EngineeringVol.51 No.510702023 年第 5 期计算机与数字工程易和探索路线航行。洋流的测量通常以节为单位,洋流速度可以用欧拉测量法2。后来,用一种叫戴维斯漂流器3来测量风力驱动的表面洋流,卫星计算出它的位置,并将信息传给接收站。为了监测深海洋流的特征,科学家们使用一种叫做剖面浮标的设备4。岸基洋流计5采用无线电天线和高频无线电探测和测距系统(雷达)来测量表面洋流的速度和方向。在日本,针对上升流,专门提出了一套浮标观测系统6,
10、这套系统主要通过温度和盐度两个因素来分析上升流。我国的大学对上升流监测方面7有着丰富的研究。中国科学院南海海洋研究所利用卫星遥感和船舶对粤东沿岸的上升流进行了观测以及分析,中国海洋大学也用遥感卫星对浙江近海的上升流进行了监测与分析。以上测得的优势是数据范围大,但是数据的准确度不高。在过去几年,洋流监测的主要方式是在海洋中部署浮标,其精度很高,但是成本很大。所以,在未来利用海洋模型进行洋流监测是一个主要方向。现在是利用浮标监测真实洋流,然后用海洋模型模拟洋流的运动轨迹。最近几年,一些学者为了同化海洋模型89,提出了一些drifter数据,这样可以提高海洋模型的洋流模拟精度。Yizhen Li10
11、把每个格网中的同一时刻与位置的drifter监测的平均洋流流动与ROMS模型模拟的平均洋流流动进行了比较。航道洋流预测属于时间序列预测研究范畴,目前还未发现相关研究。随着深度学习的飞速发展,为航道洋流时间序列的预测提供了研究思路和方法。处理时序数据最强大的模型是循环神经网络(Recurrent Neural Network,RNN)。在神经网络模型中,循环神经网络的计算结果便具备了记忆之前几次结果的特点。循环神经网络中,长短期记忆(Long Short-Term Memory,LSTM)网络增加了各层的阀门节点,解决了RNN的梯度消失的问题,使得循环神经网络不会失去短期延迟能力。基于LSTM的
12、系统可以学习翻译语言、控制机器人、图像分析、文档摘要、预测疾病、点击率和股票、合成音乐等任务。在电力领域,姜雨寒11建立了一种基于长短期记忆网络的电网运行参数预测方法。在航天领域,胡姣姣12提出了基于 LSTM 网络的预测方法,以预测飞行器遥测数据。在交通领域,陈韫13提出了优化的LSTM网络的模型,对城市道路路段的速度进行预测。在环保领域,郭豪14在GRU神经网络的基础上,采用随机失活、批归一化等方法进行优化。本文根据秦皇岛港两个站点的历史航道洋流速度数据,建立了基于注意力机制的 LSTM-CNN短时预测模型,并与BP神经网络、卷积神经网络和长短期记忆网络预测模型在不同时间步长进行实验仿真对
13、比。实验仿真结果证明,所提的新算法在航道洋流速度预测中最优。2航道洋流速度预测模型的相关技术2.1LSTM模型LSTM是一种改进后的循环神经网络模型。由于RNN的梯度在反向传播的过程中,不断连乘,数值不是越来越大就是越来越小,这样就会出现梯度爆炸或梯度消失,而LSTM就可以解决RNN无法处理长距离的依赖问题。所有的 LSTM都具有一种重复神经网络模块的链式形式,每个模块都由三个门(遗忘门、输入门、输出门)和一组内部记忆单元组成。LSTM 模型训练过程采用的是BPTT 算法,BPTT算法将LSTM看作一个展开的多层前馈网络,其中每一层对应每一时刻,依次按照时间的顺序计算误差,再从最后一个时间步将
14、积累的误差传递回来。在LSTM训练过程的参数更新方法中,有随机梯度下降等算法,其中,Adam优化算法15是AdaGrad和RMSProp两种随机梯度下降扩展式的优点集合,可以为不同的参数设计独立的自适应性学习率。所以,综合所有性能表现,本文采用Adam优化算法。2.2注意力机制注意力机制(Attention)又称注意力模型,是一种将有限的计算资源来处理更重要信息的方式,借鉴人脑解决信息过载机制,通过自上而下的信息选择机制来过滤掉大量得到无关信息。当用神经网络来处理大量的输入信息时,只选择一些关键的信息输入进行处理,来提高神经网络的效率。2.3卷积神经网络卷积神经网络(Convolutional
15、 Neural Network,CNN)是一种带有卷积结构的深度神经网络。卷积神经网络包含卷积层、池化层、全连接层。通过卷积运算我们可以提取出时序数据的特征,通过卷积运算可以使得某些特征增强,并且降低噪声;对时序数据进行池化,可以减少数据处理量,同时保留有用信息。通常有均值池化(mean pooling)和最大池化(max pooling)两种形式。由于CNN简化了模型复杂度,减少了模型的参数,在时间序列预测方面也有一定的优势。本实验的CNN采用一维卷积层和最大池化层来处理这个时间序列问题。1071第 51 卷3基于注意力机制的 LSTM-CNN模型根据航道洋流速度数据集的特点,以及该预测模型
16、的相关技术,本文构建了基于注意力机制的LSTM-CNN预测模型的结构,如图 1所示。图1基于注意力机制的LSTM-CNN的结构针对时间系列预测中卷积神经网络(CNN)无法获取洋流的全局特征、长短期记忆网络(LSTM)无法聚焦洋流局部特征的问题,提出一种基于注意力机制的CNN网络和LSTM网络进行融合的模型。该模型该模型有三部分构成:第一部分为基于注意力机制的一维卷积,在标准CNN网络上增加注意力分支,解决时间序列预测中无法关注重点特征的问题;第二部分为LSTM,获取洋流的全局特征;第三部分为单独的一维卷积层。网络训练时的参数优化采用 Adam 算法,网络预测时为了逐层预测,采用迭代的方式。4实
17、验验证本节在秦皇岛港两个站点的航道洋流速度数据集上,对提出的新预测模型展开实验验证,证明其有效性。4.1数据预处理与平台环境本文数据来源于秦皇岛航标处提供的航道洋流速度数据集,采集于两个测流站的洋流速度,两个测流站点的采集时间都为每 10min 采集一次。站点一的洋流速度采集于 2016.05-2019.09,从距海平面1.5m开始,每隔1m深度就采集一次,一共分为 20层,到水下 20.5m,如图 2为站点一洋流速度的部分截图,单位为mm/s。站点二的洋流速度采集于 2016.01-2019.09,从距海平面1.5m开始,每隔1m深度采集一次,一共分为 15层,到水下 15.5m,如图 3为
18、站点二洋流速度的部分截图,单位为mm/s。原始时间序列数据中有一些缺失值的存在,所以对原始数据中存在缺失的数据进行上一层和下一层加和的平均值处理,以保证数据的真实性。为了解决数据集过大、运算时间效率方面的问题,对数据进行标准化操作。数据标准化是将数据按比例缩放,使之落入一个小的特定区间。本实验运用最小最大值标准化,将结果落到合理的01的范围区间。图2站点1部分航道洋流速度图3站点2部分航道洋流速度实验所使用计算机的配置如下:处理器为Intel core CPU i5-10210,CPU 频 率 为 1.60 GHz 和4.20 GHz;运行内存为 8.00 GB;操作系统为 Windows 7
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 注意力 机制 LSTM CNN 航道 洋流 速度 预测 方法 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。