基于多尺度特征融合与双注意力机制的多元时间序列预测.pdf
《基于多尺度特征融合与双注意力机制的多元时间序列预测.pdf》由会员分享,可在线阅读,更多相关《基于多尺度特征融合与双注意力机制的多元时间序列预测.pdf(10页珍藏版)》请在咨信网上搜索。
1、第 49卷 第 9期2023年 9月Computer Engineering 计算机工程基于多尺度特征融合与双注意力机制的多元时间序列预测韩璐1,霍纬纲1,张永会2,刘涛2(1.中国民航大学 计算机科学与技术学院,天津 300300;2.潍坊学院 计算机工程学院,山东 潍坊 261061)摘要:多元时间序列的各子序列包含不同时间跨度的多尺度特征,现有时间序列预测模型不能有效地捕获多尺度特征以及评估其重要程度。提出一种基于多尺度时序特征融合与双注意力机制的多元时间序列预测网络FFANet,有效融合多尺度特征并关注其中重要部分。通过多尺度时序特征融合模块中并行的时序膨胀卷积层,使模型具有多种感受域
2、,从而提取时序数据在不同尺度上的特征,并根据重要性对其进行自适应融合。利用双注意力模块对融合的时序特征进行重新标定,通过分配时序和通道注意力权重并加权至对应的时序特征,使 FFANet聚焦对预测有重要贡献的特征。实验结果表明,相比 AR、VARMLP、RNN-GRU、LSTNet-skip、TPA-LSTM、MTGNN和 AttnAR 时间序列预测模型,FFANet在 Traffic、Solar Energy和 Electricity数据集上的 RRSE 预测误差分别平均降低 0.152 3、0.120 0、0.074 3、0.035 4、0.021 5、0.012 1、0.020 0。关键词
3、:多元时间序列预测;卷积神经网络;多尺度特征;特征融合;注意力机制开放科学(资源服务)标志码(OSID):源代码链接:https:/ J.计算机工程,2023,49(9):99-108.英文引用格式:HAN L,HUO W G,ZHANG Y H,et al.Multivariate time series forecasting based on multi-scale feature fusion and dual-attention mechanism J.Computer Engineering,2023,49(9):99-108.Multivariate Time Series Fo
4、recasting Based on Multi-Scale Feature Fusionand Dual-Attention MechanismHAN Lu1,HUO Weigang1,ZHANG Yonghui2,LIU Tao2(1.School of Computer Science and Technology,Civil Aviation University of China,Tianjin 300300,China;2.School of Computer Engineering,Weifang University,Weifang 261061,Shandong,China)
5、【Abstract】Each subsequence of the Multivariate Time Series(MTS)contains multi-scale characteristics of different time spans,comprising information such as development process,direction,and trend.However,existing time series prediction models cannot effectively capture multi-scale features and evalua
6、te their importance.In this study,a MTS prediction network,FFANet,is proposed based on multi-scale temporal feature fusion and a Dual-Attention Mechanism(DAM).FFANet effectively integrates multi-scale features and focuses on important parts.Utilizing the parallel temporal dilation convolution layer
7、in the multi-scale temporal feature fusion module endows the model with multiple receptive domains to extract features of temporal data at different scales and adaptively fuse them based on their importance.Using a DAM to recalibrate the fused temporal features,FFANet focuses on features that make s
8、ignificant contributions to prediction by assigning temporal and channel attention weights and weighting them to the corresponding temporal features.The experimental results show that compared with AR,VARMLP,RNN-GRU,LSTNet-skip,TPA-LSTM,MTGNN,and AttnAR time series prediction models,FFANet achieves
9、average reduction of 0.152 3、0.120 0、0.074 3、0.035 4、0.021 5、0.012 1、0.020 0 in RRSE prediction error on Traffic,Solar Energy,and Electricity datasets,respectively.【Key words】Multivariate Time Series(MTS)forecasting;Convolutional Neural Network(CNN);multi-scale feature;feature fusion;attention mecha
10、nismDOI:10.19678/j.issn.1000-3428.0065846基金项目:山东省自然科学基金面上项目(ZR2021MF026,ZR2021MC044);潍坊学院博士科研启动基金(2022BS33)。作者简介:韩 璐(1997),女,硕士研究生,主研方向为时间序列预测;霍纬纲,教授、博士;张永会,副教授、博士;刘 涛(通信作者),讲师、博士。收稿日期:2022-09-26 修回日期:2022-11-09 Email:.人工智能与模式识别文章编号:1000-3428(2023)09-0099-10 文献标志码:A 中图分类号:TP2732023年 9月 15日Computer E
11、ngineering 计算机工程0概述 多元时间序列(Multivariate Time Series,MTS)是指在一段时间内依照固定的采样率对某种过程进行观测并记录一组包含多个变量的数据1,本质上是反映这些变量随着时间不断变化的趋势。对 MTS的历史观测值进行分析,并估计未来某个时刻值的过程称为时间序列预测。多元时间序列预测在商业、医学、气象等领域具有重要的研究价值。时间序列预测方法可大致分为统计方法、传统机器学习方法和深度学习方法。统计方法主要采用统计学知识对时间序列中蕴含的发展过程、方向和趋势进行建模并预测,常见的模型有自回归(Auto-Regressive,AR)模 型、移 动 平
12、均(Moving Average,MA)模型等。然而,此类方法具有较低的表达能力,不能处理复杂数据中的非线性关系,因此,预测准确率 比 较 有 限。传 统 机 器 学 习 方 法 包 括 支 持 向 量机2、贝叶斯网络3、高斯过程4等,克服了统计方法的弊端,在时间序列预测方面展现出较优的效果。但是传统机器学习方法往往需要复杂的特征工程且特 征 适 应 性 差,导 致 预 测 精 度 呈 现 一 定 的 不 稳定性5。深度学习因其强大的表征和拟合能力而受到研究人员的关注,已经被广泛应用于时间序列分析的相关领域6-8。深度学习方法主要有循环神经网络9(Recurrent Neural Networ
13、k,RNN)及其变体长短时记忆10(Long Short-Term Memory,LSTM)网络和卷积神 经 网 络(Convolutional Neural Network,CNN)11-12 2 类模型结构。将循环神经网络及其变体长短时记忆网络作为单元组件,对时序数据进行预测。文献 13 通过结合 RNN 和概率模型提出一种混合预测方法,在提取全局非线性特征的同时估计局部随机性变化趋势,提高预测精度。以卷积神经网络作为特征提取器,通过构建深层卷积模型以获得强大的特征提取及预测能力。与循环神经网络模型结构相比,基于 CNN 的时间序列预测模型具有计算效率高、训练难度低等特点,在多元时间序列预
14、测方面具有一定优势。文献 14 提出 DeepGLO 模型,利用时序卷积解决极高维时间序列的预测问题。上述工作都只针对深度学习的直接应用,而没有结合 MTS 数据及其特征的特点。在时间序列中各变量的变化往往具有不同的时间跨度,存在多种尺度特征。对于 MTS 预测任务,充分利用多尺度特征 能 够 增 强 网 络 的 预 测 能 力。文 献15提 出 的LSTNet 通过结合 CNN 和 RNN 捕获 MTS 中的短期和长期尺度特征,大幅提高预测准确率。针对负荷数据中的周期性波动特征,文献 16 基于 LSTM 结构构建一种 Seq2seq模型,实现数据相关性建模并对其进行预测。在计算机视觉领域,
15、文献17所提GoogleNet 的核心是通过 Inception 结构处理图像中不同尺度的语义信息。基于此,MTGNN 模型18将Inception 结构引入到 MTS 预测中,利用多个不同大小卷积核和膨胀卷积19提取多尺度特征,在预测方面表现更优的性能。CNN 卷积核是一种特征检测器,各卷积核捕获数据中不同方面的特征20,这些特征对预测的重要程度不尽相同。为此,研究人员需要利用注意力机制以聚焦对预测有重要贡献的关键时序特征,抑制其他无用特征。文献 21 提出 TPA-LSTM 模型,利用时序模式注意力机制关注与待预测值更相关的时序区间。文献 22 提出 DAFDC-RNN 模型,利用注意力机
16、制对时间序列的特征相关性进行建模,通过学习其中的长期时间依赖来提升预测精度。文献 23 提出的 AttAR 模型引入时不变注意力机制,进一步区分性地利用时序特征。上述研究表明多尺度特征及注意力机制在 MTS预测方面具有较优效果,但是依然存在不足之处。时间序列在不同时间跨度下呈现完全不同的走势,其对应的尺度特征也对预测发挥不同程度的作用。现有方法不能自适应提取、选择并融合这些尺度特征,限制了模型的预测性能。上述注意力机制只从时间维度聚焦相关影响因素,而没有对特征的长时序、多通道方面重要程度加以区分。本文提出一种基于多尺度时序特征融合与双注意力机制的多元时间序列预测网络 FFANet。利用多尺度时
17、序特征融合模块从时间序列中提取多尺度特征,并自适应选择和融合多尺度时序特征。双注意力模块(Dual-Attention Module,DAM)分别对每个变量特征从时序和通道 2个维度计算特征重要程度并分配权重,使FFANet有区分地利用多尺度特征。1问题定义及符号表示 本 文 将 MTS 的 观 测 样 本 表 示 为X=(X1X2XT)RN T,其中,T为该 MTS观测样本的时间步总数,N为变量数目。将单个时间步上的MTS 样本表示为Xt=(xt1,xt2,xtN)RN,xtn表示第n个变量在第t个时间步上的观测值,其中,1tT,100第 49卷 第 9期韩璐,霍纬纲,张永会,等:基于多尺度
18、特征融合与双注意力机制的多元时间序列预测1 n N。本文的目标是基于历史d个时间步的观测值t=(Xt-dXt-d+1Xt)RN d,预测未来第h个时间步的值Xt+h RN,其中,d是在指定的训练预测模型时 MTS样本时间步长。MTS预测是滚动预测过程。在t时刻,基于历史观测值t=(Xt-dXt-d+1Xt)预测未来第h个时间步的值Xt+h。类似地,在t+1时刻,基于历史观测值t+1=(Xt-d+1Xt-d+2Xt+1)预测值Xt+h+1。2FFANet模型 2.1整体架构本 文 设 计 FFANet 模 型 的 整 体 架 构 如 图 1 所示,该 模 型 由 多 尺 度 时 序 特 征 融
19、合 模 块 FFM、双注 意 力 模 块、压 缩 层 和 输 出 模 块 构 成。FFANet模 型 中 多 次 使 用 FFM、DAM、图 卷 积 模 块 和 压缩 层 的 结 构,下 文 中 将 该 结 构 称 为“Section”结构。给定 MTS 样本t RN d,FFANet模型首先利用一维卷积层将其映射为 3维特征F0 RN d C,d为时序特征长度,C为特征通道数。F0的计算如式(1)所示:F0=HSF(t)(1)其中:HSF()为卷积操作。FFANet 模型的主干部分由 4 个 Section 结构组成,用于挖掘特征F0的深层多尺度特征。为了避免梯度消失,在每个 Section
20、 内设计 Section 结构的输入与图卷积模块输出相加的残差连接,同时,将对每个 Section 的输出进行压缩时序长度后,通过跳跃连接求和得到Fd RN 1 C,即输出模块的输入特征为Fd。最后,通过卷积操作将输出模块特征Fd映射为最终预测值Xt+h RN。FFANet模型通过训练最小化真实值Xt+h与预测值f(t)=Xt+h之间的l1损失以更新网络参数,具体损失函数如式(2)所示:L()=1Tt=1Tf(t)-Xt+h1(2)其中:f()表示 FFANet模型函数;表示其中的网络参数。2.2多尺度时序特征融合模块为了有效利用 MTS 中的多尺度时序特征,本文提出多尺度时序特征融合模块,包
21、含多尺度时序特征提取、多尺度时序特征选择和多尺度时序特征融合 3个阶段。在多尺度时序特征提取阶段,本文引入时序卷积层18,使用J组尺寸为1 j(1 j J)的一维膨胀卷积提取 Section 结构的输入特征,以获取不同尺度的时序特征。给定第i(1 i I)层 Section 结构的输入FSeci RN d C,每组特征提取过程如下:图 1FFANet的整体结构Fig.1Overall structure of the FFANet1012023年 9月 15日Computer Engineering 计算机工程pi=qi-1hn=FSeci(n)Fji(ntpi)=()=0j-1fji()ht
22、-pin(3)其中:q表示膨胀因子;pi表示该层卷积膨胀率;htn RC表示输入特征FSeci中第n个变量在t时刻的隐状态;fji R C表示尺寸为1 j的膨胀卷积核;Fji(ntpi)表示由尺寸为1 j的膨胀卷积(膨胀率为pi)对 第n个 变 量 提 取t时 刻 的 隐 状 态;表 示Re LU激活函数。在多尺度时序特征选择阶段,FFANet模型自适应调节上述多尺度时序特征权重,以实现特征选择。首先,多尺度时序特征选择阶段接收来自提取阶段4个并行的不同尺度时序特征,对该特征进行元素求和,生成包含全局信息的特征Seli RN d C,计算式如下:Seli=j=1JFji(4)随后,在变量和时序
23、维度上利用全局平均池化层(Global Average Pooling,GAP)对特征Seli生成特征si RC,对于sci si,计算式如下:sci=fGAP(Seli)=1N dn=1Nm=1dSelci(nm)(5)其中:fGAP()表示全局平均池化操作。FFANet 模型进而利用卷积操作提取特征si的全局特征zi RC/r,r表示通道压缩率。最后,特征zi通过J组并行的卷积层(每个尺度特征对应一层卷积层)生成J个特征描述符zji R1(1 j J)。最后,根据式(6)将上述 4 个特征描述符生成不同尺度特征对应权重:wji=Softmax(zj,i)=ezj,ik=1Jezki,1 j
24、 J(6)其中:wji为第i(i 1)层 Section 结构由尺寸为1 j的膨胀卷积所提取特征的权重。在多尺度时序特征融合阶段,FFANet模型将上述权重分别通过相乘作用于对应尺度特征并求和,实现多尺度时序特征融合,具体计算如下:FFFMi=j=1Jwji Fji(7)2.3双注意力模块本文设计了双注意力模块,该模块的结构如图 2所示。双注意力模块由时序注意力机制 TA 和通道注意力机制 CA组成。在双注意力模块中,首先将第 2.2节多尺度时序特征融合模块输出的特征FFFMi RN d C作为输入,由卷积层、ReLU激活函数和卷积层构成的卷积组提取特征,计算式如下:Fatti=Groupat
25、ti(FFFMi)=W(att-2)i(W(att-1)i(FFFMi)(8)其中:Groupatti()表示第i层 Section 结构中双注意力模块首端的卷积组;W(att-1)i和W(att-2)i分别表示该卷积组中的 2层1 3卷积核的权重;Fatti RN d C表示该卷积组的输出。2.3.1时序注意力机制为了从 MTS 中区分与待预测点更相关的时序,进而对其进行聚焦,本文设计时序注意力机制。首先,在通道维度上利用平均池化层和最大池化 层 对 输 入 特 征Fatti进 行 降 维,分 别 生 成 特 征F(avg-t)i RN d 1和F(max-t)i RN d 1;然后,将两者
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 尺度 特征 融合 注意力 机制 多元 时间 序列 预测
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。