基于时空注意力机制的双向长短期记忆神经网络的股指预测研究.pdf
《基于时空注意力机制的双向长短期记忆神经网络的股指预测研究.pdf》由会员分享,可在线阅读,更多相关《基于时空注意力机制的双向长短期记忆神经网络的股指预测研究.pdf(7页珍藏版)》请在咨信网上搜索。
1、第 卷第 期运 筹 与 管 理 ,年 月 收稿日期:基金项目:国家自然科学基金资助项目()作者简介:杨蓦(),女,满族,北京人,硕士研究生,研究方向:时间序列分析;王静(),通讯作者,女,陕西杨凌人,教授,博士生导师,研究方向:农村金融与投资学。基于时空注意力机制的双向长短期记忆神经网络的股指预测研究杨 蓦,王 静(西北农林科技大学 经济管理学院,陕西 杨陵 )摘要:股票市场是一个高噪音的混沌系统,其外部属性之间的相关性问题以及在长期预测时外部影响对股价波动的加剧,导致对股票市场进行准确预测是一项富有挑战性的工作。为解决上述问题,本文利用基于注意力机制的双向长短期记忆神经网络()对香港恒生指数
2、收盘价进行有效性的实证检验。其中,空间注意力机制用于捕捉输入指标之间的相关性并为其赋予区别权重,时间注意力机制用于描述数据的时间相关性以解决长期预测中的时间依赖问题并为时间步赋予区别权重,神经网络用于拟合数据并构建预测模型。本文还比较了四种基于注意力机制的神经网络方法和六种基线方法,实验结果表明,与当下流行的股票指数预测方法相比,基于双维度注意力机制的 可以在短、中、长期预测中均实现更准确的股票指数收盘价预测。关键词:注意力机制;双向长短期记忆神经网络;股票指数预测;长期预测;时空关系中图分类号:;文章标识码:文章编号:():,(,):,(),(),:;引言对股票市场的准确预测可以为投资者提供
3、投资参考,提高金融市场的运行效率。然而,股票市场是一个复杂的、非线性的、有噪声的、动态的系统,因此很难对其进行准确的预测。一方面,许多因素影响股票市场的价格,因此有必要解决外部属性之间的相关性问题。另一方面,股票市场的内部变化是不规则的,容易受到外部属性的影响。特别是在进行长期预测时,外部影响会加剧股价的波动,因此很难提取股价随时间变化的关系。然而,目前大多数方法只在股指的短期预测中取得良好的效果。在神经网络上分配注意力权重已经出现在各种任务中,如文本翻译、图像识别等。主要原因是注意力机制可以自适应地聚焦于特征的信息部分,减少不必要的特征,释放运行内存,从而提高拟合数据时的模型精度。相关工作传
4、统时间序列模型是最早被用于股票价格预测的一类模型,如 等利用四家股票数据验证了 模型的预测准确性 。传统计量经济学模型刻画金融时间序列时假设具体的模型,但是高噪声、非线性的动态金融时间序列数据不能通过参数方程来描述,导致了传统时间序列模型的局限性。机器学习模型为股市建模和预测提供了一种新的方法。浅层机器学习模型可以从大量训练样本中学习统计规律。然而,在有限样本和计算单元的情况下,浅层学习结构对于复杂函数的表示能力是有限的。相反,深度学习可以通过构建隐藏层多、训练数据量大的模型,实现复杂函数逼近、提高预测 的 精 度,如 等 使 用递 归 神 经 网 络()预测六只股票回报率,并使用遗传算法为模
5、型生成最优权重,得到了准确的预测性能 。和 构建卷积神经网络 ,预测 、纳斯达克等指数走势,发现 的 预 测 性 能 比 基 线 算 法 有 显 著 提 高 。等使用门控递归单元()层捕捉长期信号相关性,在恒生指数 、德国 和 三个股票指数数据集上评估模型,发现基于 方法的预测准确率最高 。提 出 的 长 短 期 记 忆 神 经 网 络()是近年来最流行的模型之一,因为它可以通过门结构缓解 造成的梯度消失和爆炸。近年来,许多基于 的研究兴起。和 验证了 在股指预测上相对于随机森林模型、等的更高精度 。双向长短期记忆神经网络由两个相反方向的 模型组成,在大范 围 时 间 序 列 数 据 学 习
6、中 具 有 显 著 优 势。等发现 额外的数据训练过程提供了比标准 更好的预测效果 。特征选择是指选择原始输入变量的子集,这些第 期杨 蓦,等:基于时空注意力机制的双向长短期记忆神经网络的股指预测研究输入变量通常是技术或基本指标。由于所选择的输入子集可以更好地表示数据集的原始特征,因此使用其构造模型可以提高准确性和效率。主成分分析()是数据降维的有效方法之一。注意力机制逐渐被应用到时间序列预测中,因为这种方法可以学习动态的时空关系,并为属性赋予不同的权重。其中,空间注意力权重是指属性对预测结果的影响。等提出了空间注意力机制与 相结合的混合模型,其中注意力机制对关键特征赋予更高的权重,从而获得了
7、较好的准确性 。此外,由于培训不稳定和梯度消失问题,无法记住非常长期的相互依存关系。时间注意力机制可以缓解这一问题,该机制对神经网络模块的隐藏状态进行加权,以确保动态地、选择性地获得所有时间相关性。等提出了基于时间模式的注意力机制,不仅可以在同一时间步长内,而且可以在多个时间步长内学习变量之间的相互依赖关系 。本文的主要贡献包括以下几个方面:首先,分析了基于注意力机制的时空关系,并将其应用于股指收盘价的多步预测。其次,利用 对股指进行预测,探究在 的基础上加入反向 层对预测的效果。第三,提出了两种基于注意力机制的 模型,可以学习数据的时空关系,提高 模型的性能。理论框架 长短期记忆神经网络长短
8、期记 忆神 经网络 ()是一种特殊的循环神经网络,由 和 提出。它在传统的循环神经网络上添加了记忆存储()和门结构(),()用于记录神经元状态,门可以实现选择性地让信息通过,主要通过一个 的神经层和一个逐点相乘的操作来实现的。通过三个类似于过滤器的门结构来实现信息的保护和控制:遗忘门()决定从细胞状态中丢弃的信息、输入门()决定有多少新的信息加入到 中、输出门()用过滤最终输出信息。通过门结构可以很好的表达输入中的长期依赖的信息,有效缓解了梯度消失和梯度爆炸的问题。双向长短期记忆神经网络在通常的时间序列处理中,往往会忽视未来的信息,双向长短期记忆神经网络 ()在 基础上使用两个单独的隐藏层在正
9、向和反向两个方向上处理序列数据,将两个隐藏层连接到同一输出层,将先前的信息和后来的信息都存储为时间序列数据的当前时间基础,因此理论上预测表现会比单向 好。的隐藏层输出包括前向隐藏层的激活输出和后向隐藏层的激活输出。注意力机制 无法捕捉到不同时点和不同输入特征对收盘价的不同贡献。注意力机制是一种模拟人脑注意力机制的模型,它可以通过计算注意力概率分布,突出某个关键性输入对于输出的影响作用,在计算能力有限的情况下,将计算资源分配给更重要的任务,对于传统的模型具有很好的优化作用。本文提出一种新颖的时空注意力机制,以捕获股票市场上的动态时空相关性,它包含两种注意力机制,即空间注意力机制和时间注意力机制。
10、空间注意力机制在空间维度上,不同的输入特征相互影响,并且相互影响是高度动态的,因此,本文使用空间注意力机制自适应地捕获空间维度上节点之间的动态相关性。该部分机制表示总和为 的注意力权重的外部特征对收盘价的影响。对于每个时间步长 ,权重用于衡量一个节点应该在另一节点的状态上集中多少注意力以预测其状态计算未来的收盘价。时间注意力机制 单元可以通过单元机制存储时间信息,并通过门机制控制时间信息的增加或减少,从而保持长期依赖性。但是,通过门机制的时间信息会导致 单元在每个时间窗口 中更改单元状态,与历史的输入相比,此最终状态倾向于保留有关最新输入的更多信息。在较短时序的预测中,该问题不会导致严重偏差。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 时空 注意力 机制 双向 长短 记忆 神经网络 股指 预测 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。