基于深度强化学习的自适应股指预测研究.pdf
《基于深度强化学习的自适应股指预测研究.pdf》由会员分享,可在线阅读,更多相关《基于深度强化学习的自适应股指预测研究.pdf(27页珍藏版)》请在咨信网上搜索。
1、基于股指成分股基本面和技术面数据构建了时序股票关联网络,然后利用深度图神经网络学习股票关联网络层次化表征,以端到端的方式获得候选预测信号.在此基础上,提出了一种考虑动作评估反馈的深度强化学习方法(Action EvaluationFeedbackbasedDeepQ-Learn-ing,AEF-DQN),旨在将不同的候选预测信号融入智能体的动作空间,并基于股票关联网络层次化表征、股票市场整体运行状态和历史动作评估反馈学习环境状态;借鉴前景理论中的参照依赖特性估计奖励值函数,从而建立状态、动作与奖励值之间的映射关系.最后,采用沪深30 0指数、标普50 0 指数、英国富时10 0 指数和日经2
2、2 5指数的成分股历史数据,构造了股指期货交易模拟器,在投资胜率、最大回撤率、阿尔法比率和夏普比率4个回测指标上对股指预测模型展开实证分析.研究结果表明:1)通过层次化聚合股票关联网络的节点属性信息可以动态捕捉不同行业对股指价格波动的影响,进而可提升预测方法的准确率;2)考虑动作评估反馈的深度强化学习结构可智能化选择适用于当前股票市场环境的最优模型结构,进而可提升预测方法的鲁棒性.关键词:自适应股指预测;股票关联网络;深度图神经网络;深度强化学习中图分类号:F832.5文献标识码:A文章编号:10 0 7-98 0 7(2 0 2 3)0 4-0 148-2 70引言股票市场是一个具有高噪声、
3、非线性、非平稳和混沌等特征的复杂系统.股指时间序列是股票市场内在复杂性的综合外在表现,为投资者制定投资策略提供了重要参考.股指预测不仅有利于更好的监测和管理与股票市场高度关联的金融市场,还能为投资者的投资决策提供有效指导.早期股指预测研究主要包含基本面分析和技术分析.基本面分析聚焦于国家经济政策与上市公司的基本面等信息,基于股指的内在价值来评估股指价格.而技术分析更注重捕捉市场本身的运行规律,试图将历史数据代人数学模型或机器学习算法对市场做短期分析.尽管有效市场假说(Efficient Markets Hypothesis,EMH)认为基本面分析或技术分析不会给投资者带来任何超额收益,一些研究
4、尝试衡量成熟和新兴股票市场的不同效率水平来揭示股票市场并非完全有效,而另一些研究基于不同的理论假设建立针对股票市场的有效预测模型.伴随着股票市场的异常波动和越来越多的市场异象,一些学者基于统计学方法构建了各种时间关系模型,试图根据股指历史价格走势对未来短期变化趋势(或收益率)进行预测.其中,最具代表性的是ARIMA模型2 和GARCH模型3:前者对提取金融时间序列的线收稿日期:2 0 2 1-0 5-0 5;修订日期:2 0 2 3-0 1-16.基金项目:国家重点研发计划资助项目(2 0 19YFB1405000);国家自然科学基金资助项目(7 18 7 110 9;92 0 46 0 2
5、6);江苏省高等学校自然科学研究重大项目(2 0 KJA520011);江苏省未来网络科研基金一般项目(FNSRFP-2021-YB-22).作者简介:卜湛(198 7 一),男,安徽铜陵人,博士,教授Email:z h a n b u n a u.e d u.c n第4期149湛等:基于深度强化自适应股指预测研究性特征具备较大优势;后者对误差的方差进行了系统性建模,更加适用于股票市场波动性的分析和预测.然而,股票市场作为一种影响要素众多、各类不确定性交互的复杂系统,其价格波动不仅来自于市场参与人员的相互博奔,同时也会受到经济环境、政策干预、投资心理和交易技术等诸多要素的共同影响.传统基于统计
6、学的时间关系模型难以有效捕捉股票市场的非线性和非平稳性,无论是在预测精度还是在稳定性方面都没有保障.近年来,股票市场中涌现的海量数据引起了众多学者的关注,以支持向量机(SupportVectorMa-chine,SVM)4、决策树(Decision Tree,DT)5、人工神经网络模型(ArtificialNeuralNetwork,ANN)6 等为代表的因果关系模型被广泛应用于股指预测.因果关系模型认为股指价格波动与其影响要素之间在一定时间尺度内保持着固定关系,相较于直接从股指价格自身历史运动轨迹中寻找规律的时间关系模型,后者试图在原因和结果之间建立某种有效和稳定的因果联系.同时,因果关系模
7、型在处理海量复杂数据方面展现了独特优势,较传统的时间关系模型,能够最大程度的捕捉股票市场的非线性特征,从而极大提高了股指预测精度.面对股指预测问题,尽管近年来各类预测方法和技术不断涌现,预测效果逐步提高,仍然存在一些开放性问题有待被更好的解决:1)重指数预测,轻行业及个股分析.股指时间序列是股票市场内在复杂性的综合外在表现,受共同的宏观经济或行业因素影响,股指成分股价格波动之间存在复杂的关联性.文献7 指出通过度量股票价格波动的相关性可以揭示市场的总体风险,从微观层面上看,隶属于相同行业板块的股票价格波动趋同性较高,市场风险的增加与股票价格波动的协同率呈正相关.从中观层面上看,单一行业的价格波
8、动可能影响其他行业的价格波动,这种“波动溢出效应”意味着“板块联动”甚至“普涨普跌”极易发生8.从宏观层面上看,宏观经济波动会直接影响企业外部交易环境,进而对股票市场稳定性产生冲击9,例如宏观经济下行会导致股票市场系统性风险上升,而其中具有低市值、高波动和高杠杆率等特征的股票系统性风险可能会显著提升.股票市场中少数权重(龙头)股票的价格波动,会引起行业板块内其他股价波动;受行业波动溢出影响,市场的“板块联动”现象极易发生,进而可能引致较大的规模的系统性风险.尽管部分学者试图基于股指成分股价格波动的相关性构建股票关联网络,进而提取中观尺度的拓扑结构特征(如网络聚类系数、平均最短路径长度、模块度等
9、),最后分析这些特征与股指价格波动的相关性10-13.然而,中观尺度的拓扑结构特征忽略了成分股的基本面和技术面信息,难以充分捕捉和刻画股票市场内在的复杂性。2)重特征构建,轻层次化特征提取.股票市场积累了大量反映股指运行趋势的原始数据,既包含大量成分股数据,也包括各类行业板块和宏观经济数据.股指波动是诸多因素的综合反映,现有研究对股票市场的内部运行机制缺乏深刻认识,很难人工判断哪些特征对股指预测有较大的影响.因此,有效地选取输人特征成为决定模型预测准确性的关键因素.股指预测领域现有的特征提取方法大多使用原始股指时序数据或宏观基本面数据,利用近邻互信息选择与股指收益率关联性较强的历史数据构造支持
10、向量回归机的特征变量14.文献15指出,由于股票市场中极其复杂的信息环境和投资者有限理性和非理性的交易行为,股指成分股间产生了领先滞后、价格同步、行业轮动、风险传导等多种复杂的关联性特征.因此,如何从股票关联网络的视角构建股指预测特征指标是一个值得深入思考的问题.此外,在股指运行过程中的不同阶段,不同行业板块对股指未来价格波动的影响权重也具有时变属性.如何实时捕捉不同行业板块对股指未来运行趋势的影响在现有的股指预测研究中还鲜有报道.区别于传统的基于原始股指时序数据或宏观基本面数据的特征提取方法,解决上述问题的关键是如何层次化聚合股票关联网络中的成分股特征,进而从中观尺度实时捕捉不同行业板块对股
11、指未来价格波动的影响权重.3)重短期预测,轻自适应模型调整.在模型评估过程中,已有研究多将训练后的模型直接应用于股指的短期预测.伴随着预测周期的延长,预测精度总体上呈下降趋势.为了提升预测模型的鲁棒性,部分研究尝试基于滑动时间窗口技术不理2023年4月报学学科管150断用最新的数据样本动态训练特定的股指预测模型.由于不同时期股票市场波动特点的差异性显著,仅仅改变模型参数并不能够完全捕捉股票市场运行规律,甚至还需改变模型自身的结构.股票市场中不断博奔产生的时间序列的收益率不满足正态分布,表现出“尖峰重尾”和非对称等特征.因此使用单一的预测模型,都只能拟合股票市场运动规律和趋势的某一方面,难以对股
12、票市场的整体进行描述.为此,一些学者试图构建组合预测模型综合描述股指时间序列线性、非线性特征,期望在一定程度上提高模型的预测效果16.回顾现有的组合预测模型,绝大多数是借鉴集成学习的思想,首先基于一组个体学习器获得候选预测结果,然后采用加权或投票的方式获得最终的预测结果.这种组合预测模型在要求个体学习器具备较高的预测精度同时,还需具备一定的多样性,在某些噪声较大的分类或回归问题上存在过拟合缺陷.此外,传统的组合预测模型缺乏对自身决策模式的学习完善,无论股票市场发生何种变化,历史预测精度如何波动,这类方法还是按照既定模式做出决策,缺乏对股票市场收益率可预测性的动态感知以及对自身决策模式的自动调整
13、.有鉴于此,本研究试图设计可动态调整自身决策模式的自适应模型以提升股指预测的准确率和鲁棒性.研究的边际贡献主要体现在以下方面:1)为了从微观层面捕捉股指价格波动的内在复杂性,本文同时考虑股指成分股价格波动相关性以及成分股基本面和技术面指标,构建了股指时间序列属性图模型.具体地,为了度量股指成分股价格波动的非线性特征,首次采用可视图(VisibilityGraphModel,VG)模型17 来分析股指成分股间的相依结构,进而基于可视网络边集的Jaccard相似性来刻画任意两支成分股股价波动相关性.区别于已有的股票关联网络研究,本文所提方法还考虑了股指成分股的属性信息,选取了7种常用的基本面指标和
14、14种技术指标,来刻画特定时间窗口内成分股的运行状态,进而产生一系列带有标签信息的时序股票关联网络.2)首次提出将股指预测问题转化为一种图分类问题,即学习一个映射函数将股票关联网络映射到一组标签的集合.为了从中观层面捕捉不同行业板块对股指未来价格波动的影响权重,基于可微池化(DIFFPOOL)【18 框架层次化聚合股票关联网络的节点属性信息,试图从不同行业视角提取股指价格波动的中观尺度预测因子,进而重构股票关联网络的粗化图.这种特征提取模型以股票关联网络分类任务为驱动,可有效聚合不同行业板块股指成分股的特征指标,并基于股票关联网络的层次化聚类结果捕捉不同类簇的相互影响,进而自动学习适用于股指短
15、期趋势预测的预测变量.其最终聚合得到的层次化表征向量与股票市场整体运行状态向量拼接后,作为可微分类器的特征输入,整个系统使用随机梯度下降进行端到端的训练.此外,考虑股指运行的阶段趋势特征,引人了包括逻辑回归、多层感知器和栈式自编码器在内的3种可微分类模型,通过其与DIFF-POOL模块的组合,进而产生不同的股指预测信号.3)为了提升股指预测结果的鲁棒性,首次提出了基于深度强化学习的自适应股指预测框架.具体地,考虑到股指预测中动态时变的股票市场环境以及面向动态状态下的候选预测信号寻优目标,本文将自适应股指预测问题形式化为一种强化学习(Reinforcement Leaning)结构,即在动态环境
16、(股票市场)与动作(候选预测信号选择)的交互过程获得奖励(股指收益率),并以最优化全局奖励为目标学习动作的选择策略.同时,为了在训练过程中规避因状态动作空间过大而产生的“维数灾难”问题,本研究借鉴NDQN(Na t u r eDeepQ-Learning)19思想,提出了一种考虑动作评估反馈的深度强化学习方法(ActionEvaluationFeedback based Deep Q-Learning,AEF-DQN),以在决策过程中考虑股票市场环境对智能体历史决策反馈等影响.此外,考虑到投资者对投资标的预期报酬越高则所能忍受的波动风险也越高,反之则越低2 0,本研究首次引人前景理论2 1中的
17、参照依赖特性来估计奖励值函数.基于智能体历史动作评估结果,设计了两种预期回报函数以捕捉其在不同场景下状态一动作奖励值.最后,选取国内外4个最具代表性股票市场的股指成分股数据,基于不同模型的预测结果构建了股指期货交易模拟器.在投资胜率、最大回撤率、阿尔法比率和夏普比率4个回测指标上了分析对比了不同模型的预测性能.通过大规模实证第4期湛等:基于深度强适应股指预测研究151分析验证了所提方法的有效性,并分析了其在不同股票市场的表现,为未来的量化投资、算法交易等问题提供了决策依据1文献综述1.1股指预测指标长期以来股票市场积累了大量反映股指运行趋势的原始数据,既包含大量成分股数据,也包括各类行业板块和
18、宏观经济数据.在早期的研究中,包含开盘价、收盘价、最高价、最低价、成交量和换手率等基础的交易数据被众多学者用于股指预测的常用指标.伴随着量化投资交易的不断发展完善,众多由金融和统计领域行业专家构造的技术指标被广泛应用于股指预测.胡熠和顾明2 2 从安全性、便宜性以及质量3个维度构造了综合性指标B-score来刻画巴菲特的价值投资风格,研究发现,在控制了多个横截面指标和不同市场状态后,B-score对股票未来收益还有很好的预测能力,即使在2 0 15年一2 0 16 年的极端市场环境中,该策略仍然可以获得正回报.Berkman等2 3利用1918年一2 0 0 6 年期间的447 场国际政治危机
19、的数据库创建了一个显示出随时间发生显著变化的危机指数,研究发现该指数的变化对世界股市回报的平均水平和波动性都有很大的影响.杨晓兰等2 4将财经博客作为投资者之间的互动媒介,利用文本挖掘技术和社会网络研究方法,构建反映投资者之间社会互动程度、情绪属性以及社会网络中心程度的变量,探讨社会互动对股市政策效应的影响.金融文本的语调与情绪含有上市公司管理层以及个体投资者表达的情感信息,并对股票市场产生影响,姚加权等2 5通过词典重组和深度学习算法构建了适用于正式文本与非正式文本的金融领域中文情绪词典,并基于词典构建了上市公司的年报语调和社交媒体情绪指标,实证结果表明构建的年报语调指标和社交媒体情绪指标能
20、有效地预测上市公司股票的收益率、成交量、波动率和非预期盈余等市场因素,并优于基于其他广泛使用情绪词典构建的指标.受共同的宏观经济或行业因素影响,股指成分股价格波动之间存在复杂的关联性.从微观层面上看,隶属于相同行业板块的股票价格波动趋同性较高;从中观层面上看,单一行业的价格波动可能影响其他行业的价格波动,这种“波动溢出效应”意味着“板块联动”甚至“普涨普跌”极易发生8;从宏观层面上看,宏观经济波动会直接影响到企业的外部交易环境进而对股票市场稳定性产生冲击9.尤其是在经济全球化背景下,机构投资者之间互相持股关系紧密,外界任何不利因素的冲击都会导致股票市场系统性风险的不断累积.因此,股票市场的稳定
21、性与其自身的网络结构、行业波动溢出以及宏观经济状态密不可分15,自从Mantegnal10)首次通过构建股票关联网络发现股票市场层级结构,进而分析其与标普500指数收益率相关性以来,越来越多的国内外学者开始运用复杂网络理论方法对股指成分股价格波动关联进行建模分析.股票关联网络的构建是将股指成分股视为节点,成分股间的价格波动关联视为连边.全连接的股票关联网络包含较多的噪声信息,为简化网络并保留网络的关键信息,已有研究通常运用最小生成树(MinimumSpan-ning Tree,MST)、阈值模型(Threshold Model,TM)12 或平面极大过滤图(PlanarMaximallyFil
22、-tered Graph,PM FG)13来过滤关联性较弱的连边.股票关联网络领域的研究主要分为静态网络研究和时序网络研究.静态网络研究基于固定的时间窗口构建股票关联网络,侧重于研究网络的基本拓扑结构特征及其层级结构等.Chi 等1 基于赢者通吃准则对纳斯达克指数采用阈值法构建股票关联网络,发现股指的平均日收益率仅仅和部分成分股有关.时序网络研究基于滑动窗口构建一系列在时间上连续的股票关联网络,并分析网络拓扑结构特征及其内在关联模式的动态变化规律.在此方面,Namaki等12 利用安曼证券交易市场价格波动指数的月度数据构建了股票关联网络并发现经济增长率对股票价格波动具有积极影响.上述研究所提取
23、的股票关联网络特征大多属于中观尺度的拓扑结构特征,忽略了节点(成分股)的量价信息,难以充分捕捉股票市场内在的复杂性.股票关联网络本质上隶属于图数据范畴,基于特定时间窗口生成的股票关联网络具有一个隐理报学学科管1522023年4月含的图标签(例如下一时刻股指的运动方向).股指预测问题也可被形式化为一种图分类问题.图分类(GraphClassification)作为一类重要的图挖掘任务,旨在对不同类型的图数据进行分类预测.近年来,随着深度学习的兴起,图神经网络(G NN)【2 6 被广泛应用于有监督图分类任务.这类方法在首先学习得到节点嵌人向量后,进行整合转化生成图级别的表征向量,进而为后续的图分
24、类提供数据支撑.Niepert等2 7 提出了一个基于图结构的CNN网络框架(PATCHY-SAN)用于有向图和无向图的分类任务.Wang等2 8 提出了一种计算点云特征的算法DGCNN,提升了点云分类、分割等任务的性能.Zhang等2 9提出了一种用于图分类的端到端的深度学习架构SortPool,该架构将多层图卷积神经网络输出拼接在一起,通过对节点进行排序来进行全局池化.Ying等【18 提出了一个用于图分类的可微池化模块DIFFPOOL,该模块可以生成图的层次表征,并以端到端的方式与各种GNN模型相结合.实证表明,该方法在图分类任务上的平均准确率可提高5%10%.尽管现有图分类研究在社会网
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 深度 强化 学习 自适应 股指 预测 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。