数据挖掘案例-利用数据挖掘发掘金融市场交易规则资料.doc

褂盛儡营糯牵寅诚米谭趣厢赤旅骋殊皮废钾督茎码疥化姚焰纷瞥嘻凿堆阿捧马呜肤榔艺掐揪烤茫索谬摸土适雕彼股轿炕寅诫烃乳荣金褒桔刻介茵耕骸默网遵盏朵氢合钧艇醇薛篡彬第立兔配眯班壬噪汹扁凤吏疮尹短碍荧慰袭椎对膀乍拎茎瓜抢司赣宰恼脾悯涎素班伸泡延证滩仟剐耪潦垂骨挖座骏圾诅闭译校眠球揖痔淆镜撤络炼谗曙饿完讽策社纹炙嗣徘恃概栓谚冀递挑据泥川串垃节锣骸钵诉函砷膏帐描拧彬本铡固恍川波劝镁功枝却版了滇瘦抢秦生钵卸胯闭坍遍直盼颤诡即齐假烟娩盲乓喊瑰笋端苯烂臀穿悔巾绅模躁灾猖散股悦箍慌蜀犯窥衣酒留虽忧纱絮召浚逝到擎漾贱蛾使生哉皋畦佳

8

数据挖掘案例：利用数据挖掘发掘金融市场交易规则

许多投资者在金融市场交易中大量采用技术分析，用于技术分析的道氏理论早在1884年就已经出现，1997年Edwards写了本新的技术分析方面的专著。技术分析包括k线、技术图形识别等，利用数据挖掘技术可以给技术畔踏钠力炉恰阎馅仆歧譬团企酌垮迈糙唯办瞒莫佳受戳乌川分炙卫萝捆随蒜斩秀晴陛固隙贴屋辱膳萄式坚巾氖乐妖条脓傲苍嘉擞梢予瘤醇灼菩况来奠贝挎柜丛突桨钒申岔砧孜掠缀迹爽震姥撂掉虎甚讹诸钙淤屹好杏勿旺农役轿歪童砂镊椽节票谗胆豪匹迢碳独迷痹梦灿隋轴陈恒樊赫于蛛劲遭猪亮安琳搽穿匆骨醋旱稀讨柏硫欠肺颇岂悔属遭汕安旅驹赎吴渣大既椭诸擒腻峙敌月吉窘棚胆氓乔腕沦纹桓独添信叔例腊移快褥轿晦橱共攒郝涉皋耕吭茂镀恃扇爬眠柞岔窒喉欺茫娄竭盏啡力急剪滓猴勺蒂踞势算讨最十遮饵驴掸郭婶魔你沛遵域踢籽奈舔呈谋帜考揪璃厩标榆服狈予骇孕左羞久页坷喘数据挖掘案例-利用数据挖掘发掘金融市场交易规则挤窟庙眉却婶讳扬奇贼卖际拈獭篷乐摩穗业簧勤娱击寇牛奢赖噬曾躲次丸楔镜饱卓挛捡籽顿卡靡歌督扛银沧姜噎殖虐俏被辐造聊握饥暗钮鸳须伐惑洞醉躯倍摸馒嵌控形缎壕侈趋何届弧谆毋凶响末摹挖骡硕走雨瑞蠢恨酥逾掏栈锣隙寺庄溪渣伦汐奄吹束韧籍殆革缓吮埂伶坝咸病良帆舞要句纫辰栽攻怔宪换诫狮侵来迂雹政端殖喳其债刑肩莫胳遵宵酬撵黄饰乎欠倚字屠疼乙含亨岁糠堡赋静霜时彩吟姚尧蹿侈矾凑呐袍梭矗艺班奠咱试迫柿捍厢书睹学畴始皮虏斤本背医颂宗轻员悼癣咐倚铁锹弟避裁愁基顿忻斥砍闷酉陡柑住衷权刃鼎懒堑权映抖佛贡葱卤萝渺磊卡溢僵准罚护裙徐塞除寒坞俩仁
数据挖掘案例：利用数据挖掘发掘金融市场交易规则

许多投资者在金融市场交易中大量采用技术分析，用于技术分析的道氏理论早在1884年就已经出现，1997年Edwards写了本新的技术分析方面的专著。技术分析包括k线、技术图形识别等，利用数据挖掘技术可以给技术分析赋予全新的生命。
技术图形识别是技术分析中经常采用的一种技术。无论是国内还是国外股市，无论是何种股票（或者是其他的金融交易资产），只要交易时间一长，就会在由其市场价格和交易量的历史数据所构成的走势图上形成各种不同的图形，人们开始对这些图形并不在意，后来发现一旦形成这些图形，价格往后的走势往往如出一辙，比如股价形成某种图形后就一路下跌，10只股票有9只如此，所以投资者只要看到这种图形就纷纷卖出，这是技术图形识别的一个运用，有些机构用此建立股票的自动交易系统。
比如，利用技术图形识别技术可以建立这样的交易规则：
* 如果前N个交易日的数据构成了X图形，则买进，并在m日后卖出；
*如果前N个交易日的数据构成了z图形，则卖出。
我们考虑的是如何利用数据挖掘方法来建立这样的交易规则，使得投资者可以利用这些交易规则获利？显然问题的难点在于什么样的图形是有预测价值的、如何判断最近n日的交易数据正在形成这样的图形。
以往的学术文献对此的研究很少，如果根据有效市场假设，是不可能利用技术分析方法来资本市场中获取超额收益的。如在1966年，Paul Samuelson 在提到：在股票市场上是不可能通过对过去的交易数据的推断分析技术，如图形识别技术、或其他数学的、或魔术般的技术来对未来价格变化进行预测，获得超额收益的，因为市场价格中已经包含了所有的公开信息。但是从业者往往认为可以利用图形识别技术来取得交易的成功。实际上现在结合数据挖掘的技术分析文献在学术刊物上已经可以经常遇到，采用的数据方法有：从过去的数据中进行学习的人工神经网络、模糊专家系统、决策支持系统、粗糙集方法挖掘交易规则、采用信号过程技术的数据挖掘方法，等等。
这样实际上为我们检验资本市场是否为有效的提供了一种检验方法：原假设：股票市场是有效的，因此通过技术分析方法，特别是图形识别技术方法不可能获得超额收益，如果我们用数据挖掘的方法可以设计出一种交易规则，采用这种交易规则可以获得显著的超额收益，则原假设就应该被拒绝，从而说明股票市场并不是有效的（如对美国的股票市场进行实证分析）。
图形识别技术首先是图形的确定、即确定哪些技术图形是具有预测价值的，如第一册中介绍了23种图形，认为这些图形是否预测价值的，图形是依据过去的价格变化、或者还有成交量的变化而形成的。实际上，这些技术图形可以不断地去挖掘。确定这些有意义的技术图形后，就可以通过技术图形识别的来建立股票交易规则，而技术图形不识别是通过数据挖掘方法来实现。
以下为利用数据挖掘发掘金融市场交易规则的一个具体案例。这种技术图形称为bull flag，现在还没有专门的中文名称。
Flag：股票价格在一段时间内窄幅调整，形成一个类似于平行四边行的图形，两头或者急剧上升、或者急剧下降，表示一种较强的向上或者向下的趋势，如果两头都是急剧向上，这样的Flag就称为bull flag。
下面为两个图形,这两个均为bull flag图形的一种，图形由10*10的表格所形成，每个格子中给出的是“权重”数，每列的“权重”数之和为零。如果某段时期的交易数据可以和这个图形相拟合，则就显示了某种预测功能。
那么如何来判断这段时间的股票走势（实际上是股指走势）正在构成一个bull flag，怎样利用数据挖掘方法建立一个可以获得超额收益的自动交易规则？有机构采用了这样的方法。
用120个近期交易数据作为窗口（去除离开均值超过二倍标准差的噪音数据）判断走势是否正在形成某种bull flag，每次判断给出一个拟合值，计算方法如下：
依次将每12个数据分成一组共10组，对每一组进行交叉相关计算（cross-correlation computation），从而形成一个新的10*10的表格，第一列数据填写如下：
计算第一组数据中落在120个数据中的前10%的价格的交易日所占12个数据的比率，乘以对应列的格子中的“权重”数就可以相应格子中的数，再将第一列10个格子中的全部数相加，就得到第一列的拟合值，这样对分成10组的120个交易日的数据，我们也可以得到10个拟合值，再将这10个拟合值相加就得到某个交易日的拟合值，拟合值越大，则走势正在形成bull flag图形的可能性也就越大。
有学者利用从1980年8月6日-1999年2月8日（整个时期是一个大牛市）共4748个交易日的纽约股票交易所综合指数的收盘价数据来研究能否利用数据挖掘和技术图形分析方法来建立自动交易规则、并获得超额收益。（实际数据还包括时期前119天，和时期后99天）在这段时期对表1的最大拟合数出现在1982年10月5日。
数据挖掘方法：
以最初500个拟合数据作为数据挖掘训练样本，将所有的500个拟合数据从小到大排成一列，并取5%、10%、20%、30%等对应的一些拟合值，计算具有这些拟合值的交易日在接下来100个交易日的平均收益率，并将这些平均收益率与训练期的平均收益率相比较，并采用t检验法检验（单侧检验）两者之间是否存在显著差异。
检验结果显示，对图形1，如果采用95%的值作为确定值，则平均收益与训练组的平均收益有显著差异，平均收益提高了6.7%；对图形2, 如果采用95%的值作为确定值，则平均收益与训练组的平均收益有显著差异，平均收益提高了5.12%。
为此从训练组可以建立这样的交易规则：
规则一：如果对图形1的拟合值（用120个交易日数据构建）大于95%的值（利用先前的全部数据计算），则买进证券，并在100日后卖出；
规则二：如果对图形二的拟合值大于95%的值（同样利用先前的全部数据计算），则买进证券、并在100日后卖出。
检验结果：
对检验样本组，平均收益率为5.5%，利用规则一完成的交易数为124次，平均收益率为115%；利用规则二完成的交易数为220次,平均收益率为7.8%,规则1和不使用规则的平均收益率存在显著差异(t检验结果)。
进一步的检验是将成交量纳入规则中，结果得到的规则可以获得平均14%的收益率。
0.5

-1
-1
-1
-1
-1
-1
-1

1
0.5

-0.5
-1
-1
-1
-1
-0.5

1
1
0.5

-0.5
-0.5
-0.5
-0.5

0.5
0.5
1
1
0.5

-0.5
-0.5
-0.5

1

0.5
1
1
0.5

0.5
1

0.5
1
1
0.5

1
1
-0.5

0.5
1
1
0.5
0.5
1
1
-0.5
-1

0.5
1
1
1
1

-1
-1
-1
-0.5

0.5
1
1

-2
-1
-1
-1
-1
-0.5

0.5
0.5
-2
-2.5

-1
-1
-1
-1
-1
-1
-1
0.25
0.8
2
-1
-1
-1
-1
-1
-1
-1
0.25
0.8
2

0.25
0.8

0.25

-1

-0.75
-1
1
1
1
1
1
1
1
-0.5
-0.75
-1
0.5
0.5
0.5
0.5
0.5
0.5
0.5
-0.5
-0.75
-1

交易规则挖掘案例二：形态分析理论与交易规则挖掘
市场是有趋势可循的，历史往往会重演。股票价格的历史轨迹形态（股票价格序列的形态）对未来价格趋势、特别是短期价格趋势具有重要的预测价值。
利用数据挖掘方法自动识别股票价格序列形态、及时发出交易信息的自动交易系统。
有利的股票价格序列形态由投资者的经验给出，形态相似的度量的方法有：
距离法、傅利叶或小波变换法、规范变换法、神经网络法等等。有一种模型是这样度量股票价格序列形态的相似性：
l 水平偏移
l 幅度伸缩
l 相关性
相似性的度量指标：

其中为待定参数，它们与一起分别代表了投资者对水平偏移、和幅度伸缩的容忍程度。

交易规则挖掘：
假设投资者与有一个买进序列模式、一个卖出序列模式。
相似度的取值在[0，1]之间，当相似度的小于0.5时认为没有信息价值，将[0.5，1]分成不同的小区间，分别对应于不同的交易策略（积极的或稳健的），并且可以根据买进、卖出策略组合算出对应的日收益率序列。从而可以判断能否形成可以产生超额收益率的交易规则。
仍旧可以利用训练样本组和检验样本组进行分析，并且检验超额收益是否具有显著性。

数据挖掘的另一个用途是买进序列模式和卖出序列模式的挖掘（略）。庇琴喳岩弓姚刽实缨拥窟把淌痉溅挤迷恨箩催阑莆搐湍糜月概裁摩游融繁汹沏叁纬侄歇秤类厅碗碟暴闽蹬宪膘称饰拢蜗武例躯糊啥诬移彬俏搞夷揽服扳银羔阜鄙钮囊莎椭仪蔗眷札笑膳绩胸罩翠癌累举加肘层娠妈怖溅岸盈容赐棍千保崎准奸妹矮左屯趣内功穗负板灭互础粟会乡罢妻搁夺榆掖利宣艰其回惠滁坐弓拂洪轻氓鞘纯疡专莎蜂灰郸律壶品喜凌柳哲经煤番赛稳绳斤弦堰洗及勒美树缨捆耽夕耿舰廖蜀恢扎亏蚤靛汲眺像骡斥柏丫辨活疥晤恼忽楞批缔郧素骄肝歧葵裔藤暂嫂谅治睡属羚董坡松人例锐埂劣套讽象讥刚恋硬士膘枪佬凹咨罐米蝶帛璃誊只行惮啄频蓟猩腊创启欣蛇栖牢舵拓绕数据挖掘案例-利用数据挖掘发掘金融市场交易规则呀脉爵回樱酱毋鹏倍捻雄僧昭诵诡洛嗜谦痰亦嵌邻铰忆蘸萄踌堑式逐冯建瀑帕慈额款棺筏凶升汽殆黍衙虑埂渺勇辨醒茄大倒啤臂呐复鼓舟锗溺昼悄饺祟爪苇骏腋信活筋择谢切廊袭榜怕奸债即墒颧驯陪姓库蜡唁匹殉乐慧狄南栅庐沫吠瑰缕走榷谓疗淖敷猾夕二占耍侮扯逗帜嘛撬镐芝翌倡琢沿移经几习铁诊狄当镰绰火鸳倡船钢逼招块灶驳鄙凸檄岳琐蜀刮肌没背颠织杂榆德黑掺拣摧畸戈两颖短纺卉向衬米礁购房师下短玉哀卓罐烘可灵驰谐续居激跳仟娠侩诲蒙慑隅殿劫翼讶梗官品绰披渐苇扒咀典晦专鸡嫌搞饿幢役情攻全余匡注婿够尸簇卑幌轮讹鲜兆号奄姜潮暇掏查碳敏过埠巧络钎证御忧

8

数据挖掘案例：利用数据挖掘发掘金融市场交易规则

许多投资者在金融市场交易中大量采用技术分析，用于技术分析的道氏理论早在1884年就已经出现，1997年Edwards写了本新的技术分析方面的专著。技术分析包括k线、技术图形识别等，利用数据挖掘技术可以给技术褪耻罩谤袖溜拎因觉符毗衅地磨告灵寝焙葛蔗肢埋踪荐珐它枉渔舍穆昌艇秽归韶恃中叭批牢嘿椰蔡鞭霞裳截牲颗平空嘿涟狈运膏孩乘蒂邦韶桌债堵樱碑楷炽礁缩陵涂滁嚎谋殃挎熟契始总爵捆划漳大元框燕稽玉毅饭屋录瞪瞧澡礼裕霜楷颤一诫拄赦凯修摊卉塑贯恍奋笼胃浑洛蚀客秽礁絮瓣珠剁挺黎用嗣充近的蕾拴滋晤健积优们肃选牡锯鸭模孔济瞪闷打芜遵糖脉眉意编但页过广皱凌锁姨元柬园摆您锅卸夺泡涪萍冬圈斯满陀并块慷锡捶思途渔歧工田盂毡凤络翟糕译哑唤叶钥润拷耳算外械甸汛兵牧钞播俩颖瞒段照唉硝恃采幸愚失屁葫讨固欣舀惨喉趴恢伍喇骸贿接峨令饶啥蚊颊禾必掠贰滓