臺灣博碩士論文加值系統

本研究利用Moody and Wu提出的遞迴式增強學習法(RRL)來建立一個臺灣股價指數期貨的交易策略。RRL在資料訓練期極大化夏普指數，並在資料檢測期評估系統的交易績效。在系統設計上，我們設計了4種實驗組合，包含了兩段不同期間的訓練資料，以及是否設置停損點以及停利點的分析。

為檢測此學習法的可行性，我們採用2001年1月2日至2008年12月31日之臺股期貨歷史資料進行學習訓練及資料檢測。

This thesis adopts recurrent reinforcement learning (RRL) proposed by Moody and Wu to establish trading strategies for Taiwan Stock Index Futures. RRL system evaluates the performance in terms of cumulative profit by maximizing Sharpe’s ratio during the training period. We design 4 training window-trading strategy combinations, which consist of 2 sets of historical stock data from different periods. We also discuss the differences when both maximum acceptable loss and minimum acceptable profit are given.

To verify our RRL algorithm, we use real historical stock data for backtesting and examine the performance of our trading strategies.

致謝 i
中文摘要 ii
Abstract iii
圖目錄 vi
表目錄 vii
第一章 緒論 1
1.1 研究動機 1
1.2 論文架構 1
第二章 背景知識 3
2.1 臺灣股價指數期貨 (Taiwan Stock Index Futures) 3
2.2 移動平均線(Moving Average, MA) 5
2.3 K線(Candlestick) 6
2.4 增強式學習法 7
2.5 遞迴式增強學習法 (Recurrent Reinforcement Learning) 8
2.5.1 夏普指數 (Sharpe Ratio) 9
2.5.2 決策函數值 (Decision Function Value) 9
2.5.3 梯度陡升法 (Gradient Ascent) 10
第三章 研究方法 14
3.1 系統設計 14
3.2 實驗資料 14
3.3 交易環境設定 15
3.4 實驗組合設計 15
第四章 實驗結果與分析 17
4.1 實驗一 17
4.2 實驗二 19
4.3 實驗三 21
4.4 實驗四 23
4.5 各實驗績效比較分析 25
第五章 結論與未來研究方向 29
5.1 結論 29
5.2 未來展望 29
參考文獻 30

[1]F. Bertoluzzo and M. Corazza, “Making Financial Trading by Recurrent Reinforcement Learning,” Proc. of the 11th Int. Conf. on Knowledge-Based Intelligent Information and Engineering Systems (KES 2007), Part 2, pp. 619–626, 2007.
[2]X. Du, J. Zhai, K. Lv, “Algorithm Trading Using Q-Learning and Recurrent Reinforcement Learning,” Department of Computer Science, Stanford University, 2009.
[3]C. Gold, “FX Trading via Recurrent Reinforcement Learning,” Proc. of IEEE International Conference on Computational Intelligence in Financial Engineering, pp. 363–370, 2003.
[4]G. Molina, “Stock Trading with Recurrent Reinforcement Learning (RRL),” Department of Computer Science, Stanford University, 2006.
[5]J. Moody, L.-Z. Wu, Y.-S. Liao and M. Saffell, “Performance Functions And Reinforcement Learning for Trading Systems and Portfolios,” Journal of Forecasting, Volume 17, pp. 441–470, 1998.
[6]Richard S. Sutton and Andrew G. Barto, Reinforcement Learning: An Introduction, Cambridge, MA: MIT Press, 1998.
[7]賴怡玲，“使用增強式學習法建立臺灣股價指數期貨當沖交易策略”，國立臺灣大學資訊工程研究所碩士論文，2009。
[8]吳欣曄，“以增強式學習法設計機台派工法則之研究”，國立臺灣大學電機工程研究所碩士論文，2009。
[9]林敬斌，“使用增強式學習法改善一個簡易的臺灣股價指數期貨當沖交易系統”，國立臺灣大學資訊工程研究所碩士論文，2009。
[10]MBAlib智庫百科，
http://wiki.mbalib.com/zh-tw/%E5%A4%8F%E6%99%AE%E6%AF%94%E7%8E%87
[11]期貨教室，
http://rt.fbs.com.tw/z/zm/zme/zmea.asp.htm