臺灣博碩士論文加值系統

基於股價的高度波動性，如何應用資料探勘的方法，從股市的消息面進行分析， 將社群與新聞中，非結構化的資料來源轉換成結構化的資料，透過爬蟲程式與探勘方法，自行收集社群與新聞的巨量資料，探討消息面與市場股價漲跌的關係，並且透過中文情緒分析的研究，使用台大情緒字典，比對收集到的新聞內容與社群討論，探討消息面情緒是否會影響股價的上漲或下跌。
透過類神經網路、支持向量機、貝式分類器、分類和回歸樹、C5.0、決策列表，這6種不同分類演算法來訓練資料，作為本研究之實驗方法，進行股票的漲跌之預測，比較不同演算法應用於股價市場漲跌之差異。從消息面去探討股價的漲跌，針對不同分類方法進行訓練後的結果，發現使用類神經網路、支持向量機與C5.0的方法進行預測結果較佳。

Based on the high volatility of stock prices, how to apply data mining methods to analyze the news from the stock market. Convert unstructured data sources in community and news into structured data. Through spiders and exploration methods, collect huge amounts of community and news information. Discuss the relationship between the news surface and stock price fluctuations. Using sentiment analysis to discuss whether the message sentiment will affect the rise or fall of the stock price.
Using the Neural Network, Support Vector Machines, Naive Bayes, C&R Tree, C5.0, Decision List, as experimental method for this study. These 6 different classification algorithms were used to train data, to forecast the ups and downs of stock and compare the results between these algorithms. Exploring the stock prices from the news side, the results show that the prediction results are better using the neural network, support vector machine and C5.0 method.

摘要 i
ABSTRACT ii
目錄 iii
表目錄 v
圖目錄 vi
第一章 緒論 1
1.1 研究背景與動機 1
1.2 研究目的 4
1.3 章節概要與研究流程 5
第二章 文獻探討 7
2.1虛擬社群(Virtual Community) 7
2.2批踢踢實業坊(PTT) 8
2.3情緒分析 8
2.4文字探勘應用於預測股價市場 9
2.5 分類演算法（Classification Algorithm） 10
2.5.1 類神經網路（Neural Network） 10
2.5.2 支持向量機（Support Vector Machines） 11
2.5.3 樸素貝葉斯模型（Naive Bayes） 12
2.5.4 分類和回歸樹（C&R Tree） 13
2.5.5 C5.0 13
2.5.6 決策列表（Decision List） 14
第三章 研究方法 15
3.1研究架構 15
3.2資料蒐集與網路爬蟲 16
3.2.1 社群發文與回應之資料來源 16
3.2.2 新聞內容資料來源 17
3.2.3 股價指數資料來源 18
3.3資料預處理 19
3.3.1斷詞處理 19
3.3.2停止詞過濾 20
3.4情緒分析模組 21
3.5股票漲跌機制 23
3.6 分類演算法 24
3.6.1 分類模型之資料處理─實驗一 24
3.6.2 分類模型之資料處理─實驗二 24
3.7 小結 25
第四章 實驗結果與分析 26
4.1實驗環境 26
4.2資料蒐集與實驗數據 26
4.3資料前處理 30
4.3.1斷詞與停止詞處理 30
4.3.2情緒字典與情緒分數 31
4.4股票指數的上漲與下跌 32
4.5實驗設計與成果 33
4.5.1 各分類方法訓練社群與新聞情緒分數之比較準確度 34
4.5.2 情緒分數於不同時間對應股價上漲或下跌之差異 36
第五章 研究結論與建議 42
5.1研究結論與貢獻 42
5.2未來展望與研究限制 43
參考文獻 45

1.創市際，(2017)，創市際雙週刊第八十期 20170215 | InsightXplorer 創市際市場研究顧問. Retrieved April11, 2018, from http://www.ixresearch.com/reports/創市際雙週刊第八十期-20170215/。
2.創市際市場研究顧問，(2017)，台灣網路使用概況 | InsightXplorer 創市際市場研究顧問. Retrieved April11, 2018, from http://www.ixresearch.com/reports/cati。
3.台灣網路資訊中心，(2017)，2017 年台灣寬頻網路使用調查報告. 國立政治大學統計系。
4.商周.com, 財經- 商業周刊，(2017) ， 一個幹掉所有BBS、一個通吃社群媒體！PTT和FB能「獨大」，因為他們都做對一件事. Retrieved April11, 2018, from https://www.businessweekly.com.tw/article.aspx?id=19680&type=Blog。
5.臺灣證券交易所，(2017)，【歷年股票市場概況表】年報 - TWSE 臺灣證券交易所. Retrieved April10, 2018, from http://www.twse.com.tw/zh/statistics/statisticsList?type=07&subType=232。
6.財團法人台灣網路資訊中心，(2017)，「 2017 年台灣寬頻網路使用調查報告」。
7.資策會，(2017) ，八成以上台灣人愛用Facebook、Line坐穩社群網站龍頭 1人平均擁4個社群帳號 年輕人更愛YouTube和IG. Retrieved April11, 2018, from https://www.iii.org.tw/Press/NewsDtl.aspx?nsp_sqno=1934&fm_sqno=14。
8.喻欣凱，(2008)，運用支援向量機與文字探勘於股價漲跌趨勢之預測. 輔仁大學資訊管理碩士論文。
9.張良傑，(2013)，巨量資料環境下之新聞主題暨輿情與股價關係之研究。
10.李維平，吳澤民，鍾任明，(2007)，運用文字探勘於日內股價漲跌趨勢預測之研究. 中華管理評論國際學報，第十卷，第一期。
11.盧柏嘉，(2015)，財經新聞語料情緒分類對於台灣發行量加權股價指數漲跌預測之研究， 碩士論文，實踐大學資訊科技與管理學系碩士班，臺北。
12. Bollen, J., &Mao, H. (2011). Twitter mood as a stock market predictor. Computer, 44(10), 91–94.
13.Cortes, C., &Vapnik, V. (1995). Support-Vector Networks. Machine Learning, 20(3), 273–297.
14.Jincheng, Y., Ping, J., Guangyu, C., Tiejiang, Y., &Fei, X. (2016). Application of C5.0 algorithm in failure prediction of smart meters, 328–333.
15.Jupri, M., &Sarno, R. (2018). Taxpayer compliance classification using C4.5, SVM, KNN, Naive Bayes and MLP. 2018 International Conference on Information and Communications Technology (ICOIACT), 297–303.
16.Mittermayer, M.A. (2004). Forecasting Intraday stock price trends with text mining techniques. 37th Annual Hawaii International Conference on System Sciences, 2004. Proceedings of The, 00(C), 1–10.
17.Ojha, U., Jain, M., Jain, G., &Tiwari, R. K. (2017). Significance of important attributes for decision making using C5.0. 8th International Conference on Computing, Communications and Networking Technologies, ICCCNT 2017, 3–6.
18.Pagolu, V. S., Challa, K. N. R., Panda, G., &Majhi, B. (2016). Sentiment Analysis of Twitter Data for Predicting Stock Market Movements.
19.Pujahari, A., &Padmanabhan, V. (2014). An approach to content based recommender systems using decision list based classification with k-DNF rule set. Proceedings - 2014 13th International Conference on Information Technology, ICIT 2014, 260–263.
20.Rheingold, H. (2000). The virtual community: homesteading on the electronic frontier. Cambridge, Mass., MIT Press.
21.Rheingold, H., &Howard. (1993). The virtual community : homesteading on the electronic frontier. Addison-Wesley Pub. Co.
22.Sung, P. H., Lin, J. D., Chen, S. H., Chen, S. H., &Peng, H. (2010). Utilization of data mining on asset management of freeway flexible pavement. IEEM2010 - IEEE International Conference on Industrial Engineering and Engineering Management, 977–979.
23.Turney, P. D. (2002). Thumbs up or thumbs down? Semantic Orientation applied to Unsupervised Classification of Reviews. Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL), (July), 417–424.
24.Wuthrich, B., Cho, V., Leung, S., Permunetilleke, D., Sankaran, K., &Zhang, J. (1998). Daily stock market forecast from textual web data. SMC’98 Conference Proceedings. 1998 IEEE International Conference on Systems, Man, and Cybernetics (Cat. No.98CH36218), 3, 2720–2725.