臺灣博碩士論文加值系統

從2014年九合一選舉到今年總統大選，網路在選戰的影響度越來越大，後選人可透過網路上之熱門討論議題即時掌握民眾需求。
文字情感分析通常使用監督式或非監督式的方法來分析文件，監督式透過文件量化可達很高的正確率，但無法預期未知趨勢，耗費人力標注文章。
本研究針對網路上之政治新聞輿情，提出一個混合非監督式與監督式學習的中文情感分析方法，先透過非監督式方法標注新聞，再用監督式方法建立分類模型，驗證分類準確率。
在實驗結果中，主題標注方面，本研究發現因文本數量遠大於議題詞數量造成TFIDF矩陣過於稀疏，使得TFIDF-Kmeans主題模型分類效果不佳；而NPMI-Concor主題模型分類效果較佳但是所分出的議題詞數量不均衡，然而LDA主題模型基於所有主題被所有文章共享的特性，使得在字詞分群與主題分類準確度都優於TFIDF-Kmeans和NPMI-Concor主題模型，分類準確度高達97%，故後續採用LDA主題模型進行主題標注。
情緒傾向標注方面，證實本研究擴充後的情感詞集比起NTUSD有更好的字詞極性判斷效果，並且進一步使用ChineseWordnet 和 SentiWordNet，找出詞彙的情緒強度，使得在網友評論的情緒計算更加準確。亦發現所有文本的情緒指數皆具皆能反應民調指數，故本研究用文本的情緒指數來建立民調趨勢分類模型。
在關注議題分類結果的實驗，整體正確率達到95%，而在民調趨勢分類結果的實驗，整體正確率達到85%。另外建立全面性的視覺化報告以瞭解民眾的正反意見，提供候選人在選戰上之競爭智慧。

From Taiwanese local elections, 2014 to Taiwan presidential elections, 2016. Network is in growing influence of the election. The nominee can immediately grasp the needs of the people through a popular subject of discussion on the website.
Sentiment Analysis research encompasses supervised and unsupervised methods for analyzing review text. The supervised learning is proved as a powerful method with high accuracy, but there are limits where future trend cannot be recognized, and the labels of individual classes must be made manually.
In the study, we propose a Chinese Sentiment Analysis method which combined supervised and unsupervised learning. First, we used unsupervised learning to label every articles. Secondly, we used supervised learning to build classification model and verified the result.
According to the result of finding subject labeling, we found that TFIDF-Kmeans model is not suitable because of document characteristic. NPMI-Concor model is better than TFIDF-Kmeans model. But the subject words is not balanced. However, LDA model has the feature that all subject is share by all articles. LDA model classification performance can reach 97% accuracy. So we choose it to decide article subject.
According to the result of sentimental labeling, the sentimental dictionary we build has higher accuracy than NTUSD on judging word polarity. Moreover, we used ChineseWordnet and SentiWordNet to calculate the strength of word. So we can have more accuracy on calculate public’s sentiment. So we use these sentiment index to build prediction model.
In the result of subject labeling, our accuracy is 95%. Meanwhile, In the result of prediction our accuracy is 85%. We also create the Visualization report for the nominee to understand the positive and the negative options of public. Our research can help the nominee by providing competitive wisdom.

摘要 I
Abstract II
目錄 III
圖目錄 VI
表目錄 VIII
第一章、 概論 1
1、 研究背景 1
2、 研究動機 2
3、 研究目的 3
第二章、 文獻探討 4
1、 情感分析(Sentiment Analysis) 4
1.1 情感分析之分類 4
1.2 情感分析之方法 5
1.3 情感分析之應用 8
1.4 台大情緒詞彙辭典(NTUSD) 9
1.5 中文本體論(Chinese WordNet) 10
1.6 情緒字本體論(SentiWordNet) 10
2、 主題模型（Topic Model） 11
2.1 TFIDF-Kmeans主題模型 11
2.2 NPMI-Concor主題模型 12
2.3 Latent Dirichlet Allocation, LDA主題模型 14
3、 特徵詞選取(Feature Selection) 17
3.1 文件頻率(Document Frequency Threshold) 17
3.2 訊息增益(Information Gain) 18
3.3 交互資訊量(Mutual Information) 19
3.4 卡方統計量(Chi-Square Statistic) 20
4、 文字分類(Text Classification) 21
4.1 簡單貝氏分類器(Naïve Bayes Classifier) 21
4.2 kNN(k- Nearest Neighbor) 22
4.3 支援向量機(Support Vector Machine, SVM) 23
5、 對應分析(Correspondence Analysis) 25
第三章、 研究方法 26
1、 資料蒐集(Data Collection) 27
2、 文本前處理(Document Preprocessing) 28
2.1 中文斷詞(Segmentation/Tokenization) 28
2.2 詞性標注(Part-of-Speech Tagging) 28
2.3 否定詞處理(Negation Process) 28
2.4 詞性過濾(POS Filtering) 29
2.5 停用字(Stop Word)過濾 29
2.6 計算字詞頻率 30
3、 文本主題標注 31
3.1 找出文本熱門議題詞 31
3.2 建立主題模型 32
（1） TFIDF-Kmeans主題模型 32
3.3 判斷文本主題 33
4、 情緒傾向標注(Sentiment Orientation) 34
4.1 建立情感詞集(Building Sentiment Term Set) 34
4.2 情緒指數計算 36
4.3 情緒傾向標注 37
5、 視覺化分析(Visualization) 38
6、 建立向量空間模型(Vector Space Model) 39
7、 特徵詞萃取(Feature Selection) 41
8、 分類模型建立與分類成效衡量(Classification) 42
8.1 監督式學習的分類演算法 42
8.2 分類的效果衡量 42
第四章、 實驗結果與討論 44
1、 政治文本資料蒐集結果 44
2、 傾向標注結果 51
3、 視覺化分析結果 53
3.1 對應分析結果 53
3.2 情感趨勢走向分析結果 54
3.3 情緒指數與民調指數分析 62
3.4 視覺化分析實驗結果討論 63
4、 監督式學習實驗結果 65
4.1 關注議題分類結果 65
4.2 民調趨勢分類結果 65
4.3 監督式學習實驗結果討論 66
第五章、 研究結論與建議 67
1、 結論與貢獻 67
2、 未來研究建議 70
第六章、 參考文獻 71

林紘靖 (2009) 以模糊正規概念分析法進行自動化文件分類，國立成功大學資訊管理研究所碩士論文。
李啟菁 (2010) 中文部落格文章之意見分析，臺北科技大學資訊工程系研究所學位碩士論文。
王冠翔 (2012) 數位選戰對年輕選民行銷影響力比較之研究—以2012台灣總統大選為例，國立臺灣科技大學資訊管理所碩士論文。
林育龍 (2013) 對使用者評論之情感分析研究－以Google Play市集為例，國立政治大學資訊管理所碩士論文。
劉羿廷 (2015) 運用財經文本情感分析於台灣電子類股價指數趨勢預測之研究，國立政治大學資訊管理所碩士論文。
趙玉娟 (2015) 政治網路口碑的情感分析：語意關連性之觀點，國立交通大學傳播研究所碩士論文。
李謦哲 (2015) 應用FFCA結合情感分析探勘Facebook對議題之評論－以台灣2014九合一選舉為例，國立雲林科技大學資訊管理所碩士論文。
科技部傳播調查資料庫. (2016). 全台上網成年人中 超過七成利用多種平台看新聞: http://www.crctaiwan.nctu.edu.tw/ResultsShow_detail.asp?RS_ID=39
A. Abbasi, H. Chen, and A. Salem, "Sentiment Analysis in Multiple Languages: Feature Selection for Opinion Classification in Web Forums," ACM Trans. Inf. Syst., vol. 26, no. 3, pp. 12:1-12:34, Jun. 2008.
Baccianella, S., Esuli, A., &; Sebastiani, F. (2010). SentiWordNet 3.0: An Enhanced Lexical Resource for Sentiment Analysis and Opinion Mining. Paper presented at the LREC.
Barrett, L. F. (1998). Discrete emotions or dimensions? The role of valence focus and arousal focus. Cognition &; Emotion, 12(4), 579-599.
Computational Intelligence, 2009. AICI '09, 2009, vol. 3, pp. 81-85.
D. D. Lewis, Y. Yang, T. G. Rose, and F. Li, "RCV1: A New Benchmark Collection for Text Categorization Research," J. Mach. Learn. Res., vol. 5, pp. 361-397, Dec. 2004.
G. Uchyigit, "Experimental evaluation of feature selection methods for text classification," in 2012 9th International Conference on Fuzzy Systems and Knowledge Discovery (FSKD), 2012, pp. 1294-1298.
G. Zheng and Y. Tian, "Chinese Web Text Classification System Model Based on Naive Bayes," in 2010 International Conference on E-Product E-Service and E-Entertainment (ICEEE), 2010, pp. 1-4.
H. Drucker, S. Wu, and V. N. Vapnik, "Support vector machines for spam categorization," IEEE Transactions on Neural Networks, vol. 10, no. 5, pp. 1048-1054, Sep. 1999.
H. H. Lek and D. C. C. Poo, "Aspect-Based Twitter Sentiment Classification," in 2013 IEEE 25th International Conference on Tools with Artificial Intelligence (ICTAI), 2013, pp. 366-373.
H. Sui, Y. Jianping, Z. Hongxian, and Z. Wei, "Sentiment analysis of Chinese micro-blog using semantic sentiment space model," in 2012 2nd International Conference on Computer Science and Network Technology (ICCSNT), 2012, pp. 1443-1447.
H. Zhang, Z. Yu, M. Xu, and Y. Shi, "Feature-level sentiment analysis for Chinese product reviews," in 2011 3rd International Conference on Computer Research and Development (ICCRD), 2011, vol. 2, pp. 135-140.
Tai, Y.-J., &; Kao, H.-Y. (2013). Automatic Domain-Specific Sentiment Lexicon Generation with Label Propagation. Paper presented at the Proceedings of International Conference on Information Integration and Web-based Applications &; Services.
Thelwall, M., Buckley, K., &; Paltoglou, G. (2011). Sentiment in Twitter events. Journal of the American Society for Information Science and Technology, 62(2), 406-418.
Thelwall, M., Buckley, K., Paltoglou, G., Cai, D., &; Kappas, A. (2010). Sentiment strength detection in short informal text. Journal of the American Society for Information Science and Technology, 61(12), 2544-2558.