臺灣博碩士論文加值系統

近年來網路社群非常活躍,非常多的網民都以社群媒體來分享與討論時事。 不傴於此,網路上的群聚力量已經漸漸從虛擬走向現實,社群媒體的傳播力已 經可以與大眾傳媒比擬。像台大 PTT 的八卦版就是一個這樣具指標性的社群媒 體,許多新聞或是事件都從此版開始討論,然後擴散至主流媒體。透過觀察, 網路鄉民常常會以略帶灰諧的方式,發明新的詞彙去討論時事與人物,例如: 割闌尾、祭止兀、婉君、貫老闆...等。這些新詞的出現,很可能代表一個新的熱門話題的正在醞釀中。但若以傳統的關鍵詞搜索,未必能找到這些含有此類新詞的討論文章。因此,本研究提出一個基於「滑動視窗(Sliding window)」的技巧來輔助中文斷詞,以利找出這些新詞,並進而透過這些新詞對來探詢社群媒體中的新興話題。我們以此技巧修改知名的Jieba 斷詞工具,加上新詞偵測的機制,並以 PTT的八卦版為監測對象,經過長期的的監測後,結果顯示我們的系統可以正確的找出絕大多數的新詞。此外,經過與主流媒體交叉比對,本系統發現的新詞與新話題的確有極高的相關性。

Internet new residents like to share society current event on the social media website and the influence is propagate to the reality now. For example: On Gossip(八卦版) discussion board of 台大 PTT BBS that had many post are turn into the TV News every day. After some survey we found people like to crate new words to explain society topics, This paper attempt to build up a system to detect the new words from social media. But detect the Chinese new words from unknown words is a thorny problem, on this paper we invent a way – 『Sliding Window』 to elevate the new words detection from Jieba in Chinese words Segmentation, After testing we got 96.94% correct rate and cross valid the detection result by ours system with News and Google Trending we proved the new words detection is a reasonable way to discover new topic.

第一章 緒論 1
1.1 研究背景與動機 1
1.2 研究目的 1
1.3 研究貢獻 2
1.4 論文章節架構 2
第二章 研究探討 4
2.1 歧異性與未知詞 4
2.1.1 未知詞的擷取 5
2.1.2 未知詞的偵測 6
2.1.3 分詞錯誤的修正 7
2.1.4 N-gram 分詞 7
2.2 文章特徵詞擷取 8
第三章 社群新詞偵測系統架構與實作 10
3.1 系統設計架構 10
3.1.1 資料蒐集程式 11
3.1.2 後端資料庫 13
3.2 分析帄台查詢及排程運算 16
3.3 社群媒體新詞分析系統頁面 18
第四章 斷詞工具及現存問題 22
4.1 Jieba 的斷詞模式 22
4.2 Jieba 斷詞的問題 29
4.3 維特比算法新詞偵測模式與其缺點 31
4.4 錯誤詞的修正及新詞偵測 32
4.5 Sliding Windows 修正法 34
4.5.1 Sliding Windows 的運作過程 36
4.5.2 新詞的反饋模式 39
第五章 新詞偵測驗證及系統成果 41
5.1 Jieba 強化版的新詞偵測評估 42
5.1.1 SW 新詞偵測成果及效能比較 42
5.2 社群媒體新詞偵測系統成果展示 43
第六章 結論及未來研究 50
參考文獻 52

[1] 陳鍾誠、許聞廉,(1998),結合統計與規則的多層次中文斷詞系統。
[2] 陳聰宜,(2012),新聞事件偵測與追蹤結合時間區間之分群分類演算法評比。
[3] ACID, http://zh.wikipedia.org/wiki/ACID
[4] Chen. &; Bai. , (1998).Unknown word Detection for Chinese by Corpus-based
Learning Method.
[5] Chen. &; Ma. , (2002). Unknown Word Extraction for Chinese Document.
[6] DAG,http://www.csie.ntnu.edu.tw/~u91029/DirectedAcyclicGraph.html#1
[7] http://zh.wikipedia.org/wiki/隐马尔可夫模型
[8] http://zh.wikipedia.org/wiki/维特比算法
[9] Jieba 斷詞工具, https://github.com/fxsjy/jieba
[10]L. Jin , (2013)Number in Chinese: A Corpus-Based Computational
Investigation.
[11] Mongodb,http://docs.mongodb.org/manual/core/crud-introduction/
[12] NoSQL, http://zh.wikipedia.org/wiki/NoSQL
[13] QX Lin, (2010),結合長詞優先與序列標記之中文斷詞研究。
[14] Yi-Lun Wu, (2011),多語語碼轉換之未知詞擷取。
[15] Zhihui. Wu, Hongwei. Liu, Li. Chen, (2014),高效朴素贝叶斯 Web 新闻文本
分类模型的简易实现,The Simply Implement of Effective Statistical and
Application 统计学与应用, 3, 30-35。
[16] Z. Wu, (2014)The Simply Implement of Effective Naive Bayes Web News Text
Classification Model.