臺灣博碩士論文加值系統

Facebook (FB, 臉書)是現今臺灣最常使用的社群網站，是我們生活中不可或缺的一部分。話雖如此，令人愛戴的FB還是造成了許多隱私上疑慮，我們常在無意間就透漏了隱私且敏感的資訊。不僅如此，FB也主導了我們的閱聽權，在面對宛如洪水般爆炸的臉書資訊時，我們也只能被動地接受由臉書演算法計算推薦的文章。因此本論文中所提出的 FB Interests Recommendation System (FBIRS) 在能夠保護使用者隱私的情況下，讓閱聽權回歸到使用者的手上，重新以使用者的喜好為中心建立興趣模型，推薦感興趣的文章。首先，藉由系統開發的臉書爬蟲 (FB Crawler) 從FB上抓取使用者感興趣的粉絲專頁資訊，並累積到私人的電腦中。透過片語擷取 (phrase extraction) 與關鍵字權重分析 (keyword weighting) 的技術，抽取資訊特徵 (feature selection)。整合記錄系統 (Log System) 分析使用者在平台上的使用歷程，分析並預測出更多使用者可能感興趣的內容。基於本系統，使用者不需花費過多的時間翻找FB上大量文章，僅需要透過系統便能取得感興趣的內容。最後，藉由使用者對推薦結果的評分，蒐集使用回饋，持續改進推薦系統的方法與準確性。整個FBIRS以Docker container技術實作，易於輕鬆部屬到任何平台或雲端系統。

Facebook (FB) is currently the most popular social website in the world so that more than 1.5 billion people are resident of FB and use FB services in their daily life. However, some public social activities cause privacy controversies due to the leak of sensitive information. Furthermore, FB was criticized for controlling the power of recommending contents through the largest social platform. Thinking from Facebook’s perspective, its recommendation method must be trained for several purposes, such as Ads, events, and social opinions, rather than for personalized services. Therefore, we design and develop the FB Interests Recommendation System (FBIRS) to make FB recommendations be fully controlled personally. By analyzing user logs to incrementally build the user-favorite model, FBIRS gradually recommends collected contents that are interested by the user. First, FB crawler is implemented to gather every post from selected FB Pages. Then, analyzing posts through phrase extraction and keyword weighting so that feature selection can estimate the most important keywords as features of the topic model. Similar favorite model of the user is built from logs containing user behaviors of reading, collecting and “like/dislike” posts. FBIRS performs matching process on both topic and favorite models to recommend fresh content posts to the user and get feedback data again to adjust both models. Consequently, FBIRS gradually improves the performance of recommendations. The whole FBIRS is implemented with Docker container technology so that it can be ported to any OS or cloud platform easily and efficiently.

誌謝 I
摘要 II
Abstract III
目次 IV
圖目次 VII
表目次 XI
1. 簡介 1
2. 文獻探討與相關技術 3
2.1. Graph API 3
2.2. 推薦系統 5
2.2.1. Collaborative filtering 6
2.2.2. Content-based filtering 6
2.2.3. 混合式推薦系統 7
2.3. Content-based filtering 7
2.3.1. Item Representation 7
2.3.2. 中文斷詞 8
2.3.2.1. CKIP [9] 8
2.3.2.2. Jieba [10] 9
2.3.3. Profile Learning 11
2.3.3.1. Rocchio 11
2.3.3.2. 最近鄰居法 12
2.3.4. Recommendation Generation 12
3. 研究方法 14
3.1. 特徵選取 14
3.1.1. 片語擷取 15
3.1.2. 關鍵字權重 16
3.1.3. 作者 17
3.1.4. 使用者活動 18
3.1.5. 消退 19
3.2. Prediction Generation 20
4. 系統實作 23
4.1. 系統初始化 24
4.2. 搜尋與訂閱粉絲專頁 26
4.3. Facebook Crawler 28
4.3.1. 動態貼文 32
4.3.2. 動態回覆 36
4.3.3. 動態按讚 38
4.4. Feature Representation 38
4.5. 記錄使用者活動 41
4.6. Prediction Generation 42
5. 實驗與評估 43
5.1. 實驗環境 43
5.2. 使用者回饋推薦效果 44
5.3. 推薦效果評估 44
5.4. 改善推薦的方法並重新評估效果 47
6. 結論與未來發展 52
參考文獻 53

Figure 1：在無意間洩漏了隱私與敏感資訊 1
Figure 2：使用者被迫接受Facebook 推薦的訊息 2
Figure 3：系統目標與架構 2
Figure 4：Social Graph 4
Figure 5：透過Facebook App存取Facebook資料 4
Figure 6：Graph API 回傳JSON格式的資料 5
Figure 7：Graph API Explorer 5
Figure 8：推薦擁有相似行為的使用者紀錄 6
Figure 9：新聞網站常見的推薦相關新聞 7
Figure 10：Post特徵與定義 8
Figure 11 : CKIP中文斷詞系統 9
Figure 12：Trie儲存字典資料 9
Figure 13：Jieba高效率斷詞 10
Figure 14：HMM示意圖 10
Figure 15：Rocchio algorithm 11
Figure 16：Rocchio classification 11
Figure 17：k-NN classification 12
Figure 18：Post的特徵以向量表示 12
Figure 19：Cosine Similarity 13
Figure 20： 兩篇文章的特徵以向量表示 13
Figure 21： 相似度高的兩篇文章 13
Figure 22： 相似度低的兩篇文章 14
Figure 23： Jieba斷詞漏失重要關鍵字 15
Figure 24：SE值顯著估計 15
Figure 25：Prefix, Suffix and Token 16
Figure 26：TF-IDF公式 16
Figure 27：計算TF-IDF 17
Figure 28：Author也作為一個特徵 17
Figure 29：興趣程度消退函式 19
Figure 30：定義感興趣程度 19
Figure 31：興趣程度消退函式圖表 19
Figure 32：由表態的文章預測可能感興趣的文章 20
Figure 33：累加表態分數預測感興趣文章 20
Figure 34：無法定義Similarity threshold 21
Figure 35：最相似的文章「被累加」興趣分數 21
Figure 36：預測推薦文章pseudo code 22
Figure 37：FBIRS系統架構 23
Figure 38：FBIRS初始化設定流程 24
Figure 39：Graph API取得長效Access Token 24
Figure 40：FBIRS系統初始化截圖 25
Figure 41：Graph API搜尋粉絲專頁 26
Figure 42：搜尋粉絲專頁回傳的JSON 26
Figure 43：粉絲專頁ER-Model 27
Figure 44：FBIRS搜尋粉絲專頁 28
Figure 45：Facebook Crawler運作流程圖 28
Figure 46：取得粉絲專頁動態回傳的JSON 29
Figure 47：任務生成一覽 30
Figure 48：Task Queue 30
Figure 49：Task EER Model 31
Figure 50：Graph API 取得粉絲專頁動態 32
Figure 51：Post EER Model 33
Figure 52：Graph API 取得動態的回覆 36
Figure 53：Comment EER Model 37
Figure 54：Graph API 取得動態的按讚用戶 38
Figure 55：文章中屬於文字的部分 39
Figure 56：從Post中擷取的關鍵字 39
Figure 57：過濾文章中不代表性的關鍵字流程圖 40
Figure 58：過濾文章中不代表性的關鍵字流程圖 40
Figure 59：使用者表態介面 41
Figure 60：預測並推薦文章流程 42
Figure 61：將預測的結果顯示於頁面上 42
Figure 62：推薦系統定義的Session 43
Figure 63：FBIRS直接回饋推薦效果 44
Figure 64：第一階段評估結果 44
Figure 65：第一階中分數極低的Session 45
Figure 66：觸及的定義 46
Figure 67：使用者D的觸及狀況 46
Figure 68：使用者A的觸及狀況 47
Figure 69：懲罰未表態的文章 48
Figure 70：改善後的評估結果 49
Figure 71：改善後使用者D的觸及狀況 50
Figure 72：改善後使用者A的觸及狀況 51

Table 1：興趣程度量化表 18
Table 2：粉絲專頁資料的意義 27
Table 3：粉絲專頁資料的意義 32
Table 4：粉絲專頁資料的意義 32
Table 5：Object 表格欄位 34
Table 6：Post表格欄位 34
Table 7：Object 表格欄位 35
Table 8：Member表格欄位 35
Table 9：Object 表格欄位 35
Table 10：Location表格欄位 36
Table 11：回覆資料的意義 36
Table 12：Object 表格欄位 37
Table 13：ORel表格欄位 37
Table 14：按讚資料的意義 38
Table 15：ORel表格欄位 38
Table 16：Post擴充的表格欄位 41
Table 17：第一階段平均分數 45
Table 18：修改後的興趣程度量化表 48
Table 19：比較兩次推薦系統的分數 50

[1]Facebook 行銷高峰會
https://www.facebook.com/business/news/SMB-Boost-Your-Business-TW
[2]News Feed FYI: Using Qualitative Feedback to Show Relevant Stories
http://newsroom.fb.com/news/2016/02/news-feed-fyi-using-qualitative-feedback-to-show-relevant-stories/
[3]Graph API
https://developers.facebook.com/docs/graph-api
[4]Social graph
https://en.wikipedia.org/wiki/Social_graph
[5]Social graph Image
http://www.businessinsider.com/explainer-what-exactly-is-the-social-graph-2012-3
[6]Access Token
https://developers.facebook.com/docs/facebook-login/access-tokens
[7]Sarwar, B., Karypis, G., Konstan, J., & Riedl, J. (2001, April). Item-based collaborative filtering recommendation algorithms. In Proceedings of the 10th international conference on World Wide Web (pp. 285-295). ACM.
[8]Pazzani, M. J., & Billsus, D. (2007). Content-based recommendation systems. In The adaptive web (pp. 325-341). Springer Berlin Heidelberg.
[9]CKIP
http://ckipsvr.iis.sinica.edu.tw/
[10]Jieba
https://github.com/fxsjy/jieba
[11]K-nearest neighbors algorithm
https://en.wikipedia.org/wiki/K-nearest_neighbors_algorithm
[12]Rocchio algorithm
https://en.wikipedia.org/wiki/Rocchio_algorithm
[13]Decision tree
https://en.wikipedia.org/wiki/Decision_tree
[14]Cosine similarity
https://en.wikipedia.org/wiki/Cosine_similarity
[15]Trie
https://en.wikipedia.org/wiki/Trie
[16]Directed acyclic graph
https://en.wikipedia.org/wiki/Directed_acyclic_graph
[17]Chien, L. F. (1997, July). PAT-tree-based keyword extraction for Chinese information retrieval. In ACM SIGIR Forum (Vol. 31, No. SI, pp. 50-58). ACM.
[18]TF-IDF (term frequency–inverse document frequency)
https://en.wikipedia.org/wiki/Tf%E2%80%93idf
[19]GitHub - jquery.waterfall
https://github.com/LinZap/jquery.waterfall
[20]Graph API Explorer
https://developers.facebook.com/tools/explorer
[21]Association rule learning
https://en.wikipedia.org/wiki/Association_rule_learning
[22]Recommender system
https://en.wikipedia.org/wiki/Recommender_system
[23]Hidden Markov model
https://en.wikipedia.org/wiki/Hidden_Markov_model
[24]Facebook Developers
https://developers.facebook.com/