臺灣博碩士論文加值系統

近年來資料的成長量以驚人的速度不斷的在增加，再加上物聯網的興起，大數據分析便成為了許多商業模式非常重要的獲利來源，但是在雲端計算的架構下，Hadoop在執行MapReduce動作時，會佔用非常大量的網路頻寬，尤其在越多節點的情況下，對於網路傳輸品質的影響更為嚴重，本文將以MapReduce為改善的基楚，結合霧運算（Fog Computing）的資料預先處理能力，提出新的運作模式，運用Fog Computing的特性，將大多數的資料在送進Hadoop中以MapReduce做分析前，先進行初步的匯整與計算，善加利用Fog Computing在近端設備的優勢，可大幅減少傳進Hadoop MapReduce的Result Set，達到精簡網路資源的目標，進而提升整體的執行效率，把這樣的計算架構運用到目前的雲計算環境下，將可以讓各種的大數據運算得到一定程度的幫助。

In recent years, the rapid growth of the internet data information which cause the big-data analysis has become a very important business model and the sources of the profit; however, under the cloud computing architecture, Hadoop running the MapReduce action will use huge amount of the network bandwidth, especially in more nodes case. It has serious impact for the quality of the network transmission. The purpose of this paper will explain how to use the MapReduce as the base and combine with fog operations(Fog Computing) Data pre-processing capacity to forward a new operating mode. Meanwhile, before MapReduce running the analysis and sending the data to the Hadoop, Fog Computing can collect the initial aggregation and do calculation in advance. By using the advantages of the Fog Computing which is a near-end equipment can significantly reduce the incoming Result Set of Hadoop. It can streamline the resources of the network and implement the overall efficiency. Indeed, when under this architecture which can be applied to variety big-data application to optimize the performance.

目錄
摘要 I
Abstract II
致謝 III
目錄 IV
圖目錄 VI
表目錄 VIII
1 緒論 1
1.1 研究背景 1
1.2 研究動機 2
1.3 研究目的 3
1.4 研究問題 4
1.5 論文架構 5
2 文獻探討 6
2.1 大數據應用概況 6
2.2 雲端大數據集成技術 12
2.3 大數據資料產品模型 18
2.4 應用感知大數據技術 22
2.5 霧計算概念結合大數據分析技術 25
2.6 文獻探討總結 29
3 研究方法 31
3.1 研究問題定義 32
3.2 實驗方式說明 34
3.2.1 霧計算架構資料分流設計說明 36
3.2.2 霧計算架構資料分類設計說明 38
3.2.3 雙字節資料斷詞處理 43
4 實驗 45
4.1 資料以霧計算前置架構處理實驗 45
4.1.1 霧節點記憶體設定為512 MB 45
4.1.2 霧節點記憶體設定為1024MB 47
4.2 以資料型態做分類比較實驗 49
4.2.1 雙字節中文測試資料 49
4.2.2 雙字節日文測試資料 51
4.2.3 雙字節中日文混合資料 52
4.2.4 單字節英文測試資料 53
4.2.5 單字節西班牙文測試資料 54
4.2.6 單字節英文、西班牙文混合資料 55
4.2.7 雙字節和單字節混合資料 56
4.3 雙字節斷詞資料測試 57
4.3.1 雙字節中文混合測試資料 57
4.3.2 雙字節日文斷詞測試資料 58
4.3.3 雙字節中文斷詞與單字節英文資料 59
4.4 資料類型分類比較結果 60
4.4.1 雙字節資料未做斷詞處理比較結果 60
4.4.2 雙字節資料已做斷詞處理後比較結果 61
4.4.3 單字節資料測試比較結果 62
5實驗結果與導入 65
5.1 研究問題與回顧 65
5.2 研究貢獻 67
5.2.1 學術貢獻 67
5.2.2 實務貢獻 68
5.3 未來研究方向 69
參考文獻 70

圖目錄
圖 2 1大數據架構示意圖 6
圖 2 2 MapReduce三階段示意圖 8
圖 2 3 Map示意圖 9
圖 2 4 Shuffle示意圖 10
圖 2 5 Reduce示意圖 10
圖 2 6 MapReduce V1架構圖 12
圖 2 7 MapReduce集成技術架構圖 13
圖 2 8 MapReduce資料處理流程圖 14
圖 2 9 MapReduce集成技術資料處理流程圖 14
圖 2 10 Inter-Machine Data Aggregation示意圖 15
圖 2 11 In-Cloud Aggregation示意圖 16
圖 2 12 A Traditional Framework for Data Use 18
圖 2 13 A New DaaP Framework for Data Use 19
圖 2 14 Two Classes of Data Process Modules. 20
圖 2 15 Two Classes of Data Process Modules. 20
圖 2 16 SDN架構示意圖 23
圖 2 17 8-to-4 Shuffling Topology 23
圖 2 18 霧計算概念架構圖 25
圖 2 19 Samrt Meter’s in Fog Computing Architecture 27
圖 3 1 霧計算技術架構概念圖 31
圖 3 2霧計算資料分散運作圖 32
圖 3 3資料特性分類方式示意圖 33
圖 3 4霧計算實驗架構示意圖 34
圖 3 5 ETL Job執行資料分割處理示意圖 36
圖 3 6 ETL Job執行資料匯整處理示意圖 37
圖 3 7 Hadoop資料寫入示意圖 38
圖 3 8 Hadoop資料讀取示意圖 39
圖 3 9實驗資料分類架構示意圖 40
圖 3 10 霧計算技術架構概念圖 41
圖 3 11 ETL資料流程設計圖 42
圖 3 12 斷詞處理前的雙字節文字內容 43
圖 3 13 斷詞處理後的雙字節文字內容 44
圖 4 1霧計算節點資料處理實驗-512 MB Memory 46
圖 4 2霧計算節點資料處理實驗-1024 MB Memory 47
圖 4 3 霧節點記憶體變動執行結果比較圖 48
圖 4 4資料型態分類實驗（雙字節中文測試資料） 50
圖 4 5 資料型態分類實驗（雙字節日文測試資料） 51
圖 4 6 資料型態分類實驗（雙字節中、日文混合測試資料） 52
圖 4 7 資料型態分類實驗（單字節英文測試資料） 53
圖 4 8 資料型態分類實驗（單字節西班牙文測試資料） 54
圖 4 9 資料型態分類實驗（單字節英文、西班牙文混合測試資料） 55
圖 4 10 資料型態分類實驗（雙字節與單字節中、英文混合測試資料） 56
圖 4 11資料型態分類實驗（雙字節中文斷詞測試資料） 57
圖 4 12 資料型態分類實驗（雙字節日文斷詞測試資料） 58
圖 4 13 資料型態分類實驗（雙字節中文斷詞與單字節英文測試資料） 59
圖 4 14 雙字節資料型態實驗比較圖（未斷詞） 60
圖 4 15 雙字節資料型態實驗比較圖（已斷詞） 61
圖 4 16 單字節資料型態實驗比較圖 62
圖 4 17 單字節資料型態實驗比較圖 63

表目錄
表 2 1雲計算與霧計算比較表 26
表 2 2大數據應用分析技術比較表 30
表 4 1霧計算節點資料處理實驗資料表-512 MB Memory 45
表 4 2霧計算節點資料處理實驗資料表-1024 MB Memory 47
表 4 3資料型態分類實驗（雙字節中文測試資料） 49
表 4 4資料型態分類實驗（雙字節日文測試資料） 51
表 4 5資料型態分類實驗（雙字節中文日文混合測試資料） 52
表 4 6資料型態分類實驗（單字節英文測試資料） 53
表 4 7資料型態分類實驗（單字節西班牙文測試資料） 54
表 4 8資料型態分類實驗（單字節英文、西班牙文測試資料） 55
表 4 9資料型態分類實驗（單字節與雙字節中、英文混合測試資料） 56
表 4 10資料型態分類實驗（雙字節中文斷詞測試資料） 57
表 4 11資料型態分類實驗（雙字節日文斷詞測試資料） 58
表 4 12資料型態分類實驗（單字節與雙字節中文斷詞、英文混合測試資料） 59

[1] S. Hi, Cloud era of Killer Applications. Taiwan : CommonWealth Magazine, 2013.
[2] P. Jain, and S. Tate, Big Data Networked Storage Solution for Hadoop U.S. : IBM Company Redbook, 2013.
[3] D. Howe, “Big Data: The Future of Biocuration,” Nature, vol. 455, no. 7209, 2008, pp. 47–50.
[4] L. Alton, 5 Biggest Big Data in 2014, June 2014. http://spinnakr.com/blog/data-2/2014/06/05-biggestbig-data-2014/.
[5] J. Manyika, “Big Data: The Next Frontier for Innovation, Competition, and Productivity,” McKinsey Global Inst., May 2011.
[6] J. He, X. Liu, G. Huang, M. Blumenstein, and C. Leung, “Current and Future Use of Big Data in Commonwealth Countries,” The Bridge – National Academy of Engineering of the National Academies, USA, 44(4), pp. 38-45, 2014.
[7] H. Ke, P. Li and S. Guo, and I. Stojmenovic, “Aggregation on the Fly: Reducing. Traffic for Big Data in Cloud,” IEEE Network Magazine 2015, pp. 17-23.
[8] A. Ching and C. Kunz. Giraph : Large-scale graph processing on hadoop. In Hadoop Summit, 2010.
[9] G. Wang. T. Ng, and A. Shaikh, “Programming your network at run-time for big data applications,” in Processdings of the first workshop on Hot topics in software defined networks. ACM, 2012, pp. 103-108.
[10] G. Huang, “A Data as a Product Model for Future Consumption of Big Stream Data in Clouds,” IEEE Network Magazine 2015, pp. 256-263.
[11] M. Cavallo, L. Cusm`a, G. Di Modica, C. Polito, and O. Tomarchio, “A Scheduling Strategy to Run Hadoop Jobs on Geodistributed Data,” in Proceedings of ESOCC 2015, Taormina, Italy, September 15-17, 2015, Revised Selected Papers. Springer, 2015, pp. 5–19.
[12]J. Yin, and J. Wang, “Optimize Parallel Data Access in Big Data Processing,” IEEE Network Magazine 2015, pp. 721-724.
[13]S. Narayan, S. Bailey, A. Daga, “Hadoop Acceleration in an OpenFlowbased cluster,” in Proc. 2012 SC Companion: High Performance Computing, Networking, Storage and Analysis (SCC), pp. 535-538,2012.
[14]G. Huang, W. Zhou, J. He, “Speedup of Big Data Transfer on the Internet, Networking of Big Data,” pp.139-155, 2015. CRC Press - Taylor & Francis Group, USA.
[15]G. Wang, T.S.E. Ng, and A. Shaikh, “Programming Your Network at Run-time for Big Data Applications,” Proc. 1st Workshop on Hot Topics in Software Defined Networks(HotSDN),pp. 103-108,2012.
[16]Y. Yu, P. K. Gunda, and M. Isard, “Distributed Aggregation for Data-Parallel Computing: Interfaces and Implementations,” Proc. ACM Symp. Op. Sys. Principles, 2009, pp. 247–60.
[17]Y. Yan, “A Fog Computing Solution for Advanced Metering Infrastructure,” IEEE Network Magazine 2016, pp. 2~5.
[18]Pengfei Hu, “Fog Computing-Based Face Identification and Resolution Scheme in Internet of Things,” IEEE Network Magazine 2016, pp. 132~141.
[19]Q. Zhang, L. Liu, K. Lee, Y. Zhou, A. Singh, N. Mandagere, S. Gopisetty, and G. Alatorre, “Improving Hadoop Service Provisioning in a Geographically Distributed Cloud,” in Cloud Computing (CLOUD), 2014 IEEE 7th International Conference on, June 2014, pp. 432–439.
[20]R. Yu, “Toward Cloud-Based Vehicular Networks with Efficient Resource Management,” IEEE Network, vol. 27, no. 5, Sept.–Oct. 2013, pp. 48–55.
[21]M. Cavallo, G. Di Modica, C. Polito, and O. Tomarchio, “Contextaware MapReduce for Geo-distributed Big Data,” in Proceedings of the 5th International Conference on Cloud Computing and Services Science, Lisbon (Portugal), May 2015, pp. 414–421.
[22]H. Yang, A. Dasdan, R. Hsiao, and D. S. Parker, “Map-reduce-merge: Simplified relational data processing on large clusters,” in Proceedings of the 2007 ACM SIGMOD International Conference on Management of Data, ser. SIGMOD ’07, 2007, pp. 1029–1040.
[23]J. Cohen. Graph Twiddling in a MapReduce World. Computing in Science and Engineering, 11(4):29–41, July 2009.
[24]J. Dean and S. Ghemawat, “MapReduce: Simplified Data Processing on Large Clusters,” Commun. ACM, vol. 51, no. 1, Jan. 2008, pp. 107–13.
[25] P. Chen. (2017, JUNE 03). GitHub [Online]. Available: https://github.com/pulipulichen/jieba-js/blob/master/require-jieba-js.js