(3.215.183.251) 您好!臺灣時間:2021/04/22 23:00
字體大小: 字級放大   字級縮小   預設字形  
回查詢結果

詳目顯示:::

我願授權國圖
: 
twitterline
研究生:龔正維
研究生(外文):Cheng-Wei Kung
論文名稱:使用Spark實作主題式訂閱發佈系統
論文名稱(外文):The implementation of a topic-based publish/subscribe system using Spark
指導教授:羅壽之
指導教授(外文):Shou-Chih Lo
學位類別:碩士
校院名稱:國立東華大學
系所名稱:資訊工程學系
學門:工程學門
學類:電資工程學類
論文種類:學術論文
論文出版年:2015
畢業學年度:104
論文頁數:56
中文關鍵詞:訂閱/發佈系統SparkMapReduce
外文關鍵詞:Publish/Subscribe SystemSparkMapReduce
相關次數:
  • 被引用被引用:0
  • 點閱點閱:123
  • 評分評分:系統版面圖檔系統版面圖檔系統版面圖檔系統版面圖檔系統版面圖檔
  • 下載下載:1
  • 收藏至我的研究室書目清單書目收藏:0
資料量的龐大使得平行運算逐漸成為探討議題,而現今所提出的MapReduce框架及系統更是許多設計者撰寫平行運算程式的起步。但是MapReduce能否撰寫所有已知問題是不可確定的,需要設計者們思考各種問題的可行性。
MapReduce框架運作原理相當簡單,只須使用Map函數定義key-value配對,再利用Reduce函數蒐集相同key值即可完成任務。而不同系統所提供的MapReduce框架其運作原理也是有差異性可以去比較的。
本研究觀察傳統訂閱/發佈系統的資料處理流程會遇到資料產生速度過快時,造成資料等待處理的情況發生。因此提出利用MapReduce的運算方式來提供快速運算的方法,解決資料等待處理問題。

關鍵字:訂閱/發佈系統、Spark、MapReduce
Rapid data growing transforms the computing model from sequential process to parallel process. Recently, the MapReduce framework has become a good entry point for many programmers to write their first parallel programs. However, the program designers should think about the way to solve any problem using the MapReduce.
A MapReduce program is composed of a Map function handling key-value pair data and a Reduce function collecting data with the same key. Different MapReduce systems lead to different processing designs due to their unique workflows.
This thesis observes that the traditional publish/subscribe system would cause the delay on data processing when the data generation is too fast. We use the MapReduce framework to implement a parallel-based publish/subscribe system to solve the data processing delay problem.

Keyword : Publish/Subscribe System, Spark, MapReduce

目錄
致謝 I
ABSTRACT III
摘要 V
表目錄 XI
第一章 前言 1
1.1研究背景 1
1.2研究動機與目的 2
1.3論文架構 2
第二章 文獻探討與相關背景介紹 5
2.1MAPREDUCE背景  5
2.2相關系統 7
2.3資料比對運作差異 11
2.4APACHE SPARK 15
第三章 訂閱/發佈系統設計 21
3.1系統架構 21
3.2訂閱/發佈系統 22
3.3訂閱/發佈系統設計 28
第四章 系統展示與實驗結果 45
4.1系統展示 45
4.2實驗結果 48
第五章 結論與未來展望 53
5.1結論 53
5.2未來展望 53
參考文獻 55

[1] J. Dean, and S. Ghemawat, " MapReduce: Simplified Data Processing on Large Clusters," In Proc. 6th USENIX Symposium on Operating Systems Design and Implementation. pp.137 – 150, 2004.
[2] M. Zaharia, M. Chowdhury, T. Das, A. Dave, J. M. Ma, M. McCauley, M. J. Franklin, S. Shenker, and I. Stoica. “Fast and interactive analytics over Hadoop data with Spark.” USENIX ;login:, 37(4):45–51, August 2012.
[3] Spark https://spark.apache.org/
[4] M. Zaharia, M. Chowdhury, M. J. Franklin, S. Shenker, and I. Stoica.” Spark: Cluster Computing with Working Sets. ” HotCloud 2010. June 2010.
[5] M. Zaharia, M. Chowdhury, T. Das, A. Dave, J. Ma, M. McCauley, M. Franklin, S. Shenker, and I. Stoica. “Resilient distributed datasets: A fault-tolerant abstraction for in-memory cluster computing.” In NSDI, 2012.
[6] M. Zaharia, T. Das, H. Li, S. Shenker, and I. Stoica.” Discretized Streams: An Efficient and Fault-Tolerant Model for Stream Processing on Large Clusters.” HotCloud 2012. June 2012.
[7] M. Zaharia, T. Das, H. Li, T. Hunter, S. Shenker, and I. Stoica, “Discretized Streams: Fault-Tolerant Streaming Computation at Scale.” SOSP 2013. Nov. 2013.
[8] K. Shvachko, H. Kuang, S. Radia, and R. Chansler, “The Hadoop distributed file system,” in MSST ’10: Proc. of the 26th IEEE Symposium on Massive Storage Systems and Technologies, 2010.
[9] P. Eugster, P. Felber, R. Fuerraoui, and A. Kermarrec. “The Many Faces of Publish/Subscribe.” ACM Computing Surveys. vol. 35. no. 2, pp. 114-131, June 2003.
[10] 政府資料開放平臺網站 http://data.gov.tw/
[11] A. Davidson, and A. Or. “Optimizing Shuffle Performance in Spark.’ University of California, Berkeley - Department of Electrical Engineering and Computer Sciences, Tech. Rep., 2013
[12] H.A. Jacobsen, "Topic-based Publish-Subscribe," in Encyclopedia of Database Systems, pp 3127-3129
[13] Publish–subscribe pattern Wiki https://en.wikipedia.org/wiki/Publish%E2%80%93subscribe_pattern
[14] Hadoop http://hadoop.apache.org/
[15] Spark Streaming https://spark.apache.org/docs/1.2.1/streaming-programming-guide.html
[16] Simple Java Mail API https://github.com/bbottema/simple-java-mail
[17] Jsoup http://jsoup.org/
[18] 花蓮文化局 http://www.hccc.gov.tw/Portal/Content.aspx?lang=0&p=003000001#an

連結至畢業學校之論文網頁點我開啟連結
註: 此連結為研究生畢業學校所提供,不一定有電子全文可供下載,若連結有誤,請點選上方之〝勘誤回報〞功能,我們會盡快修正,謝謝!
QRCODE
 
 
 
 
 
                                                                                                                                                                                                                                                                                                                                                                                                               
第一頁 上一頁 下一頁 最後一頁 top
系統版面圖檔 系統版面圖檔