跳到主要內容

臺灣博碩士論文加值系統

(44.192.94.177) 您好!臺灣時間:2024/07/21 17:41
字體大小: 字級放大   字級縮小   預設字形  
回查詢結果 :::

詳目顯示

我願授權國圖
: 
twitterline
研究生:盧力瑀
研究生(外文):Li-Yu Lu
論文名稱:MapReduce 錯誤回復機制之設計與實作
論文名稱(外文):Design and Implementation of Error Rollback Mechanism for MapReduce
指導教授:張晉源張晉源引用關係
學位類別:碩士
校院名稱:樹德科技大學
系所名稱:資訊工程系碩士班
學門:工程學門
學類:電資工程學類
論文種類:學術論文
論文出版年:2013
畢業學年度:101
語文別:中文
論文頁數:49
中文關鍵詞:雲端運算開放源碼Hadoop
外文關鍵詞:Cloud ComputingOpen SourceHadoop
相關次數:
  • 被引用被引用:0
  • 點閱點閱:71
  • 評分評分:
  • 下載下載:0
  • 收藏至我的研究室書目清單書目收藏:0
隨著網際網路的蓬勃發展,網路已經成為人們生活中的一部份,如何有效運用網路上龐大的資源將變的十分重要;傳統的運算方式已不適用於現今快速膨脹的資料量,透過分散式運算架構完成龐大資料量的運算已成為現今的趨勢。然而,分散式運算架構與傳統運算架構不同,因此對於資料處理的方法也要有所改變。本研究探討開放原始碼分散式平台Apache Hadoop為主的平行式運算方式MapReduce架構,搭配底層的 Apache Hadoop 運算平台的檔案系統(HDFS)進行資料儲存。由於原生Hadoop MapReduce架構在運算過程中如遇JobTracker Fail狀況會造成運算中斷,當JobTracker 回復時Hadoop無法回復至上次的運算,甚至會導致程序停擺;因此本研究提出以佇列機制(Queue)及記憶體快取(Memcache)結合的架構,利用佇列機制特性以及記憶體快取工作記錄,使運算過程中產生JobTracker Fail錯誤後也可以即時回復至原先的運算狀態,以達到回復機制的運作。

With the vigorous development of the Internet, the Internet access has become part of people’s lives. Therefore, it is important for the using huge resources on the internet effectively. The traditional computing is not applicable to the great amount of data nowadays. Consequently, accomplishing the data by using the discrete-computing architecture has come to be the trend. This research confers the platform of the open source software - Apache Hadoop which is using the parallel-computing architecture. When the default architecture, Hadoop MapReduce , comes about the condition of JobTracker Fail ,it will cause the computing disconnection. Besides, when the JobTracker rollback, the Hadoop can’t return the place which affected computing disconnection last time. Therefore, this research brings up the framework which is using the Queue and the Memcache. Because of that, when we face the JobTracker Fail, we can still return to the original state.

摘要 i
ABSTRACT ii
致謝 iii
目錄 iv
表目錄 vi
圖目錄 vii
一、 緒論 1
1.1 研究背景 1
1.2 研究動機 2
1.3 研究方法與流程 4
1.3.1 瞭解相關問題 5
1.3.2 文獻探討 5
1.3.3 設計系統模組 6
1.4 研究方法與流程 7
二、 相關技術與文獻探討 8
2.1 平行式運算 (Parallel Computing) 8
2.2 網格運算 (Grid Computing) 9
2.3 分散式運算 (Distributed Computing) 10
2.4 雲端運算 (Cloud Computing) 11
2.4.1 Hadoop簡介 12
2.4.2 Memcached 18
2.4.3 RabbitMQ簡介 19
三、 系統設計與方法 25
3.1 系統架構 25
3.1.1 JobAgent 27
3.1.2 Queue機制 28
3.1.3 Memcached Table 28
3.1.4 回復機制 30
3.2 系統運作流程 31
3.2.1 回復運作流程 33
四、 系統實作與實驗 34
4.1 實驗環境規格與配置 34
4.2 系統實作 35
4.3 實驗一:單字計算 39
4.4 實驗二:網路流量運算 39
4.5 實驗結果與分析 41
4.5.1 Block Size 41
4.5.2 Replication 42
4.5.3 File Size 43
4.5.4 錯誤回復時間 44
4.5.5 總結討論 45
五、 結論及未來方向 46
參考文獻 47


[1]Apache, Welcome to Apache Hadoop!, WebSite:http://hadoop.apache.org/
[2]Apache, Welcome to Hadoop Distributed File System!, WebSite:http://hadoop.apache.org/hdfs/
[3]memcached - a distributed memory object caching system: http://memcached.org/
[4]RabbitMQ - Messaging that just works:http://www.rabbitmq.com/
[5]Amhar Abbas., 2003, Grid computing:A practical guide to technology and applications, Charles River Media, Hingham, Massachusetts.
[6]Ilya Grigorik:http://www.igvita.com/
[7]redhat.com AMQP Chapter 2. Exchanges:https://access.redhat.com/site/documentation/en-US/Red_Hat_Enterprise_MRG/1.1/html/Messaging_User_Guide/chap-Messaging_User_Guide-Exchanges.html
[8]Erik, 2008, 雲端運算學術計畫, WebSite:http://nonsensecracks.blogspot.com/2008/02/blog-post_25.html
[9]Foster and C. Kesselman, 2004, The GRID:Blueprint for a New Computing Infrastructure, Elsevier, Amsterdam.
[10]Apache ZooKeeper™, http://zookeeper.apache.org/
[11]Grant Mackey, Saba Sehrish, Julio Lopez, John Bent, Salman Habib, Jun Wang, 2008, Introducing Map-Reduce to High End Computing
[12]GUI Bingxiang, FENG Hongcai, 2009, An New Data Parallelism Approach with High Performace Clouds, 2009 Pacific-Asia Conference on Circuits, Communications and System
[13]Ubuntu LTS (Lucid Lynx), http://releases.ubuntu.com/lucid/
[14]Java, java.com:Java 與你, WebSite:http://www.java.com/zh_TW/
[15]Jeffrey Shafer, Scott Rixner, Alan L. Cox, 2010, The Hadoop Distributed Filesystem:Balancing Portability and Performance, ISPASS, 17 May 2010
[16]Joshy Joseph, Craig Fellenstein, 2004, Grid computing, Prentice Hall Professional Technical Reference, Upper Saddle River, N.J.
[17]X. Qing, K. Hedrick, R. Sengupta, J. VanderWerf, “Effects of vehicle-vehicle/roadside-vehicle communication on adaptive cruise controlled highway systems,” Proc. IEEE Conf. Vehicular Technology Conference (VETECF 02), IEEE Press, Dec. 2002, pp. 1249-1253 vol.2, doi: 10.1109/ VETECF.2002.1040805.
[18]Grant Mackey, Saba Sehrish, Julio Lopez, John Bent, Salman Habib, Jun Wang, Introducing Map-Reduce to High End Computing, Petascale Data Storage Workshop at SC08 Austin, Texas, November
[19]R. Wolski, J. Plank, J. Brevik, amd T. Bryan, 2001, Analyzing Marker-based Resource Allocation Strategies for the Computational Grid, International Journal of High-performance Computing Applications, Volume 15, Number 3, Sage Publications, Fall.
[20]Huan Liu, Dan Orban, “Cloud MapReduce: a MapReduce Implementation
on top of a Cloud Operating System” , 2011 11th IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing
[21]L. Ralf, “Google’s MapReduce programming model—Revisited,” Science, vol. 70, Jan. 2008, pp. 1-30, doi:10.1016/j.scico.2007.07.001.
[22] G. Sanjay, G. Howard, L. Shun-Tak, “The Google file system,” Proc. Proceedings of the nineteenth ACM symposium on Operating systems principles, vol. 37, issue 5, Oct. 2003, pp. 29-43, doi: 10.1145/SOSP.1165389.945450.
[23]M. Bhandarkar, “MapReduce Programming with Apache Hadoop,” Proc. IEEE Symp. Parallel &; Distributed Processing (IPDPS 10), IEEE Press, April. 2010, pp. 1-1, doi: 10.1109/ IPDPS.2010.5470377.
[24]王耀聰,陳威宇,2008,雲端運算簡介,國家高速網路與計算中心。
[25] 林品豪,2011,雲端異質服務平台之整合設計與實作,樹德科技大學資訊工程系碩士論文
[26] 吳其勳,“克服Big Data挑戰的曙光”,iThome電腦報, http://www.ithome.com.tw/itadm/article.php?c=73976,2012年5月29日
[27]陳伯文,2001,代理人架構下分散式平行運算平台之設計與架構,元智大學資訊管理所,碩士論文。
[28]楊朝棟、張宏守,在 Linux 上建構與應用叢集式平行電腦,零客情報,第 12 期,84~103 頁, November 2000。
[29] 郭柏彰,鄭源宇,黃聖傑,蘇暉凱,2007,多層次校園網路監控系統之設計與實作,2007資訊教育與科技應用研討會,486~491頁。
[30]趨勢,2009,雲端運算簡介,趨勢科技研發實驗室。
[31]蘇淑津,1994,DCE 技術及其應用,高速計算世界,2卷,3期,國家高速電腦中心。

QRCODE
 
 
 
 
 
                                                                                                                                                                                                                                                                                                                                                                                                               
第一頁 上一頁 下一頁 最後一頁 top