(3.231.29.122) 您好!臺灣時間:2021/02/25 15:37
字體大小: 字級放大   字級縮小   預設字形  
回查詢結果

詳目顯示:::

我願授權國圖
: 
twitterline
研究生:陳致毅
研究生(外文):Chih-yi Chen
論文名稱:設計與實作一個基於Hadoop分散式檔案系統並具備服務品質的檔案傳輸通訊協定
論文名稱(外文):Design and Implementation of a QoS file transfer protocol over Hadoop distributed file system
指導教授:林俊宏林俊宏引用關係
指導教授(外文):Chun-Hung Lin
學位類別:碩士
校院名稱:國立中山大學
系所名稱:資訊工程學系研究所
學門:工程學門
學類:電資工程學類
論文種類:學術論文
論文出版年:2010
畢業學年度:98
語文別:中文
論文頁數:44
中文關鍵詞:檔案複本數檔案傳輸通訊協定分散式檔案系統檔案區塊大小
外文關鍵詞:File Transfer Protocol (FTP)FUSEFreeRADIUSHadoop Distributed File System (HDFS)
相關次數:
  • 被引用被引用:0
  • 點閱點閱:688
  • 評分評分:系統版面圖檔系統版面圖檔系統版面圖檔系統版面圖檔系統版面圖檔
  • 下載下載:0
  • 收藏至我的研究室書目清單書目收藏:1
雲端運算相關服務充斥在我們的生活周遭,舉凡Google推出的搜尋服務、GMail、Google calendar及Yahoo奇摩商城、Facebook等等皆是。基本上雲端運算可以分成幾個層次的服務:基礎設施即服務(IaaS)、平台即服務(PaaS)和軟體即服務(SaaS)。若整合硬體設備,並分批給客戶使用,則是IaaS,這些公司如亞馬遜、IBM等。若打造程式開發平台或作業系統平台,讓客戶能在其上使用或開發應用軟體,則是PaaS,這些公司如Google、Yahoo及微軟等。若任何廠商或開發團隊開發出的軟體,能透過網際網路讓客戶使用,而不必讓客戶在其機器上安裝及運行軟體,則是SaaS。
在開源的PaaS中,我們使用Hadoop做為軟體平台,同時為了研究當中所提供的Hadoop分散式檔案系統(簡稱HDFS)的一些特性,於是設計一套FTP-ON-HDFS系統。該系統可視為一個把HDFS做為儲存設備的FTP,同時還能透過系統的網頁管理介面來管理可登入並使用此系統的FTP使用者其相關的FTP參數與HDFS參數。在與HDFS相關的參數中,我們發現檔案切割區塊大小及檔案複製數量和HDFS及整個系統對外的服務品質有關。因此,我們針對這兩參數做調整及實驗,歸納出一些與HDFS服務品質相關的結論。
然而,除了我們設計好的系統之外,透過FUSE掛載HDFS也能達到在本地端主機下指令也能存取遠端HDFS的功能,同時還能套用Linux系統上的權限管理來管理HDFS中各檔案的權限。於是,我們便做了透過FUSE下指令、FTP-ON-HDFS daemon及Hadoop FS sell command存取遠端HDFS三者之效能評測,以驗證當中的優缺點。
Cloud computing is pervasive in our daily life. For instance, I usually use Google’s GMail to receive e-mail, Google Document to edit documents online and Google Calendar to make my daily schedule. We can say that Google provides a “Platform as a Service (PaaS)”, which delivers a computing platform as a service, and the platform sustaining lots of cloud applications such as I mentioned above.
However, the cloud computing platform of Google is private: we cannot trace its source code and make cloud applications on it! Fortunately, there’s an open source project supported by Apache named “Hadoop”, which has a distributed file system which is very like Google File System (GFS) called “Hadoop distributed file system (HDFS)”. In order to observe the properties of HDFS, we design and implement a HDFS-based FTP server system called FTP-ON-HDFS system, say, a FTP server whose storage is HDFS. There are a web-console for FTP administrator, a FreeRADIUS server and a MySQL database for user authentication, a NameNode daemon on its machine, a SecondaryNameNode on its machine and five DataNode daemons and on five different machines in FTP-ON-HDFS system. Our FTP-ON-HDFS system can tune two QoS parameters: “data block size” and “data replication”. Then, we tuned “data block size” and “data replication” in our system and compared its performance with Hadoop File System (FS) shell command and normal vsftpd.
On the other hand, FUSE can mount HDFS from remote cluster to local machine, and make use of the permission of the local machine to manage HDFS. So, we compared the performance of FUSE with HDFS (FUSE-DFS) and our FTP-ON-HDFS system.
致謝 1
中文摘要 2
ABSTRACT 3
圖目錄 4
表目錄 6
目錄 7
第1章 序論 9
1.1 研究背景 9
1.2 研究動機與目的 10
1.3 研究方法與步驟 10
1.3.1 研究方法 11
1.3.2 研究步驟 12
第2章 系統設計與實作說明 13
2.1 系統架構設計 13
2.2 系統實作說明 14
2.2.1 Hadoop叢集環境參數設置 14
2.2.2 管理登入FTP使用者網頁介面 17
2.2.3 FTP-ON-HDFS Daemon實作 20
2.3 服務品質比較與測試 32
2.3.1 比較透過Hadoop shell command、FUSE及FTP-ON-HDFS Daemon三者存取HDFS之效能 32
2.3.2 比較一般FTP Daemon與FTP-ON-HDFS Daemon二者存取檔案之效能 37
2.3.3 比較HDFS兩參數-「檔案區塊大小」,「檔案複本數」相對於使用者存取的檔案大小之服務品質 38
2.3.4 結論與未來展望 41
參考文獻 42
[1]Sanjay Ghemawat, Howard Gobioff, and Shun-Tak Leung, “The Google File System”, in 19th ACM Symposium on Operating Systems Principles, Lake George, NY, October, 2003.
[2]HDFS Architecture (version 0.20.0, http://hadoop.apache.org/common/docs/r0.20.0/hdfs_design.html)
[3]Apache Hadoop Java API (version 0.20.2, http://hadoop.apache.org/common/docs/current/api/overview-summary.html)
[4]Apache FtpServer Core API (version 1.0.0-M3, http://www.jarvana.com/jarvana/view/org/apache/ftpserver/ftpserver-core/1.0.0-M3/ftpserver-core-1.0.0-M3-javadoc.jar!/overview-summary.html)
[5]FUSE (http://fuse.sourceforge.net/)
[6]Mounting HDFS (http://wiki.apache.org/hadoop/MountableHDFS)
QRCODE
 
 
 
 
 
                                                                                                                                                                                                                                                                                                                                                                                                               
第一頁 上一頁 下一頁 最後一頁 top
系統版面圖檔 系統版面圖檔