跳到主要內容

臺灣博碩士論文加值系統

(44.220.255.141) 您好!臺灣時間:2024/11/04 03:04
字體大小: 字級放大   字級縮小   預設字形  
回查詢結果 :::

詳目顯示

: 
twitterline
研究生:蕭嘉宏
研究生(外文):Jia-Hong Siao
論文名稱:使用Hadoop搭配PHP連結管理HBase
論文名稱(外文):Using Hadoop with PHP linking to manage HBase
指導教授:劉柏伸劉柏伸引用關係
學位類別:碩士
校院名稱:僑光科技大學
系所名稱:資訊科技研究所
學門:電算機學門
學類:電算機一般學類
論文種類:學術論文
論文出版年:2014
畢業學年度:102
語文別:中文
論文頁數:94
中文關鍵詞:分散式運算
外文關鍵詞:HadoopThriftPHPHBase
相關次數:
  • 被引用被引用:0
  • 點閱點閱:975
  • 評分評分:
  • 下載下載:196
  • 收藏至我的研究室書目清單書目收藏:1
在日新月異的時代裡,資訊的流通速度逐年增加,同樣地資料處理的速度相對需要增進許多,而雲端處理技術也因此發展了出來。雲端運算透過網際網路來把巨量的資料透過運算程序,分成數個小型運算分給叢集內的電腦作運算,再交由數台分配任務的伺服器叢集而成的系統,透過分析與運算,將所得的結果回傳給使用者。在Hadoop來說,會把需要的資料分為數個子項目(Mapper) ,處理完畢後,再做資料的結合(Reduce),而此一作法我們通稱為『分散式運算』。
然而Hadoop搭配上HBase,可藉由儲存在資料庫的資料來做分散式運算,也較方便歸類整理與處理大量的資料。但是,在HBase的操作上卻是大大的不便捷,本論文搭配PHP網頁的方式,以及使用Thrift套件作為溝通的橋樑,來去直接存取HBase的基礎功能(如資料表的查詢、新增、更新、關閉、刪除等),在操作上定能大大的提升方便性與讓使用者快速上手。
In the fast-changing age, information flow speed increases every year and data-processing speed is required to improve a lot. Cloud technology is also opened up for research and development. Cloud computing makes huge amounts of data operations divided into several small operation tasks to a cluster of computers through the Internet, and the results of data operations are sent back to the users. Hadoop Mapper divides the job into several sub-tasks, and Reducer combines the results of each Mapper. This is known as "distributed computing".
HBase over the Hadoop platform supports distributed database and computing to arrange and process large amounts of data. However, HBase is significantly difficult to operate. This paper uses PHP linking to the HBase, as well as we use the Thrift package to communicate with the HBase. So uses are able to access HBase functions (e.g., query, insert, update, disable, delete …) directly and easily.
摘要 i
Abstract v
目錄 vi
圖目錄 x
第一章 緒論 1
1.1 研究動機與目的 1
1.2 研究方法與流程 1
1.3 論文架構 3
第二章 文獻探討 4
2.1 Hadoop 4
2.2 Zookeeper 5
2.3 HBase 5
2.4 Apache Thrift 6
2.4.1 Thrift 基礎架構 7
2.5 Hadoop研究趨勢 8
第三章 研究方法 10
3.1 研究方法與流程 10
3.2 Hadoop平台架設實作流程 10
3.3 Apache Thrift環境架設實作流程 11
3.4 HBaseAdmin功能詳細說明 11
3.4.1 Search Table功能介紹 12
3.4.2 Create Table功能介紹 12
3.4.3 Table Member功能介紹 12
3.4.4 Scan Table功能介紹 12
3.4.5 Read Table功能介紹 12
3.4.6 Insert Table功能介紹 12
3.4.7 Enable Table功能介紹 12
3.4.8 Disable Table功能介紹 13
3.4.9 Delete Table功能介紹 13
第四章 實驗結果 14
4.1 Linux系統設定 14
4.1.1 Install Ubuntu 13.10 14
4.1.2 Set Network Configure 14
4.1.3 Set Hosts 15
4.1.4 Install SSH 15
4.1.5 Install JAVA JDK 16
4.2 Hadoop平台架設與啟動 17
4.2.1 Configure core-site.xml 17
4.2.2 Configure hdfs-site.xml 17
4.2.3 Configure mapred-site.xml 18
4.2.4 Configure hadoop-env.sh 18
4.2.5 Configure masters 18
4.2.6 Configure slaves 18
4.2.7 配發到各台Slave 18
4.2.8 設置環境變數 18
4.2.9啟動Hadoop並觀察狀態 19
4.2.10查詢Hadoop版本 21
4.2.11開啟瀏覽器觀察Hadoop叢集相關資訊(50030、50070) 21
4.3 Zookeeper參數設定與啟動 22
4.3.1建立Zookeeper運作時需要的目錄並複製預設設定檔 22
4.3.2修改zoo.cfg 22
4.3.3分配到各台Slave 23
4.3.4分別依zoo.cfg內設定的server順序,寫入內容僅一行的myid文件 23
4.3.5 在每台機器上啟動Zookeeper,並查詢Zookeeper狀態 24
4.3.6 使用jps指令,觀察Zookeeper服務啟動的狀態 24
4.4 HBase參數設定與啟動 25
4.4.1 Configure hbase-env.sh 25
4.4.2 Configure hbase-site.xml 25
4.4.3 Configure regionservers 26
4.4.4同步化jar檔 26
4.4.5分配到各個Slave上 26
4.4.6 啟動Hadoop並創建HBase目錄 27
4.4.7 添加HBase環境變數 27
4.4.8啟動HBase並使用jps指令觀察服務狀態 28
4.4.9開啟瀏覽器觀察HBase叢集相關資訊(60010、60030) 29
4.5 LAMP(Linux、Apache、MySQL、PHP)網頁伺服器安裝與配置 30
4.6 Apache Thrift編譯安裝與產生接口文件 30
4.6.1安裝Thrift及PHP依賴包 30
4.6.2執行bootstrap.sh產生配置腳本 30
4.6.3執行configure產生配置訊息 31
4.6.4編譯及安裝 31
4.6.5查詢Thrift版本 32
4.6.6啟動Thrift Server 32
4.6.7編譯thrift_protocol 33
4.6.8產生連結檔案 34
4.7 使用PHP操作HBase 35
4.7.1 搜尋現有資料表 35
4.7.2 建立資料表 37
4.7.3 鍵入資料 40
4.7.4 讀取資料表資料 43
4.7.5 讀取資料表欄位資訊 46
4.7.6 關閉已啟用的資料表 49
4.7.7 刪除資料表 52
4.8 實作HBaseAdmin 55
4.8.1 About Web 56
4.8.2 Search Table 57
4.8.3 Create Table 58
4.8.4 Table Member 61
4.8.5 Scan Table 63
4.8.6 Read Table 65
4.8.7 Insert Data 68
4.8.8 Enable Table 71
4.8.9 Disable Table 74
4.8.10 Delete Table 77
第五章 結論與未來方向 80
5.1結論 80
5.2未來方向 80
文獻參考 81
文獻參考
[1]巨量資料的頭號救星—hadoop
(http://www.ithome.com.tw/node/73977)
[2]開放原始碼的雲端運算平台技術(1)初探Hadoop開放原始碼平台環境
(http://www.runpc.com.tw/content/cloud_content.aspx?id=105318)
[3]開發Hadoop雲端應用沒那麼難
(http://www.ithome.com.tw/node/58008)
[4]善用Hadoop 孕育多樣化產業應用
(http://www.digitimes.com.tw/tw/cloud/shwnws.asp?CnlID=16&;cat=80&;id=0000295142_HHR0J6EE5PPYJ11I5B1TO&;ct=1&;PACKAGEID=6265)
[5]什么是Zookeeper,Zookeeper的作用是什么,在Hadoop及hbase中具体作用是什么 - 布衣神帝
http://www.tuicool.com/articles/UFRRna
[6]ZooKeeper 简介
http://www.oschina.net/translate/zookeeper-overview
[7]擴充Hadoop功能的軍火庫
(http://www.ithome.com.tw/node/73980)
[8]zookeeper 入門 (來源於官方文檔)
(http://www.010cnc.net/subject/about/zookeeper%20%20%E5%85%A5%E9%96%80%20(%E4%BE%86%E6%BA%90%E6%96%BC%E5%AE%98%E6%96%B9%E6%96%87%E6%AA%94).html)
[9]Hadoop Taiwan User Group,HBase 介紹
(http://www.hadoop.tw/2008/11/hbase.html)
[10]大資料的2種資料處理機制即時資料處理的機制:以HBase為例
( http://www.ithome.com.tw/node/82609)
[11]電腦科技電子報 Facebook到底用了哪些技術?(上)
(http://www.syscom.com.tw/ePaper_Content_EPArticledetail.aspx?id=140&;EPID=168&;j=5&;HeaderName=%E7%A0%94%E7%99%BC%E6%96%B0%E8%A6%96%E7%95%8C)
[12]Apache Thrift入門1-架構&;介紹
( http://xahxy.blog.hexun.com.tw/83023794_d.html)
[13]Hadoop Wiki
(http://wiki.apache.org/hadoop/Hbase/PoweredBy)
[14]張修華,Hadoop平台上之病毒分析研究,靜宜大學,碩士論文,2012
[15]蔡碧展,基於Hadoop平台的雲端基因架構,國立高雄第一科技大學,碩士論文,2010
[16]李至善,Hadoop架構上之悲觀式診斷及修復實作,國立東華大學,碩士論文,2012
[17]吳俊德,基於Hadoop架構下運用Dual-cubes模型作三回合適性化診斷錯誤,國立東華大學,碩士論文,2012
[18]范國拯,動態重複資料刪除在Hadoop分散式檔案系統上,國立東華大學,碩士論文,2013
[19]郭文俊,高效能雲端儲存管理策略之研究,國立交通大學,碩士論文,2011
[20]廖丞宇,植基於Hadoop雲端運算架構之平行基因演算法與粒子群演算法的應用,崑山科技大學,碩士論文,2013
[21]黃安德,基於Hadoop的動態群組形成之集中式和MapReduce演算法研究,國立東華大學,碩士論文,2013
[22]周建廷,利用MapReduce軟體架構於Hadoop叢集 進行地貌型直接逕流模組演算之研究,國立臺灣師範大學,碩士論文,2011
[23]曾坤福,基於PHP與MySQL應用程式之Apache HBase分散式資料庫與關聯式資料庫中介橋接機制設計與實作,樹德科技大學,碩士論文,2012
連結至畢業學校之論文網頁點我開啟連結
註: 此連結為研究生畢業學校所提供,不一定有電子全文可供下載,若連結有誤,請點選上方之〝勘誤回報〞功能,我們會盡快修正,謝謝!
QRCODE
 
 
 
 
 
                                                                                                                                                                                                                                                                                                                                                                                                               
第一頁 上一頁 下一頁 最後一頁 top
無相關期刊