資料載入處理中...
跳到主要內容
臺灣博碩士論文加值系統
:::
網站導覽
|
首頁
|
關於本站
|
聯絡我們
|
國圖首頁
|
常見問題
|
操作說明
English
|
FB 專頁
|
Mobile
免費會員
登入
|
註冊
切換版面粉紅色
切換版面綠色
切換版面橘色
切換版面淡藍色
切換版面黃色
切換版面藍色
功能切換導覽列
(44.220.255.141) 您好!臺灣時間:2024/11/04 03:04
字體大小:
字級大小SCRIPT,如您的瀏覽器不支援,IE6請利用鍵盤按住ALT鍵 + V → X → (G)最大(L)較大(M)中(S)較小(A)小,來選擇適合您的文字大小,如為IE7或Firefoxy瀏覽器則可利用鍵盤 Ctrl + (+)放大 (-)縮小來改變字型大小。
字體大小變更功能,需開啟瀏覽器的JAVASCRIPT功能
:::
詳目顯示
recordfocus
第 1 筆 / 共 1 筆
/1
頁
論文基本資料
摘要
外文摘要
目次
參考文獻
電子全文
紙本論文
論文連結
QR Code
本論文永久網址
:
複製永久網址
Twitter
研究生:
蕭嘉宏
研究生(外文):
Jia-Hong Siao
論文名稱:
使用Hadoop搭配PHP連結管理HBase
論文名稱(外文):
Using Hadoop with PHP linking to manage HBase
指導教授:
劉柏伸
學位類別:
碩士
校院名稱:
僑光科技大學
系所名稱:
資訊科技研究所
學門:
電算機學門
學類:
電算機一般學類
論文種類:
學術論文
論文出版年:
2014
畢業學年度:
102
語文別:
中文
論文頁數:
94
中文關鍵詞:
分散式運算
外文關鍵詞:
Hadoop
、
Thrift
、
PHP
、
HBase
相關次數:
被引用:0
點閱:975
評分:
下載:196
書目收藏:1
在日新月異的時代裡,資訊的流通速度逐年增加,同樣地資料處理的速度相對需要增進許多,而雲端處理技術也因此發展了出來。雲端運算透過網際網路來把巨量的資料透過運算程序,分成數個小型運算分給叢集內的電腦作運算,再交由數台分配任務的伺服器叢集而成的系統,透過分析與運算,將所得的結果回傳給使用者。在Hadoop來說,會把需要的資料分為數個子項目(Mapper) ,處理完畢後,再做資料的結合(Reduce),而此一作法我們通稱為『分散式運算』。
然而Hadoop搭配上HBase,可藉由儲存在資料庫的資料來做分散式運算,也較方便歸類整理與處理大量的資料。但是,在HBase的操作上卻是大大的不便捷,本論文搭配PHP網頁的方式,以及使用Thrift套件作為溝通的橋樑,來去直接存取HBase的基礎功能(如資料表的查詢、新增、更新、關閉、刪除等),在操作上定能大大的提升方便性與讓使用者快速上手。
In the fast-changing age, information flow speed increases every year and data-processing speed is required to improve a lot. Cloud technology is also opened up for research and development. Cloud computing makes huge amounts of data operations divided into several small operation tasks to a cluster of computers through the Internet, and the results of data operations are sent back to the users. Hadoop Mapper divides the job into several sub-tasks, and Reducer combines the results of each Mapper. This is known as "distributed computing".
HBase over the Hadoop platform supports distributed database and computing to arrange and process large amounts of data. However, HBase is significantly difficult to operate. This paper uses PHP linking to the HBase, as well as we use the Thrift package to communicate with the HBase. So uses are able to access HBase functions (e.g., query, insert, update, disable, delete …) directly and easily.
摘要 i
Abstract v
目錄 vi
圖目錄 x
第一章 緒論 1
1.1 研究動機與目的 1
1.2 研究方法與流程 1
1.3 論文架構 3
第二章 文獻探討 4
2.1 Hadoop 4
2.2 Zookeeper 5
2.3 HBase 5
2.4 Apache Thrift 6
2.4.1 Thrift 基礎架構 7
2.5 Hadoop研究趨勢 8
第三章 研究方法 10
3.1 研究方法與流程 10
3.2 Hadoop平台架設實作流程 10
3.3 Apache Thrift環境架設實作流程 11
3.4 HBaseAdmin功能詳細說明 11
3.4.1 Search Table功能介紹 12
3.4.2 Create Table功能介紹 12
3.4.3 Table Member功能介紹 12
3.4.4 Scan Table功能介紹 12
3.4.5 Read Table功能介紹 12
3.4.6 Insert Table功能介紹 12
3.4.7 Enable Table功能介紹 12
3.4.8 Disable Table功能介紹 13
3.4.9 Delete Table功能介紹 13
第四章 實驗結果 14
4.1 Linux系統設定 14
4.1.1 Install Ubuntu 13.10 14
4.1.2 Set Network Configure 14
4.1.3 Set Hosts 15
4.1.4 Install SSH 15
4.1.5 Install JAVA JDK 16
4.2 Hadoop平台架設與啟動 17
4.2.1 Configure core-site.xml 17
4.2.2 Configure hdfs-site.xml 17
4.2.3 Configure mapred-site.xml 18
4.2.4 Configure hadoop-env.sh 18
4.2.5 Configure masters 18
4.2.6 Configure slaves 18
4.2.7 配發到各台Slave 18
4.2.8 設置環境變數 18
4.2.9啟動Hadoop並觀察狀態 19
4.2.10查詢Hadoop版本 21
4.2.11開啟瀏覽器觀察Hadoop叢集相關資訊(50030、50070) 21
4.3 Zookeeper參數設定與啟動 22
4.3.1建立Zookeeper運作時需要的目錄並複製預設設定檔 22
4.3.2修改zoo.cfg 22
4.3.3分配到各台Slave 23
4.3.4分別依zoo.cfg內設定的server順序,寫入內容僅一行的myid文件 23
4.3.5 在每台機器上啟動Zookeeper,並查詢Zookeeper狀態 24
4.3.6 使用jps指令,觀察Zookeeper服務啟動的狀態 24
4.4 HBase參數設定與啟動 25
4.4.1 Configure hbase-env.sh 25
4.4.2 Configure hbase-site.xml 25
4.4.3 Configure regionservers 26
4.4.4同步化jar檔 26
4.4.5分配到各個Slave上 26
4.4.6 啟動Hadoop並創建HBase目錄 27
4.4.7 添加HBase環境變數 27
4.4.8啟動HBase並使用jps指令觀察服務狀態 28
4.4.9開啟瀏覽器觀察HBase叢集相關資訊(60010、60030) 29
4.5 LAMP(Linux、Apache、MySQL、PHP)網頁伺服器安裝與配置 30
4.6 Apache Thrift編譯安裝與產生接口文件 30
4.6.1安裝Thrift及PHP依賴包 30
4.6.2執行bootstrap.sh產生配置腳本 30
4.6.3執行configure產生配置訊息 31
4.6.4編譯及安裝 31
4.6.5查詢Thrift版本 32
4.6.6啟動Thrift Server 32
4.6.7編譯thrift_protocol 33
4.6.8產生連結檔案 34
4.7 使用PHP操作HBase 35
4.7.1 搜尋現有資料表 35
4.7.2 建立資料表 37
4.7.3 鍵入資料 40
4.7.4 讀取資料表資料 43
4.7.5 讀取資料表欄位資訊 46
4.7.6 關閉已啟用的資料表 49
4.7.7 刪除資料表 52
4.8 實作HBaseAdmin 55
4.8.1 About Web 56
4.8.2 Search Table 57
4.8.3 Create Table 58
4.8.4 Table Member 61
4.8.5 Scan Table 63
4.8.6 Read Table 65
4.8.7 Insert Data 68
4.8.8 Enable Table 71
4.8.9 Disable Table 74
4.8.10 Delete Table 77
第五章 結論與未來方向 80
5.1結論 80
5.2未來方向 80
文獻參考 81
文獻參考
[1]巨量資料的頭號救星—hadoop
(http://www.ithome.com.tw/node/73977)
[2]開放原始碼的雲端運算平台技術(1)初探Hadoop開放原始碼平台環境
(http://www.runpc.com.tw/content/cloud_content.aspx?id=105318)
[3]開發Hadoop雲端應用沒那麼難
(http://www.ithome.com.tw/node/58008)
[4]善用Hadoop 孕育多樣化產業應用
(http://www.digitimes.com.tw/tw/cloud/shwnws.asp?CnlID=16&;cat=80&;id=0000295142_HHR0J6EE5PPYJ11I5B1TO&;ct=1&;PACKAGEID=6265)
[5]什么是Zookeeper,Zookeeper的作用是什么,在Hadoop及hbase中具体作用是什么 - 布衣神帝
http://www.tuicool.com/articles/UFRRna
[6]ZooKeeper 简介
http://www.oschina.net/translate/zookeeper-overview
[7]擴充Hadoop功能的軍火庫
(http://www.ithome.com.tw/node/73980)
[8]zookeeper 入門 (來源於官方文檔)
(http://www.010cnc.net/subject/about/zookeeper%20%20%E5%85%A5%E9%96%80%20(%E4%BE%86%E6%BA%90%E6%96%BC%E5%AE%98%E6%96%B9%E6%96%87%E6%AA%94).html)
[9]Hadoop Taiwan User Group,HBase 介紹
(http://www.hadoop.tw/2008/11/hbase.html)
[10]大資料的2種資料處理機制即時資料處理的機制:以HBase為例
( http://www.ithome.com.tw/node/82609)
[11]電腦科技電子報 Facebook到底用了哪些技術?(上)
(http://www.syscom.com.tw/ePaper_Content_EPArticledetail.aspx?id=140&;EPID=168&;j=5&;HeaderName=%E7%A0%94%E7%99%BC%E6%96%B0%E8%A6%96%E7%95%8C)
[12]Apache Thrift入門1-架構&;介紹
( http://xahxy.blog.hexun.com.tw/83023794_d.html)
[13]Hadoop Wiki
(http://wiki.apache.org/hadoop/Hbase/PoweredBy)
[14]張修華,Hadoop平台上之病毒分析研究,靜宜大學,碩士論文,2012
[15]蔡碧展,基於Hadoop平台的雲端基因架構,國立高雄第一科技大學,碩士論文,2010
[16]李至善,Hadoop架構上之悲觀式診斷及修復實作,國立東華大學,碩士論文,2012
[17]吳俊德,基於Hadoop架構下運用Dual-cubes模型作三回合適性化診斷錯誤,國立東華大學,碩士論文,2012
[18]范國拯,動態重複資料刪除在Hadoop分散式檔案系統上,國立東華大學,碩士論文,2013
[19]郭文俊,高效能雲端儲存管理策略之研究,國立交通大學,碩士論文,2011
[20]廖丞宇,植基於Hadoop雲端運算架構之平行基因演算法與粒子群演算法的應用,崑山科技大學,碩士論文,2013
[21]黃安德,基於Hadoop的動態群組形成之集中式和MapReduce演算法研究,國立東華大學,碩士論文,2013
[22]周建廷,利用MapReduce軟體架構於Hadoop叢集 進行地貌型直接逕流模組演算之研究,國立臺灣師範大學,碩士論文,2011
[23]曾坤福,基於PHP與MySQL應用程式之Apache HBase分散式資料庫與關聯式資料庫中介橋接機制設計與實作,樹德科技大學,碩士論文,2012
電子全文
國圖紙本論文
連結至畢業學校之論文網頁
點我開啟連結
註: 此連結為研究生畢業學校所提供,不一定有電子全文可供下載,若連結有誤,請點選上方之〝勘誤回報〞功能,我們會盡快修正,謝謝!
推文
當script無法執行時可按︰
推文
網路書籤
當script無法執行時可按︰
網路書籤
推薦
當script無法執行時可按︰
推薦
評分
當script無法執行時可按︰
評分
引用網址
當script無法執行時可按︰
引用網址
轉寄
當script無法執行時可按︰
轉寄
top
相關論文
相關期刊
熱門點閱論文
1.
基於Hadoop平台的雲端基因架構
2.
基於PHP與MySQL應用程式之Apache HBase 分散式資料庫與關聯式資料庫中介橋接機制設計與實作
3.
利用MapReduce軟體架構於Hadoop叢集進行地貌型直接逕流模組演算之研究
4.
Hadoop架構上之悲觀式診斷及修復實作
5.
高效能雲端儲存管理策略之研究
6.
Hadoop平台上之病毒分析研究
7.
基於Hadoop的動態群組形成之集中式和MapReduce演算法研究
8.
動態重複資料刪除在Hadoop分散式檔案系統上
9.
植基於Hadoop雲端運算架構之平行基因演算法與粒子群演算法的應用
10.
基於Hadoop架構下運用Dual-cubes模型作三回合適性化診斷錯誤
11.
基於Android與雲端平台嵌入式心電圖監控系統的研發
12.
Cloud BIM: 應用雲端運算與WebGL技術之網路式BIM系統
13.
雲端平台大數據資料庫研究-以報關訊息資料為例
14.
整合式交通資訊服務雲系統之實作
15.
基於Hadoop MapReduce與HBase之醫療資訊快速分析平台
無相關期刊
1.
基於PHP與MySQL應用程式之Apache HBase 分散式資料庫與關聯式資料庫中介橋接機制設計與實作
2.
Hadoop 雲端運算平台效能模式之評估與改善
3.
基於Hadoop MapReduce叢集設計平行化二元分類演算法
4.
結合PHP與CSS框架之網站建置最佳化
5.
Openstack與Hadoop整合與研究
6.
在Hadoop平台下使用資料分群方法分析台灣農作物之價量資訊
7.
以Hadoop為平台-結合異質資料庫與Hive之加速查詢應用
8.
應用派翠網路於Hadoop MapReduce 框架之建模與分析
9.
以jQuery與PHP為基礎之行動線上同儕評量系統的開發與評估
10.
動態網頁應用程式調校-以Apache+PHP+MySQL為例
11.
基於 Hadoop 與 HBase 平台之 LCD Flicker 雲端儲存系統之實作
12.
利用Hadoop建立樣式歷史資料之趨勢索引
13.
利用Hadoop平台建立雲端醫學影像資料共享之研究
14.
基於Hadoop的動態群組形成之集中式和MapReduce演算法研究
15.
提升Hadoop MapReduce計算效能之研究-以抽取樣式歷史為例
簡易查詢
|
進階查詢
|
熱門排行
|
我的研究室