跳到主要內容

臺灣博碩士論文加值系統

(3.236.110.106) 您好!臺灣時間:2021/07/25 08:18
字體大小: 字級放大   字級縮小   預設字形  
回查詢結果 :::

詳目顯示

: 
twitterline
研究生:楊立行
研究生(外文):Li-Hsing Yang
論文名稱:雲端運算Hadoop架構下離峰時間資料讀取之節點能源管理
論文名稱(外文):Energy-Saving Management Policy of Node's Data Accessing in Off-peak Time under Hadoop
指導教授:曾嘉影
指導教授(外文):Chia-ying Tseng
口試委員:曾嘉影
口試委員(外文):Chia-ying Tseng
口試日期:2015-07-03
學位類別:碩士
校院名稱:大同大學
系所名稱:資訊工程學系(所)
學門:工程學門
學類:電資工程學類
論文種類:學術論文
論文出版年:2015
畢業學年度:103
語文別:中文
論文頁數:40
中文關鍵詞:資料讀取能源管理Hadoop
外文關鍵詞:data accessingenergy-saving managementHadoop
相關次數:
  • 被引用被引用:0
  • 點閱點閱:88
  • 評分評分:
  • 下載下載:18
  • 收藏至我的研究室書目清單書目收藏:1
隨著雲端計算技術的發展,效能更是發展的重點,但是效能的提升受限於硬體設備,當效能無法有效的提升的時候,如何節省耗能就變成了重要的課題。本論文是利用具有分散式運算特色的Hadoop架構,擁有專用的分散式檔案管理系統HDFS,以及使用一種能夠將大量資料做平行處理的MapReduce計算框架,在此架構下進行能源消耗的節能測試。
參考多種節能方法後發現,其中針對節點進行調度管理的節能方法Green HDFS對於節能擁有較好的效果,GreenHDFS是由Hadoop下的分散式檔案系統 HDFS演變而來的一種節約能源的資料分塊設計,本篇論文透過百度統計的網民上網時段分布圖資料,從而得知普遍的網路使用尖峰與離峰時段,由於尖峰時段資料讀取量過高,若是將節點休眠可能不但沒有達到節能的效果,反而要付出更多的能源代價,所以針對使用者資料讀取離峰時間下的節點進行重新分配管理以節約能源。從尖峰時段進入離峰時段後資料量讀取量應該會漸漸降低,所以節點就有閒置的可能,將可能閒置的節點進入休眠狀態,讓剩下的節點進行資料處理,並且在資料量大或者是進入尖峰時間時才去喚醒休眠節點。
實驗結果表明,比起原本的 GreenHDFS執行任務時的耗能,在離峰時間下將可能閒置節點進入休眠狀態之後,可以有效的降低整體的21%能源消耗。
With cloud computing technology was developed, performance is a key point, however it is limited by the hardware devices. When the performance is unable to improve effectively, energy-saving becomes an important issue. This paper uses Hadoop's distributed compute framework called MapReduce, and exploits the distributed storage architecture of Hadoop's distributed file system HDFS to do the energy-saving test.
After referring many energy-related technical, we found a method had a better effect on energy-saving that is GreenHDFS. It is a subproject of the Apache Hadoop projects, and evolved from HDFS. In this paper, we know the internet use peak time and off-peak time through Bai-du statistic's survey. When the capacity of data processing is too high, we don’t let the node into sleep mode, it maybe not only can't save energy but paying for more energy. Therefore, we design an energy-saving management policy for the user to access data from the node in off-peak time. It will reallocate and manage the task on nodes. As the time from peak time to off-peak time, the capacity of data processing will slowly down and some nodes maybe idle. To avoid this problem, some of the nodes will go into sleep mode, and allow other nodes to access data. The sleep node will be awaked for large amounts of data into the node.
The Experimental results shows, compared to the original method, in off-peak time to allow the idle node going into sleep mode can effectively reducing the overall energy consumption of 21%.
誌謝 i
摘要 ii
Abstract iii
目錄 iv
圖次 vi
表次 vii
第壹章 緒論 1
第一節 前言 1
第二節 雲端運算服務架構與模型介紹 1
第三節 節能需求與技術探討 5
第四節 研究架構概述 6
第貳章 Hadoop架構下節能之相關技術 7
第一節 Hadoop雲端運算平台 7
第二節 分散式檔案管理系統HDFS 8
第三節 MapReduce運算框架 10
第四節 覆蓋子集的節能模型 11
第五節 GreenHDFS 12
第參章 雲端資料讀取的能源管理策略 16
第一節 能源管理策略分析 16
第二節 節能部署策略架構及步驟 17
第三節 節能部署策略 19
第肆章 實驗與討論 22
第一節 實驗環境 22
第二節 分析使用者上網時間分布 24
第三節 GreenHDFS和離峰時間資料讀取的節能方法分析 25
第伍章 結論與未來工作 29
參考文獻 31
[1]廖彬、于炯、張陶、楊興耀、英昌甜,民102,『一種適應節能的雲存儲系統元數據動態建模與管理方法』,小型微型計算機系統,第34卷,第十期:2407~2412頁。
[2]鄭宗庭、王朱福、邱暘智,民102,『雲端運算之節能資源分配方法』,2013數位內容與數位互動論文集。
[3]Leverich, J., Kozyrakis, C. 2010. "On the energy (in) efficiency of Hadoop clusters," ACM SIGOPS Operating Systems Review, pp.61-65.
[4]Jam, M.R., Khanli, L.M., Akbari, M.K., Hormozi, E., Javan, M.S. 2013. "Survey on improved Auto-scaling in Hadoop into cloud environments," 2012 SC Companion: High Performance Computing, Networking Storage and Analysis, pp.19-23.
[5]Kaushik, R.T., Bhandarkar, M. 2010. "GreenHDFS: towards an energy-conserving, storage-efficient, hybrid Hadoop compute cluster," Proceedings of the 2010 International Conference on Power Aware Computing and Systems, pp.1-9.
[6]Kaushik, R.T., Bhandarkar, M., Nahrstedt, K. 2010. "Evaluation and analysis of Green-HDFS: a self-adaptive,energy conserving variant of the hadoop distributed file system," Proceedings of the 2nd IEEE International Conference on Cloud Computing Technology and Science, pp.274-287.
[7]廖彬、于炯、張陶、楊興耀,民102,『基於分佈式文件系統HDFS的節能算法』,中國計算機學報,第36卷, 第五期:1047~1064頁。
[8]Narayan, S., Bailey, S., and Daga, A. 2012. "Hadoop Acceleration in an OpenFlowbased cluster," 2012 SC Companion: High Performance Computing, Networking Storage and Analysis, pp. 535-538.
[9]百度統計,『網民上網時間分布』,百度統計流量研究院,2015(來源網址:http:// tongji.bai-du.com/data/hour)。
[10]Samuel, T. King., George, W. Dunlap., Peter, M. Chen. 2003. "Operating System Support for Virtual Machines," Proceedings of the 2003 USENIX Technical Conference.
[11]Arindam, C., Elisa, H., Miquel, A. S. 2012. "Provisioning Hadoop Virtual Cluster in Opportunistic Cluster," 2012 Guía del conferenciante Jornadas SARTECO.
[12]金晶、王妍、李昕、陳山枝,民101,『MapReduce架構的多控制節點改進』,北京郵電大學學報,第35卷,第四期:89~93頁。
[13]徐藝境、欒鐘治、錢德沛,民101,『基於HDFS集群的兩種功率預測控制策略設計與分析』,高性能計算發展與應用,第40卷,第三期:70~73頁。
[14]Eugen, F., Lavanya, R., Christine, M. 2013. "On the Performance and Energy Efficiency of Hadoop Deployment Models," 2013 IEEE International Conference on Big Data.
QRCODE
 
 
 
 
 
                                                                                                                                                                                                                                                                                                                                                                                                               
第一頁 上一頁 下一頁 最後一頁 top
無相關論文
 
1. 李永展,「水足跡:水資源永續利用的衡量工具」,經濟前瞻雜誌,第151期,(2014年1月),頁25-29。
2. 71. 藍瑞霓,「國小教師工作滿意度調查研究」,屏東師院學報,第11期,民國87年,頁55-80。
3. 63. 鄭伯壎、周麗芳、樊景立,「家長式領導:三元模式的建構與測量」,本土心理學研究第14期,民國89年,頁308-317。
4. 61. 鄭伯壎,「差序格局與華人組織行為」,本土心理學研究,第3期,民國84年,頁112-135。
5. 40. 陳孟修、林麗芬,「個人特徵、人格特質與員工工作生活品質對組織承諾的影響之研究」,企銀季刊,第24卷,第5期,民國90年,頁63-77。
6. 27. 凌文輇,「中國文化與華人組織領導」,本土心理學研究,第13期,民國89年。
7. 〔7〕 林志鴻、許晉嘉,「宅配業車輛路線問題之研究」,中華民國運輸計畫季刊運輸計劃季刊,第三十五卷第四期,頁443-474,民國95年。
8. 蔡育岱、譚偉恩,「雙胞胎或連體嬰:論安全研究與和平研究之關聯性」,國際關係學報,第25期,(2008年1月),頁77-118。
9. 蔡育岱,「從人類發展到台灣安全:非傳統與傳統安全之間的聯結」,戰略安全研析,第57期,( 2010年1月 ),頁11-16。
10. 洪志銘,「台灣的地下水資源管理地層下陷篇」,經濟前瞻雜誌,第151期,(2014年1月),頁30-33。
11. 姚嘉耀、王慶豐、陳進興、邱奕霖,「氣候變遷濁水溪流域降雨趨勢初步探討」,水利期刊,第21期,(2011年12月),頁30-44。
12. 林泰和,「水資源的安全與戰略意涵」,國際政治與經濟論叢,第2期,(2014年12月),頁49-79。
 
無相關點閱論文