跳到主要內容

臺灣博碩士論文加值系統

(44.201.97.0) 您好!臺灣時間:2024/04/24 10:26
字體大小: 字級放大   字級縮小   預設字形  
回查詢結果 :::

詳目顯示

: 
twitterline
研究生:劉銘勝
研究生(外文):Ming-Sheng Liu
論文名稱:Hadoop 應用於 Cisco Netflow 路由封包 統計與異常流量分析之探討
論文名稱(外文):Study of Hadoop applied to routing packets Cisco Netflow statistics and the analysis of abnormal flow
指導教授:林正雄林正雄引用關係
指導教授(外文):Cheng-Hsiung Lin
口試委員:洪國銘徐任德
口試委員(外文):Kuo-Ming HungZen-Der Shyu
口試日期:2015-06-08
學位類別:碩士
校院名稱:萬能科技大學
系所名稱:資訊管理研究所在職專班
學門:電算機學門
學類:電算機一般學類
論文種類:學術論文
論文出版年:2015
畢業學年度:103
語文別:中文
論文頁數:54
中文關鍵詞:分散式處理大數據
外文關鍵詞:HadoopMapReduceBigData
相關次數:
  • 被引用被引用:0
  • 點閱點閱:488
  • 評分評分:
  • 下載下載:10
  • 收藏至我的研究室書目清單書目收藏:1
本研究主要的目的是利用 Hadoop 作為平台,採用 MapReduce 演算方法,
來統計分析巨量資料(Big Data),分析其運算之效能、計算其時間與 Row Data
統計之比較。研究以學校網路流量為統計分析的目標,透過收集路由器(Router)
封包傳送紀錄,解析其來源與目的地 IP 位址,資料量大小與封包數量,並進行
統計,計算出單一 IP 位址,當日流入與流出資料量加總數據,統計完成後排序
當日前百名 IP 位址,作為異常流量追蹤分析的對象。一般巨量資料運用於 Row
data 串列讀取後再進行計算,所耗費的時間較長,無法滿足要即時運算出結果
之需求。如能將巨量資料先行 Map 後再進行 Reduce 之運作方式,則可加快運
算結果而達到立即查詢之目的,且可有效改善網路流量統計運算方式,亦為本
研究之目標。
The main purpose of this study is to use Hadoop as a platform, using
MapReduce calculation methods to analyze big data statistics, to analyze the
effectiveness of the operation, the calculation of time compared with Row Data
statistics. Research on school network traffic targeted statistical analysis,
collected through a router packet transfer records, parsing the source and
destination IP address, the amount of data packet size and number, and statistics
to calculate a single IP address, the day the amount of inflow and outflow data
aggregated data, statistics after the completion of the sort recently when
hundreds of IP addresses, to track objects as abnormal flow analysis. Row data is
generally used in a huge amount of data read after the tandem calculated, the
cost of a longer time, unable to meet the immediate needs of the result of the
calculation. Such as big data can then carry out the operation in advance Map
Reduce the way, you can speed up the immediate result of the operation to
achieve the purpose of the inquiry, and can effectively improve network traffic
statistics computation methods, is also the goal of research.
中文摘要 i
ABSTRACT ii
目錄 iii
圖目錄 V
表目錄 Vii

第一章 緒論 1
1.1 研究背景 1
1.2 研究動機與研究目的 3
1.3 論文架構 4
第二章 文獻探討 5
2.1 CentOS 5
2.2 Hadoop 5
2.3 HDFS 7
2.3.1 HDFS的基本概念與架構圖: 8
2.3.2 HDFS寫檔流程 9
2.3.3 HDFS讀檔流程 10
2.3.4 HDFS注意項目 12
2.4 MapReduce 12
2.4.1 MapReduce運作過程 15
2.4.2 Mapper與Reduce 16
2.4.3 YARN(MapReduce2) 20
第三章 研究方法 22
3.1 配置平臺: 22
3.2 Hadoop安裝配置 23
3.2.1 準備Linux環境與JDK 23
3.2.2 Hadoop安裝 24
3.2.3 設定SSH無密碼連接 25
3.3 Router設置 25
3.3.1 NetFlow 轉送紀錄範例 27
3.3.2 MapReduce 程式 28
3.3.3 Reduce 程式 29
第四章 實驗系統實作與測試 30
4.1 硬體設備規劃 30
4.2 系統調試分析與改善 34
4.3 測試分析 39
4.3.1 日網路流量統計 40
4.3.2 月網路流量統計 43
4.3.3 七個月統計計算流量 47
第五章 結論建議 51
5.1 研究結論 51
5.2 研究建議 51
參考文獻 53
[1]Sanjay Ghemawat、Howard Gobioff and Shun-Tak Leung “The Google File System”,Google,2003。
[2]Jeffrey Dean and Sanjay Ghemawat,"MapReduce: Simplified Data Processing on Large Clusters",Google,2004。
[3]Fay Chang、Jeffrey Dean、Sanjay Ghemawat、Wilson C. Hsieh, Deborah A. Wallach Mike Burrows、Tushar Chandra、Andrew Fikes、Robert E. Gruber “Bigtable: A Distributed Storage System for Structured Data”,Google,2006。
[4]Sameer Wadkar、Siddalingaiah and Jason Venner,Pro Apache Hadoop,Apress,2014。
[5]Tom White,Hadoop:The Definitive Guide,3rd Edition,O’Reilly,2013。
[6]HDFS (hadoop distributed file system) architecture,http://hadoop. apache.org/common/docs/current/hdfs design.html,2009。
[7]The architecture of HDFS is described in “The Hadoop Distributed File System” by Konstantin Shvachko,Hairong Kuang, Sanjay Radia, and Robert Chansler (Proceedings of MSST2010, May 2010,http://storageconference.org/2010/Papers/MSST/Shvachko.pdf) 。
[8]“Scaling Hadoop to 4000 nodes at Yahoo!”, https://developer.yahoo.com/blogs/hadoop/scaling-hadoop-4000-nodes-yahoo-410.html。
[9]See Chapter 9 for a typical machine specification。
[10]For an in-depth exposition of the scalability limits of HDFS,see Konstantin V. Shvachko’s “Scalability of the Hadoop Distributed File System” (http://developer.yahoo.net/blogs/hadoop/2010/05/scalability_of_the_hadoop_dist.html) and the companion paper,“HDFS Scalability: The limits to growth” (April 2010,pp. 6–16),http://www.usenix.org/publications/login/2010-04/openpdfs/shvachko.pdf),by the same author。
[11]J. Dean、S. Ghemawat,Mapreduce: simplified data processing on large clusters,Communications of the ACM 51 (2008) 107–113。
[12]H. Jin、K. Qiao、X. H. Sun and Y. Li,"Performance under Failures of MapReduce Applications" 11th IEEE/ACM International Symposium on Cluster,Cloud and Grid Computing (CCGrid),pp.608-609,May (2011)。
[13]Donald Miner and Adam Shook,"MapReduce Design Patterns",O’Reilly,2012。
[14]Arun C. Murthy,Vinod Kumar Vavilapalli,Doug Eadline ,Joseph Niemiec and Jeff Markham,“Apache Hadoop™ YARN”,Addison-Wesley,2014。
QRCODE
 
 
 
 
 
                                                                                                                                                                                                                                                                                                                                                                                                               
第一頁 上一頁 下一頁 最後一頁 top
無相關期刊