跳到主要內容

臺灣博碩士論文加值系統

(44.222.218.145) 您好!臺灣時間:2024/02/26 23:17
字體大小: 字級放大   字級縮小   預設字形  
回查詢結果 :::

詳目顯示

我願授權國圖
: 
twitterline
研究生:游輝評
研究生(外文):Hui-Ping Yu
論文名稱:應用熵與主成分分析法於網路流量分析之實現與探討
論文名稱(外文):An implementation and study of entropy and principal component analysis on Network Traffic
指導教授:賴裕昆
指導教授(外文):Yu-Kuen Lai
學位類別:碩士
校院名稱:中原大學
系所名稱:通訊工程碩士學位學程
學門:工程學門
學類:電資工程學類
論文種類:學術論文
論文出版年:2014
畢業學年度:102
語文別:中文
論文頁數:62
中文關鍵詞:NetFPGA-10G網路流量異常偵測
外文關鍵詞:NetFPGA-10GEntropyNetwork Anomaly Detection
相關次數:
  • 被引用被引用:0
  • 點閱點閱:257
  • 評分評分:
  • 下載下載:0
  • 收藏至我的研究室書目清單書目收藏:0
在現今網路環境下,有許多的攻擊或是異常的發生,如蠕蟲、分散式阻斷攻
擊、端口掃描等,這些攻擊會造成網路的分佈改變,熵(Entropy)是一種用來量測資料分散與聚集程度的指標,熵的值越高表示資料分佈越分散,而熵的值越低表示資料分布較集中。針對網路封包標頭資訊進行熵值的分析,可以從中得知網路流量分佈的改變,進而找出是否存在異常行為或攻擊的事件,因此,運用熵值分析的技巧被廣泛地應用在網路安全相關的應用。
在高速網路的環境下,要將所有封包標頭資訊做即時的統計並計算熵值需要耗費大量的計算和儲存資源,以前的分析方法,皆需要先將資料進行儲存,藉由分析工具進行處裡,如此一來,無法即時的發現異常,本論文提出一個估計熵的方法,可以快速的統計封包流的資訊做一次性的處理,利用速寫演算法減少儲存空間,並且結合主成分分析(PCA)做即時的網路流量分析,在異常流量發生當下能夠即時發現。本論文根據Ashwin Lall等人所提出的川流估計熵演算法,使用速寫演算法取代其精確計數的部分,並結合蓄水池取樣演算法,在未知長度的川流資料中以一次性的處理手法,快速的統計封包流的資訊,本論文使用較少的記憶體空間,將量測系統實現於NetFPGA-10G開發平台並且驗證其高速熵值計算的準確性。


It is a challenge task to conduct Entropy computation over the attributes of network packet header for high-speed computer network. In this thesis, we present a scheme to estimate entropy of high-speed network streams. It is based on the algorithm presented by Ashwin Lall et al., we replace the exact count by Count Sketch and use Reservoir Sampling to resolve the issue of unknown length of data stream. We implement the measurement system on a NetFPGA-10G platform with principal component analysis (PCA) for real-time network traffic analysis.

目錄
摘要 I
Abstract II
誌謝 III
目錄 IV
圖目錄 VII
表目錄 IX
1 緒論
1.1 動機. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 研究目的. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 論文架構. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
2 研究背景與文獻探討
2.1 網路異常的行為. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2.2 取樣(sampling) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2.3 熵(entropy) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.3.1 相對熵(K-L distance) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.3.2 基於熵的網路流量異常分析. . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.3.3 熵的量測標的. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.3.4 川流估計熵演算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.3.5 川流估計熵演算法探討. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.4 主成分分析(PCA) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.4.1 結合熵與主成分分析於網路流量異常分析. . . . . . . . . . . . . . . . . . . 16
2.5 速寫演算法(Sketch) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.5.1 Count Sketch演算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.5.2 Count-Min Sketch演算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.5.3 Count Sketch與Count-Min Sketch的比較. . . . . . . . . . . . . . . . . . . . 21
3 實驗環境與系統設定
3.1 NetFPGA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3.2 OSNT(Open Source Network Tester ) . . . . . . . . . . . . . . . . . . . . . . . . . 24
3.3 Count Sketch 結合川流估計熵演算法. . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.4 演算法探討與比較. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
4 系統架構
4.1 量測模組的硬體架構實現. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
4.1.1 封包更新的硬體實現. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
4.1.2 取樣機制的實現. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
4.2 網路流量分析模組的軟體架構實現. . . . . . . . . . . . . . . . . . . . . . . . . . . 35
5 測試與探討
5.1 Count Sketch估計熵準確度測試. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
5.2 量測模組功能驗證- Count Sketch . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
5.2.1 實際硬體驗證Count Sketch功能. . . . . . . . . . . . . . . . . . . . . . . . . 39
5.3 量測模組功能驗證- Estimator Table . . . . . . . . . . . . . . . . . . . . . . . . . . 41
5.4 線速測試- OSNT測試. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
5.5 系統功能測試. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
6 結論與未來展望
6.1 結論. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
6.2 未來展望. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
圖目錄
2.1 A.Lall川流估計熵演算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.2 A. Lall川流估計熵演算法取樣. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.3 雜湊函數計數示意圖. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.4 Count Sketch演算法計數示意圖. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.5 Count-Min 速寫演算法計數示意圖. . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.1 架構圖[1] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.2 NetFPGA-1G[2] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.3 NetFPGA-10G[2] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
3.4 OSNT Trac Generator圖形化介面. . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.5 OSNT Trac Monitor圖形化介面. . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.6 使用空間大小與錯誤率. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
4.1 系統架構. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
4.2 NetFPGA架構. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
4.3 量測模組. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
4.4 Count Sketch 封包更新模擬. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
4.5 蓄水池取樣的封包取樣. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
5.1 Count Sketch計數器個數與估計熵錯誤率分析. . . . . . . . . . . . . . . . . . . . . 38
5.2 Count Sketch 軟硬體計數驗證. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
5.3 OSNT線速測試圖. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
5.4 OSNT線速驗證流量產生器. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
5.5 OSNT線速驗證觀測器. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
5.6 使用兩台流量產生器OSNT線速測試圖. . . . . . . . . . . . . . . . . . . . . . . . . 45
5.7 slammer蠕蟲攻擊熵值變化. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
表目錄
2.1 網路異常與流量特徵關係[3] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2.2 流量特徵與偵測能力的比較[4] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.3 計算Entropy norm軟體與硬體錯誤率比較[5] . . . . . . . . . . . . . . . . . . . . . . 14
2.4 Count Sketch與Count-Min Sketch的比較表[6] . . . . . . . . . . . . . . . . . . . . . 21
3.1 記憶體存取次數. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.2 使用空間大小與錯誤率. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
4.1 Slammer特徵值與累計分佈. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
4.2 Slammer 因子負荷. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
5.1 流量紀錄檔資訊. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
5.2 Count Sketch空間大小與估計熵錯誤率分析. . . . . . . . . . . . . . . . . . . . . . 38
5.3 tcpreplay測試量測模組結果. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
5.4 不同連結數播放相同IP測試OSNT最大線速. . . . . . . . . . . . . . . . . . . . . . 42
5.5 不同連結數播放不同IP測試OSNT最大線速. . . . . . . . . . . . . . . . . . . . . . 44
5.6 使用兩台OSNT流量產生器測試播放相同IP之線速. . . . . . . . . . . . . . . . . . . 46
5.7 估計熵系統線速測試. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

[1] J. Naous, G. Gibb, S. Bolouki, and N. McKeown, _NetFPGA: Reusable router architecture for experimental research,_ in Proceedings of the ACM Workshop on Programmable Routers for Extensible Services of Tomorrow, PRESTO '08, (New York, NY, USA), pp. 1_7, ACM, 2008.
[2] NetFPGA, http://netfpga.org/.
[3] A. Lakhina, M. Crovella, and C. Diot, _Mining anomalies using traffic feature distributions,_ in Proceedings of the 2005 Conference on Applications, Technologies, Architectures, and Protocols for Computer Communications, SIGCOMM '05, (New York, NY, USA), pp. 217_228, ACM,2005.
[4] M. Sqalli, S. Firdous, K. Salah, and M. Abu-Amara, _Identifying network traffic features suitable for honey-net data analysis,_ in 2011 24th Canadian Conference on Electrical and
Computer Engineering (CCECE), pp. 001044_001048, May 2011.
[5] S. Nagalakshmi, _Study of FPGA implementation of entropy norm computation for IP data streams,_ Graduate Theses and Dissertations, June 2008.
[6] Comparing count sketches and count min sketches, http://www.cs.yale.edu/homes/el327/datamining2013aFiles/2012_example_student_project_1.pdf.
[7] A. Lall, V. Sekar, M. Ogihara, J. Xu, and H. Zhang, _Data streaming algorithms for estimating entropy of network traffic,_ in Proceedings of the Joint International Conference on Measurement and Modeling of Computer Systems, SIGMETRICS '06/Performance '06, (New York, NY, USA), pp. 145_156, ACM, 2006.
[8] Y.-K. Lai, T. Wellem, and H.-P. Yu, _Hardware-assisted estimation of entropy norm for high-speed network traffic,_ electronics letters(submitted under review).
[9] J. S. Vitter, Random sampling with a reservoir, ACM Trans. Math. Softw vol. 11, pp. 37_57, Mar. 1985.
[10] S. Chang, X. Qiu, Z. Gao, F. Qi, and K. Liu, A flow-based anomaly detection method using entropy and multiple traffic features, in 2010 3rd IEEE International Conference on Broadband Network and Multimedia Technology (IC-BNMT), pp. 223_227, Oct. 2010.
[11] Z. Wang and Q. Xia, _An approach on detecting network attack based on entropy, in 2011 IEEE International Conference on Cyber Technology in Automation, Control, and Intelligent Systems (CYBER), pp. 210_214, Mar. 2011.
[12] G. Nychis, V. Sekar, D. G. Andersen, H. Kim, and H. Zhang, _An empirical evaluation of
entropy-based traffic anomaly detection,_ in Proceedings of the 8th ACM SIGCOMM Conference on Internet Measurement, IMC '08, (New York, NY, USA), pp. 151_156, ACM, 2008.
[13] N. Alon, Y. Matias, and M. Szegedy, The space complexity of approximating the frequency moments,_ Journal of Computer and System Sciences, vol. 58, pp. 137_147, Feb. 1999.
[14] C. Estan and G. Varghese, _New directions in traffic measurement and accounting,_ in Proceedings of the 2002 Conference on Applications, Technologies, Architectures, and Protocols for Computer Communications, SIGCOMM '02, (New York, NY, USA), pp. 323_336, ACM,
2002.
[15] V. Barto and M. Zádník, Hardware pre-computation of entropy for anomaly detection, in Proceedings of the 2011 ACM/IEEE Seventh Symposium on Architectures for Networking and Communications Systems, ANCS '11, (Washington, DC, USA), pp. 219_220, IEEE Computer Society, 2011.
[16] P. Cli_ord and I. A. Cosma, _A simple sketching algorithm for entropy estimation, arXiv:0908.3961 [math, stat], Aug. 2009. arXiv: 0908.3961.
[17] A. Chakrabarti, G. Cormode, and A. McGregor, _A near-optimal algorithm for computing the entropy of a stream,_ in Proceedings of the Eighteenth Annual ACM-SIAM Symposium on Discrete Algorithms, SODA '07, (Philadelphia, PA, USA), pp. 328_335, Society for Industrial and Applied Mathematics, 2007.
[18] A. Chakrabarti, K. D. Ba, and S. Muthukrishnan, _Estimating entropy and entropy norm on data streams,_ in STACS 2006 (B. Durand and W. Thomas, eds.), no. 3884 in Lecture Notes in Computer Science, pp. 196_205, Springer Berlin Heidelberg, Jan. 2006.
[19] "block RAM" http://www.xilinx.com/products/intellectual-property/block_ram.htm.
[20] J. Shlens, _A tutorial on principal component analysis,_ in Systems Neurobiology Laboratory, Salk Institute for Biological Studies, 2005.
[21] C. Issariyapat and K. Fukuda, _Anomaly detection in IP networks with principal component analysis, in 9th International Symposium on Communications and Information Technology, 2009. ISCIT 2009, pp. 1229_1234, Sept. 2009.
[22] K. Fukuda, T. Hirotsu, O. Akashi, and T. Sugawara, _A PCA analysis of daily unwanted traffic, in 2010 24th IEEE International Conference on Advanced Information Networking and Applications (AINA), pp. 377_384, Apr. 2010.
[23] H. Ringberg, A. Soule, J. Rexford, and C. Diot, _Sensitivity of PCA for traffic anomaly detection,_ in Proceedings of the 2007 ACM SIGMETRICS International Conference on Measurement and Modeling of Computer Systems, SIGMETRICS '07, (New York, NY, USA), pp. 109_120, ACM, 2007.
[24] K. Nyalkalkar, S. Sinha, M. Bailey, and F. Jahanian, A Comparative Study of Two Network-based Anomaly Detection Methods.
[25] M. Charikar, K. Chen, and M. Farach-Colton, _Finding frequent items in data streams, Theoretical Computer Science, vol. 312, pp. 3_15, Jan. 2004.
[26] G. Cormode and S. Muthukrishnan, _An improved data stream summary: The count-min sketch and its applications,_ J. Algorithms, vol. 55, pp. 58_75, Apr. 2005.
[27] OSNT,http://osnt.org/.
[28] M. Thorup and Y. Zhang, _Tabulation based 4-universal hashing with applications to second
moment estimation,_ in Proceedings of the Fifteenth Annual ACM-SIAM Symposium on Discrete Algorithms, SODA '04, (Philadelphia, PA, USA), pp. 615_624, Society for Industrial andApplied Mathematics, 2004.
[29] The CAIDA anonymized internet traces 2012 dataset, http://www.caida.org/data/passive/passive_2012_dataset.xml._
[30] MS-SQL slammer traffic analysis, http://rbeverly.net/research/slammer/.

QRCODE
 
 
 
 
 
                                                                                                                                                                                                                                                                                                                                                                                                               
第一頁 上一頁 下一頁 最後一頁 top