臺灣博碩士論文加值系統

在現行的網路環境中，代理伺服器(Proxy Server)扮演著一個十分重要角色，代理並管理使用者在用戶端之工作，除了可以統籌運用區域網路對外頻寬、對使用者進行控管、扮演防火牆角色，或甚至在無線網路環境中擔任通訊匝道等角色…等。在代理伺服器被賦予的任務中，快取(Cache)之功能扮演了舉足輕重的角色，快取效率的好壞，往往是代理伺服器良莠之指標。而一個好的快取系統設計，除了要有嚴謹與完整的功能架構之外，如果能夠加入人性的考量，甚至瞭解人類的想法，就能夠提昇其運作效能。以使用者行為為基礎之預先擷取機制，能夠讓快取之負擔減輕，且準確地預測使用者習慣與行為模式，捕捉使用者行為，讓使用者等待時間降低。本研究以使用者行為為基礎，利用習慣領域之學說將使用者分成「新手上路型」、「集中火力型」、「走馬看花型」與「網路新人類型」，針對不同類型的使用者進行分類。並以存取路徑紀錄方法紀錄每個使用者瀏覽網頁之歷史路徑，作為快取預先擷取機制之依據。為驗證本理論之可行性，將此使用者分類機制與預先擷取機制加入現行GNU一般公開授權版本之Squid代理伺服器中並進行效能評估，透過實驗所得數據，證明快取系統加入以使者行為為基礎之預先擷取機制後確實可以讓代理伺服器平均使用者等待時間減少36%、快取命中率提升10%，成功地增加了系統之快取效能。

Proxy server plays a very important role for internet access. It acts as an agent and resource manager for clients. Cache is key component of proxy server. It determinates the efficiency of proxy server. If we can take human behaviors into consideration, and integrate them into the design of a cache system, we may improve the performance of the cache system. In the paper, we propose an user-behavior-based prefetch mechanism to enhance the cache system. By predicting user behaviors, we may reduce the user’s idle time. This mechanism is based on the theory of habitual domain. Users are divided into four categories: “New User”, “Focus Accessing”, “Quick Glancing”, and “Internet New Type”. For the purpose of verifying the proposed mechanism, we develop a proxy server to evaluate the performance of the mechanism. By examing experimental results, we find that the user-behavior-based prefetch mechanism can reduce the average user waiting time by 36 percent, and increase the cache hit ratio of the cache system by 10 percent.

第一章 緒論 1
1.1研究動機 1
1.2研究目的 2
1.3章節規劃 2
第二章 文獻探討 4
2.1代理伺服器 4
2.1.1代理伺服器簡述 4
2.1.2 代理伺服器所提供的功能 5
2.1.2.1通訊協定處理(Protocol Handling) 5
2.1.2.2快取(Caching) 6
2.1.2.3資源回收(Garbage Collection) 7
2.1.2.4過濾(Filtering) 7
2.1.2.5監視(Monitoring) 7
2.1.2.6存取控管(Access Control) 8
2.2現行預先擷取機制之理論與設計 9
2.3.1 路徑剖繪(Path Profile)與邊緣剖繪(Edge Profile)預測方法 9
2.3.1.1 邊緣剖繪(Edge Profile) 10
2.3.1.2路徑剖繪(Path Profile) 11
2.3.1.3使用路徑剖繪與邊緣剖繪來進行預測 11
2.3.1.4路徑剖繪與邊緣剖繪之問題 12
2.3.2 區域排行榜(Domain-Top)方法 13
2.3.2.1 區域排行榜(Domain-Top)預先擷取法 13
2.3.2.2 區域排行榜(Domain-Top)的訴求 14
2.3.2.3 區域排行榜(Domain-Top)所遭遇之問題 14
第三章 以使用者行為為基礎之預先擷取 16
3.1使用者分類 16
3.1.1人類學家對使用者行為之分類 17
3.1.2大英圖書館對使用者的建議分類 17
3.1.3電子商務研究對使用者行為之分類 18
3.1.4資料探勘(Data Mining)對使用者行為之分類 19
3.1.5習慣領域(Habitual Domain)對人類行為之研究 20
3.1.5.1 電網理論 20
3.1.5.2 相似而親 21
3.1.5.3 以使用者行為為基礎之分類機制 21
3.2 網頁的評分 23
3.3預先擷取模組與門檻值設定 23
3.4小結 24
第四章 系統設計與實作 25
4.1 系統設計之考量 25
4.2 系統設計 25
4.3 資料結構之設計 26
4.4 使用者分類模組 27
4.5 歷史紀錄追蹤模組 28
4.6 預先擷取模組與門檻設定 29
4.7 流程解說 29
4.8 範例說明 31
第五章 系統模擬 34
5.1 測試平台與環境參數設定 34
5.1.1測試平台說明 34
5.1.2環境參數設定 35
5.2 系統效能量度基準與定義 36
5.3 系統模擬說明 36
5.4 實驗結果比較與分析 37
5.4.1 使用者等待時間 37
5.4.2 快取命中率 39
5.4.3 網路流量 42
5.5系統承載 44
5.7 小結 46
第六章 結論及未來發展 47
6.1 結論 47
6.2 未來發展 48
參考文獻 49
附錄A 51
A.1 HTTP的資料傳送 METHOD： 51
A.2 HTTP的資料傳送表頭(Header)： 51
A.3 HTTP的資料傳送狀態列表 53
附錄B 56
附錄C 58
squid.conf 設定說明: 58

[1] Luigi Rizzo, Member, IEEE, and Lorenzo Vicisano, “Replacement Policies for a Proxy Cache”, IEEE/ACM TRANSACTIONS ON NETWORKING, VOL. 8, NO. 2, APRIL 2000
[2] Sajid Hussain ,and Robert D. McLeod, “Intelligent Prefetching at a Proxy Server”, IEEE Conf. 2000
[3] Jongkuk Lee, Myungchul Kim, Hee Yong Youn, Yusik Hahm, and DongmanLee, “Class-based Proxy Server for Mobile Computer”, IEEE Conf. 2000
[4] Joo-Yong Kim, Kyoung-Woon Cho and Kern Koh,“A Proxy Server Structure and its Cache Consistency Mechanism at the Network Bottleneck”, IEEE Conf. 2000
[5] M. F. Arlitt and C. L. Williamson, “Web server workload characterization: The search for invariants,” in Proc. SIGMETRICS 96, Philadelphia, PA, MAY 1996, pp. 126-137
[6] T. Berners-Lee, R. Fielding, and H. Frystyk, “Hypertext transfer protocol─HTTP/1.0,” RFC 1945, May 1996.
[7] P. Cao and S. Irani, ”GreedyDual-size: A cost-aware WWW proxy cache algorithm,” in Proc. 2nd Web Caching Workshop, Boulder, CO, June 1997.
[8] L. Fann, Q. Jacobson, P. Cao and W. Lin, “Web Prefetching Between Low-Bandwidth Clients and Proxies: Potential and Performance”, in Proc. SIGMETRICS’99, 1999.
[9] A. Chankhunthod, P. Danzig, C. Neerdaels, M. F. Schwartz and K. Worrell, “A Hierarchical Internet Object Cache”, in Proc. USENIX 96, http://excalibur.usc.edu/cache-html, 1996.
[10] M. Abrams, C. R. Standridge, G. Abdulla, S. Williams, and E. A. Fox, “Caching proxies: Limitations and Potentials”, in Proceedings of the Fourth International Conference on the WWW, (Boston, MA), December 1995.
[11] A. Fox, “Information Delivery Infrastructure in the Mobile, Wireless Age — White paper”, Proxinet Co., 1999; available at http://www.proxinet.com/
[12] M. Delco, M. Ionescu, “xProxy: A Transparent Caching and Delta Transfer System for Web Objects”, Computer Science Division University of California, Berkeley, 2000.
[13]淺野理森, “圖解TCP/IP─探索溝通網路世界的協定技術”, p.190-217, 博誌文化, March 2001.
[14] S. Schechter, M. Krishnan, M. D. Smith, ”Using Path Predict HTTP Request”, Brisbane, Australia Seventh International World Wide Web Conference, April 1998.
[15] Seung Won Shin, Byeong Hag Seong, Daeyeon Park, ”Improving World-Wide- Web Performance Using Domain-Top approach to Prefetching”, IEEE Conf., 2000
[16] Evangelos P. Markatos and Catherune E. Chronaki, ”A Top-10 Approach to Prefetching on the Web”, In Processings of INET’98 Geneva, Swizerland, July 1998, pp.276-290.
[17] Jan Kerkhofs, Koen Vanhoof, and Danny Pannemans, “Web Usage Mining on Proxy Servers: A Case Study”, Data Mining For Marketing Applications, September 7, 2001.
[18] R. Cooley, B. Mobasher, and J. Srivastava, “Web Mining: and Pattern Discovery on the Word Wide Web”, Data Warehousing and Knowledge Discovery, 1999.
[19] Jaideep Srivastava, Robert Cooley, Mukund Deshpande and Pang-Ning Tan, “Web Usage Mining: Discovery and Application of Usage Patterns from Web Data”, 2000 ACM SIGKDD, January , 2000.
[20] Po L. Yu, “Forming Winning Strategies”, Springer-Verlag Berlin Heidelberg New York, 1990.
[21] Dan Duchamp, “Prefetching Hyperlinks”, Proc. of USITS’99, October, 1999.