臺灣博碩士論文加值系統

近幾年來虛擬化技術在許多在近年來扮演重要的角色而且被廣泛使用在產業領域上。虛擬化技術可以將一台實體機器虛擬化成數台虛擬機器，一台虛擬機器的功能跟一台實體機器功能一樣可以運行許多應用程式，目前許多公司會使用虛擬化技術來管理大量的伺服器，透過虛擬化技術可以動態分配 CPU、memory 等硬體效能給虛擬機器中的伺服器，能有效利用硬體效能及方便管理。隨著儲存裝置的發展，許多公司開始將不同的儲存硬體混合使用產生了混合式儲存架構的狀態，但是當虛擬機器需要更高的 I/O 存取速度時，只能透過將整台虛擬機器搬移至成本較高 I/O 速度較快的儲存裝置中，不能動態的分配不同儲存裝置上的空間給虛擬機器使用，移動整個虛擬機器的時間成本高而且需要耗費大量昂貴的存取速度高的儲存空間，所以我們提出了針對 QEMU 在混合式儲存架構下的一個有效率的I/O 模組，其功能是能將適當的資料區塊搬移至適當的儲存空間，透過這個模組我們可以在混合式儲存架構提升 QEMU 的 I/O 存取速度的功能。

Recently, virtualizaiton technologies play an important role and have been used widely on industrial fields. Virtualizaiton technologies can use one physical machine to simulate many virtual machines, and every virtual machine (just like a normal physical machine)can run a lot of applications. Through virtualization technologies, we can distribute hard-ware resources like CPU, memory, and storage space to a server that runs in a virtual machine dynamically. So virtualization technologies can utilize hardware resources and manage servers easily. Along with the development of storage technologies, many companies adopt different storage devices as a hybrid storage architecture. When a virtual machine requires higher I/O bandwidth, it could migrate the whole virtual machine image to the faster but more expensive storage device. However, it not only costs a lot of time to migrate a whole virtual machine image but also consumes too much space of the faster and expensive storage device. Therefore, we propose an efficient I/O module for QEMU with a hybrid storage architecture. The purpose of the thesis is to select appropriate chunks and migrate them to the proper storages. Through this module in a hybrid storage architecture, we can enhance I/O speed of virtual machines in QEMU.

目 錄
論文摘要 I
Abstract II
目錄 III
圖目錄 VI
表目錄 VIII
1 緒論 1
1.1 前言 1
1.2 論文架構 2
2 環境背景 3
2.1 虛擬化技術 3
2.2 Xen Project 4
2.3 KVM 5
2.4 QEMU 6
2.5 Virtio 7
2.6 Fio 8
3 研究動機及相關研究 10
3.1 研究動機 10
3.2 相關研究 11
4 研究方法 13
4.1 概述 13
4.2 混合式儲存架構 15
4.3 監控模組 16
4.3.1 Count table 17
4.3.2 Chunk table 17
4.3.3 Weighting table 17
4.3.4 Record table 18
4.4 權重值 (Weighting Value) 的設計19
4.5 搬移模組 19
4.5.1 Low-end 到 High-end 的搬移 20
4.5.2 High-end 到 Low-end 的搬移 21
4.5.3 High-end 到 Mid-end 的搬移 21
4.5.4 Mid-end 到 Low-end 的搬移 22
4.6 I/O 請求分析模組 22
4.7 QEMU 實作 25
IV4.7.1 I/O 處理和統計 26
4.7.2 資料區塊的搬移處理 28
5 實驗與結果分析 30
5.1 實驗環境 30
5.2 工作負載 30
5.3 實驗結果 31
5.3.1 隨機讀取 32
5.3.2 隨機寫入 32
5.3.3 循序讀取 33
5.3.4 循序寫入 33
6 結論與後續工作 39
參考文獻 40
授權書 44
圖 目 錄
圖 2.1 全虛擬化技術 4
圖 2.2 半虛擬化技術 5
圖 2.3 虛擬機器的特權等級 5
圖 2.4 2016 OPENSTACK 使用者 Hypervisor 選用調查 6
圖 2.5 QEMU 不使用 Virtio 的 I/O 請求流程 9
圖 2.6 QEMU 使用 Virtio 的 I/O 請求流程 9
圖 4.1 IO performance 16
圖 4.2 搬移模組的搬移條件 20
圖 4.3 I/O 請求存取問題 23
圖 4.4 I/O 請求分析模組 24
圖 4.5 系統架構 25
圖 4.6 搬移執行流程 26
圖 4.7 IO 請求的處理 27
圖 4.8 搬移執行流程 29
圖 5.1 隨機讀取的傳輸速度 34
圖 5.2 HDD 和混合式儲存架構在隨機讀取的傳輸速度 34
圖 5.3 隨機寫入的傳輸速度 35
圖 5.4 HDD 和混合式儲存架構在隨機寫入的傳輸速度 35
圖 5.5 循序讀取的傳輸速度 36
圖 5.6 HDD 和混合式儲存架構在循序讀取的傳輸速度 36
圖 5.7 循序寫入的傳輸速度 37
圖 5.8 HDD 和混合式儲存架構在循序寫入的傳輸速度 37
圖 5.9 混合式儲存架構各裝置在循序寫入的傳輸速度 38
表 目 錄
表 4-1 儲存裝置分類比較 16
表 4-2 Table in the monitor module 18
表 5-1 環境配置 31
表 5-2 工作負載 32
表 5-3 混合式儲存架構在各個存取模式下的總搬移數量 38

[1] R. A. Meyer and L. H. Seawright, “A virtual machine time-sharing system,” IBM
Systems Journal, vol. 9, no. 3, pp. 199–218, 1970.
[2] VMware, “VMware.” http://www.vmware.com/tw.html, 2016. [Online; accessed 14-DEC-2016].
[3] X. Project, “Xen Project Homepage.” https://www.xenproject.org/, 2016.[Online; accessed 14-DEC-2016].
[4] KVM, “KVM Homepage.” http://www.linux-kvm.org/page/Main_Page,2016. [Online; accessed 14-DEC-2016].
[5] Intel, “Intel VT.” http://www.intel.com.tw/content/www/tw/zh/virtualization/virtualization-technology/intel-virtualization-technology.html, 2016. [Online; accessed 14-DEC-2016].
[6] AMD, “AMD-V.” http://www.amd.com/zh-tw/solutions/servers/virtualization, 2016. [Online; accessed 14-DEC-2016].
[7] K. F. S. H. T. H. A. H. R. N. I. P. Paul Barham, Boris Dragovic and A. Warfield,“Xen and the art of virtualization,” in SOSP ’03 Proceedings of the nineteenth ACMsymposium on Operating systems principles, pp. 164–177, ACM, Oct 2003.
[8] A. Kivity, Y. Kamay, D. Laor, U. Lublin, and A. Liguori, “kvm: the linux virtual machine monitor,” in Proceedings of the Linux symposium, vol. 1, pp. 225–230,2007.
[9] OPENSTACK, “OPENSTACK USER SURVEY.” https://blog.linode.com/2016/03/15/kvm-update/, 2016. [Online; accessed 14-DEC-2016].
[10] Linode, “Linode turns 12! Here’s some KVM!.” https://blog.linode.com/2015/06/16/linode-turns-12-heres-some-kvm/, 2015. [Online; accessed 14-DEC-2016].
[11] X. Project, “QEMU Upstream.” https://www.openstack.org/assets/survey/April-2016-User-Survey-Report.pdf, 2016. [Online; accessed 14-DEC-2016].
[12] F. Bellard, “Qemu, a fast and portable dynamic translator,” pp. 41–46, Mar 2007.
[13] QEMU, “QEMU Homepage.” http://wiki.qemu.org/Main_Page, 2016. [On-line; accessed 14-DEC-2016].
[14] Linode, “KVM Update.” https://wiki.xenproject.org/wiki/QEMU_Upstream, 2016. [Online; accessed 14-DEC-2016].
[15] R. Russell, “virtio: towards a de-facto standard for virtual i/o devices,” ACMSIGOPS Operating Systems Review, vol. 42, no. 5, pp. 95–103, 2008.
[16] KVM, “Virtio.” http://www.linux-kvm.org/page/Virtio, 2016. [Online; accessed 14-DEC-2016].
[17] J. Axboe, “fio.” http://freecode.com/projects/fio, 2016. [Online; accessed 14-DEC-2016].
[18] T. Luo, S. Ma, R. Lee, X. Zhang, D. Liu, and L. Zhou, “S-cave: Effective ssd caching to improve virtual machine storage performance,” in Proceedings of the 22nd international conference on Parallel architectures and compilation techniques, pp. 103–112, IEEE Press, 2013.
[19] H. Shi, R. V. Arumugam, C. H. Foh, and K. K. Khaing, “Optimal disk storage allocation for multi-tier storage system,” in APMRC, 2012 Digest, pp. 1–7, IEEE, 2012.
[20] L. Lin, Y. Zhu, J. Yue, Z. Cai, and B. Segee, “Hot random off-loading: A hybrid storage system with dynamic data migration,” in 2011 IEEE 19th Annual International Symposium on Modelling, Analysis, and Simulation of Computer and Telecommunication Systems, pp. 318–325, IEEE, 2011.
[21] Y.-J. C. Chin-Hsien Wu, Chih-Kai Kang and P.-C. Hsiu, “A hybrid storage access framework for high-performance virtual machines,” ACM Transactions on Embedded Computing Systems (TECS), vol. 13, 2014.
[22] H.-J. Ko, “A monitor component in a hypervisor with a multitier storage system,”2015.
[23] P.-W. Lin, “A migration component in a hypervisor with a multitier storage system,”2015.
[24] wikipedia, “RAID.” https://zh.wikipedia.org/wiki/RAID, 2016. [Online; accessed 14-DEC-2016].
[25] wikipedia, “SATA.” https://zh.wikipedia.org/wiki/SATA, 2016. [Online; accessed 14-DEC-2016].
[26] wikipedia, “PCI Express.” https://zh.wikipedia.org/wiki/PCI_Express,2016. [Online; accessed 14-DEC-2016].
[27] Intel, “Intel PCI-E SSD.” http://www.intel.com.tw/content/www/tw/zh/solid-state-drives/intel-ssd-dc-family-for-pcie.html, 2016. [Online;accessed 14-DEC-2016].
[28] wikipedia, “M.2.” https://zh.wikipedia.org/wiki/M.2, 2016. [Online; accessed 14-DEC-2016].