臺灣博碩士論文加值系統

　　物件儲存系統是目前逐漸受到重視的儲存技術，它改善傳統分散式檔案系統中存在的缺點，並帶來相當多的好處。物件儲存系統將資料存取的抽象層次由以往的位元組區塊提升到物件層次，物件沒有固定的大小，而且能存放任意型態的資訊。檔案及目錄的屬性稱為 metadata，存放在特定的伺服器中，提供 Client 端名稱空間 (namespace)的操作服務。將metadata service分開處理的好處是作業系統不用再維護資料存放在磁碟中的位置資訊，應用程式也可以藉由存放較有意義的資訊在metadata裡讓資料使用更具彈性。這種設計方式不但減輕作業系統的負擔，也提供較好的資料存取與管理方式。

　　本篇文章將詳細描述物件儲存系統中Metadata Service的運作原理與設計方式，並討論相關的技術與議題，最後藉由實作一個可運作的原型評估這種新式檔案架構。

　　Object storage, an emerging technology, eliminates some drawbacks that present in traditional distributed file systems. The object store raises the level of abstraction presented by a storage control unit from bytes of blocks to a collection of objects. An object is variable-length and can be used to store any type of data. Attributes of files and directories called metadata are stored in a dedicated server providing namespace operations for clients. The benefit of off-loading the metadata service is that the operating system no longer needs to maintain the location of data on disks,and applications can improve the flexibility of data usage by putting more eaningful information in metadata. This kind of design not only relieves the load of an operating system but also provides a better approach in data access and data management.

　　This paper presents a detailed description of how a metadata service works and describes the design of the metadata server in an object-based file system. We will discuss the related technologies and design issues. We have also implemented a working prototype for the evaluation of such a new file system architecture.

目錄 1
圖目錄 5
表目錄 9

第一章 緒論 11
1-1 研究背景及動機 11
1-2 研究目標 13
1-3 章節提要 14

第二章 相關知識與背景 15
2-1 目前儲存系統之局勢 15
2-1-1 目前常見之儲存系統 15
2-1-2 時下儲存系統潛在的問題 18
2-1-3 人們對儲存的需求 18
2-2 物件儲存系統 19
2-2-1 物件儲存裝置基本模型 19
2-2-2 物件儲存系統vs 傳統儲存系統 21
2-2-3 MDS 在物件系統中的重要性 22
2-2-4 物件儲存系統之發展 23
2-3 物件儲存系統重要標準 24
2-3-1 SCSI介紹 24
2-3-1-1 SCSI簡史 24
2-3-1-2 SCSI架構 24
2-3-1-3 SCSI的client-server model 28
2-3-1-4 SCSI I/O 運作模型 32
2-3-1-5 Command Descriptor Block 34
2-3-2 iSCSI 介紹 35
2-3-2-1 Address and Naming Conventions 36
2-3-2-2 Session Management 37
2-3-2-3 Error Handling 38
2-3-2-4 iSCSI Security 39
2-3-3 T10 OSD相關介紹 40
2-3-3-1 OSD系統模型 40
2-3-3-2 T10 OSD 物件模型 41
2-3-3-3 OSD裝置的相關SCSI命令及格式 45

第三章 相關研究 49
3-1 Lustre 系統探討 49
3-1-1 Lustre 介紹 49
3-1-2 MDS 子系統 51
3-2 Intel iSCSI/OSD系統探討 55
3-2-1 系統介紹 55
3-2-2 Intel OSD系統評估 55
3-2-3 Intel OSD子系統深入研究 56
3-3 FUSE 介紹 57

第四章 系統設計與實作 61
4-1 系統設計構想與目標 61
4-2 系統架構說明 64
4-2-1 基本定義 66
4-2-2 Network Module 67
4-2-3 Security Manager 68
4-2-4 Virtual Partition Manager 70
4-2-5 Metadata Handler 71
4-2-6 Cache Module 72
4-2-7 Storage Pool 73
4-3 系統功能規劃及設計 74
4-3-1 Metadata Service API 74
4-3-1-1 Client 對 Virtual Partition 操作相關命令 74
4-3-1-2 Client 對 Metadata 操作相關命令 76
4-3-1-3 使用流程 78
4-3-2 Virtual Partition 實作與設計 85
4-3-2-1 Virtual Partition Manager 功能描述與資料結構 85
4-3-2-2 Storage Policy 的使用 88
4-3-2-3 動態增加儲存空間 89
4-3-2-4 VPM 未來的發展與思考 90
4-3-3 Metadata Cache 機制 91
4-3-3-1 Metadata 在記憶體中的資料結構 91
4-3-3-2 Cache 的基本設計 94
4-3-3-3 Cache 的介面 97
4-3-4 Metadata Handler 設計 104
4-3-5 Storage Pool 設計 110
4-3-5-1 設計考量 110
4-3-5-2 Storage Pool介面 112
4-3-5-3 SQLite 的使用 115

第五章 討論未來工作 119
5-1 成果討論 119
5-2 未來展望 119

參考文獻 123

[1] http://www.snia.org
[2] http://www.t10.org
[3] http://www.toshiba.co.jp/about/press/2004_12/pr1401.htm
[4] http://www.hitachigst.com/hdd/research/recording_head/pr/index.html
[5] http://www.sqlite.org/
[6] G. A. Gibson et al., “A Cost-effective, High-bandwidth Storage
Architecture,” Architectural Support for Prog. Languages and OS, San Jose,
CA, 3-7 Oct. 1998, published in SIGPLAN Notices, vol.33, no. 11, Nov. 1998,
pp. 92-103.
[7] R. C. Burns. Data Management in a Distributed File System for Storage
Area Networks. PhD thesis, University of California, Santa Cruz, March
2000. http://www.almaden.ibm.com/cs/storagesystems/stortank-/rbdissert.pdf.
[8] http://www.lustre.org/
[9] http://www.panasas.com/
[10] G. Gibson, D. Nagle, K. Amiri, F. Chang, H. Gobioff, E. Riedel, D.
Rochberg, and J. Zelenka. Filesystems for network-attached secure disks,
1997.
[11] G. A. Gibson, D. P. Nagle, K. Amiri, F. W. Chang, E. Feinberg, H. G.
C. Lee, B. Ozceri, E. Riedel, and D. Rochberg. A case for network-attached
secure disks. Technical Report CMU–CS-96-142, CMU, 1996.
[12] http://sourceforge.net/projects/intel-iscsi
[13] Yingping Lu, David H. C. Du, Tom Ruwart “QoS Provisioning Framework
for an OSD-based Storage System”, Proceedings of the 22nd IEEE/13th NASA
Goddard Conference on Mass Storage Systems and Technologies (MSST 2005)
[14] http://fuse.sourceforge.net/
[15] http://www.cse.unsw.edu.au/~neilb/oss/linux-commentary/vfs.html
[16] http://www.sqlite.org/speed.html
[17] Mike Mesnier, Gregory R. Ganger, Erik Riedel, “Object-Base Storage”,
IEEE Communications Magazine, August 2003, P84-90
[18] http://msdn.microsoft.com/data/winfs/default.aspx?pull=/library/en-
us/dnintlong/html/longhornch04.asp