臺灣博碩士論文加值系統

PACS系統是現代醫學發展而生成的醫學影像檔案存儲及傳輸的基礎，但是隨著醫學影像成像技術的迅猛發展，成像的清晰度的大幅度提高及展現出來的方式多樣性，使得醫療影像資料存儲量變為海量級的，顯然醫療影像的存儲成為了大數據的問題。
Hadoop HDFS分散式叢集存儲系統使用廉價的通用硬體進行橫向擴展，解決了傳統存儲因縱向擴展而導致的天花板效應。以HDFS存儲系統為基礎，將PACS架構其上，這樣既解決了醫療影像存儲的可靠性、安全性、易擴展等問題，更為重要的是為之後的大數據和雲計算奠定了基礎。
HDFS存儲系統和PACS系統的結合在技術和成本上具有很大的挑戰性，本文從HDFS存儲系統不能存儲小檔案的缺點，基於Hadoop SequenceFile檔案格式設計了一套符合實際應用場景的混合存儲架構系統。這套系統包含HDFS存儲系統、SequenceFile格式的H-DICOM檔案和NFS傳統存儲。其核心是HFHSC（H-DICOM File Hadoop SequenceFile Converter），主要用於DICOM圖像和H-DICOM格式的相互轉換。測試結果表明此架構可以滿足大量醫學影像資料的快速存取和處理需求。

PACS is the basis of archival storage and transmission of medical image files under the modern development of medicine. With the rapid development of medical imaging technology, image resolutions get largely improved and there are a variety of ways to show images. These make medical image data as massive levels, and hence the storage of medical image files has become a big data problem.
Hadoop HDFS distributed clustered storage systems which can be expanded horizontally by using inexpensive generic hardware solve the ceiling effect caused by traditional storage devices that only can be expanded vertically. By putting PACS over the HDFS storage system, this architecture can solve medical image storage problems such as reliability, security, and easy expansion. More importantly, some techniques about big data and cloud computing can be involved then.
The combination of HDFS storage systems and PACS systems is challenging in technology and cost. In this thesis, we start from the drawback that the HDFS storage system cannot efficiently manage small files, and then design a hybrid storage system architecture based on the format of Hadoop SequenceFile for most realistic applications. The new architecture contains the HDFS storage systems, H-DICOM format and traditional NFS storage. The core component is HFHSC (H-DICOM File Hadoop SequenceFile Converter) that is used mostly to translate DICOM images to H-DICOM formats. The test results indicate that this architecture can meet the needs of fast access and can process a vast amount of medical imaging data.

致 謝 i
中文摘要 ii
ABSTRACT iii
目錄 v
圖目錄 viii
表目錄 x
程式碼 xi
第一章 緒論 1
1.1 研究背景 1
1.2 研究目的與動機 2
1.3 探討的問題 3
第二章 文獻探討 4
2.1 Hadoop生態系統 4
2.2 Hadoop1.0和Hadoop2.0的差異 5
2.3 分散式檔案系統（HDFS） 7
2.3.1 HDFS概述 7
2.3.2 HDFS之 NameNode 8
2.3.3 HDFS之 DataNode 9
2.3.4 HDFS HA 9
2.3.5 HDFS NFS Gateway 11
2.4 HBase介紹 11
2.5 分散式運算框架（MapReduce） 12
2.6 PACS 15
2.7 DICOM格式 16
第三章 研究方法 19
3.1 海量小檔案存儲問題 19
3.2 Hadoop小檔案存儲問題解決方案 20
3.2.1 HAR檔方案 20
3.2.2 Sequence Files方案 22
3.2.3 CombineFileInputFormat方案 23
3.2.3 HBase方案 24
3.3 實驗方案 24
3.3.1 實驗方案一：直接上傳 24
3.3.2 實驗方案二：混合式存儲架構 25
第四章 實驗配置與架構 30
4.1 軟硬體配置 30
4.2 分散式存儲系統架構 31
4.3 PACS小檔案存儲架構 33
4.4 DICOM圖像通過HFHSC轉換為H-DICOM圖像 35
4.5 H-DICOM圖像使用HFHSC還原成原來的DICOM圖像 36
第五章 實驗結果與討論 38
5.1 單機性能和叢集性能對比 38
5.2 災難備援 40
5.3打包成單個檔案與按block劃分多個檔案上傳對比 43
5.4 打包成單個檔案與按block劃分多個檔案讀取對比 44
5.5 HDFS NFS Gateway 45
5.6 HDFS叢集的可靠性實驗 47
第六章 總結與展望 49
參考文獻 50

[1] Tom White，Hadoop: The Definitive Guide，Tsinghua University Press，2015
[2] 董西城，Hadoop技術內幕 深入解析HADOOP COMMON和HDFS架構設計與實現原理：機械工業出版社，2013
[3] 董西城，Hadoop技術內幕 深入理解MapReduce架構設計與實現原理：機械工業出版社，2013
[4] 楊傳輝，大規模分散式存儲系統——原理解析與架構實戰：機械工業出版社，2013
[5] 唐穎、劉國慶，“基於Hadoop的雲架構區域PACS存儲方案設計”，廣東省科技計畫專案，2013
[6]（2013,May,25）boxi，“Hadoop 2.0：大數據的新突破在即”：
http://36kr.com/p/203559.html
[7]（2013,Aug,12）董西城，“Hadoop 1.0與Hadoop 2.0資源管理方案對比”：
http://dongxicheng.org/mapreduce-nextgen/hadoop-1-and-2-resource-manage/
[8]（2013,Nov,05）M. Tim Jones, Micah Nelson，“將 Hadoop YARN 發揚廣大”：
http://www.ibm.com/developerworks/cn/data/library/bd-hadoopyarn/
[9] Apache Hadoop NextGen MapReduce (YARN) ：
http://hadoop.apache.org/docs/r2.5.2/hadoop-yarn/hadoop-yarn-site/YARN.html
[10]（2010, Nov,22）李智, “Hadoop處理大量小檔的問題和解決方法”：
http://www.csdn.net/article/2010-11-22/282301
[11]（2014, Dec,10）Eric.aihua , “Hadoop 中SequenceFile的簡介”：
http://blog.csdn.net/eric_sunah/article/details/41854731
[12]（2014, Feb,11）Sujay Som，“Process small, compressed files in Hadoop using CombineFileInputFormat”：
http://www.ibm.com/developerworks/library/bd-hadoopcombine/
[13] Yang Zhao,Kafei Xiao,Yajun Cui，Lei Wang,Chenglong Zhang, “Parallel Spectral Clustering Algorithm Based on Hadoop”, University of Chinese Academy of Sciences,2015
[14] 游小容，“基於Hadoop的海量教育資源中小檔的存儲研究和實現”，電腦與電信，2013
[15] Xuhui Liu, Jizhong Han,Yunqin Zhong,Chengde HanXubin He,“Implementing WebGIS”University Chinese Academy of Sciences，2013
[16] 趙曉永、楊揚、孫莉莉、陳宇,“基於Hadoop的海量MP3檔存儲架構研究”,電腦應用,2012
[17] 趙曉永，面向雲計算的數據存儲關鍵技術研究：河北科學技術出版社，2012
[18] 洪旭升、林世平，“基於MapFile 的HDFS 小檔存儲效率問題”，計算機系統應用，2012
[19]（2014, Sep,06）zssure，“DICOM醫學影像處理：全面分析DICOM3.0標準中的通訊服務模組”：
http://blog.csdn.net/zssureqh/article/details/39098621
[20]（2014, Sep,06）YiLooks，“DICOMDIR檔結構”：
http://blog.csdn.net/yilooks/article/details/8955667
[21]（2010, Apr,21）YiMing，“近線存儲是PACS的首選”：
http://app.hc3i.cn/art/201004/2638.htm