(3.236.214.19) 您好!臺灣時間:2021/05/06 20:34
字體大小: 字級放大   字級縮小   預設字形  
回查詢結果

詳目顯示:::

: 
twitterline
研究生:林德垣
研究生(外文):Te-Yuan Lin
論文名稱:巨量資料分割技術與內容快速移動
論文名稱(外文):Partitioning Technology and Fast Content Movements of Big Data
指導教授:傅楸善傅楸善引用關係
口試委員:趙翌川鄧立揚
口試日期:2013-12-30
學位類別:碩士
校院名稱:國立臺灣大學
系所名稱:資訊網路與多媒體研究所
學門:電算機學門
學類:網路學類
論文種類:學術論文
論文出版年:2013
畢業學年度:102
語文別:英文
論文頁數:47
中文關鍵詞:巨量資料大資料海量資料資料庫快速數據庫
外文關鍵詞:big datapartitionpartitioningmap reducebig tabledatabasepartition tablefastarchiving
相關次數:
  • 被引用被引用:2
  • 點閱點閱:1683
  • 評分評分:系統版面圖檔系統版面圖檔系統版面圖檔系統版面圖檔系統版面圖檔
  • 下載下載:476
  • 收藏至我的研究室書目清單書目收藏:2
近年來各式行動裝置與嵌入式系統百花爭鳴, 網路與雲端運算議題的蓬勃發展, 讓與這些應用背後高度相關的資料數據也呈現巨幅成長。企業的資料空間儲存、處理效率議題也因此再度受到重視。自2004年起, Google提出MapReduce技術(http://research.google.com/archive/mapreduce.html), 緊接著在2006年又發表了BigTable (http://research.google.com/archive/bigtable.html ) 後, Google幾乎就等同於Big Data的代名詞, 透過將大量資料切割成數個小資料叢集(Cluster), 並搭配MapReduce的演算法計算查詢索引, 來提升資料查詢的效率。
此類的應用方式雖然帶來一項創新, 但主要應用範圍仍僅止於查詢。對於一般擁有大量交易性資料異動, 且定期或不定期進行不同層次的資料搬遷/移動需求的企業來說, 距離直覺式地應用MapReduce技術到自有的資料數據處理環境中, 仍有一大段距離。特別是金融業、高科技製造業這類通常須面對大量資料的企業, 在巨量的資料異動或移動, 伴隨而來的往往是系統的整體效能緩慢、服務暫時中斷, 資料存取的無效率和分秒必爭商機的損失。
本論文的目的在於以一確實可行的方式, 利用既有的資料數據庫儲存平台, 並加入Partition Table技術, 處理巨量資料的查詢和需要交易異動的需求, 同時解決資料移動時的緩慢效率問題, 提供理論說明與實作兼備的解決方案來改善以上問題。
Database storage storing abundant data usually accompanies slow performance of query and data manipulation. This thesis presents a model and methodology of faster query and data manipulation of mass data rows stored in a big table. In this thesis, it depicts the solution to manipulate large data sets of one table which moves into and out of another logical table with outstanding efficiency compared with traditional transactional way. With this idea, the table structure needs to be redesigned to accommodate and keep data, in other words, the table needs to be "partitioned".
It also covers partitioning strategies which are applied to various scenarios such as the data sliding window scenario, data archiving, and partition consolidation and movement practice.



Chapter 1: Introduction 1
1.1 Motivation 1
1.2 Research Objectives 3

Chapter 2: Rationale of the Study 6
2.1 Database Platforms 6
2.2 Hierarchy of Database Logical Structures 8
2.3 The Pillars of Table and Index 11
2.4 Table and Partition Overview 13

Chapter 3: Methodology 19
3.1 Choosing the Partition Approach 19
3.2 Horizontal Partitioning 20
3.3 Metadata-Only Manipulations 24
3.4 Sliding the Partitions 29

Chapter 4: Implementation and Results 33
4.1 Scenario and Assumption 33
4.2 Experiment Design 34
4.3 Experiment Results 41

Chapter 5: Conclusion 46

References 47
[1] J. Dean and S. Ghemawat, “MapReduce: Simplified Data Processing on Large Clusters,” Proceedings of Symposium on Operating Systems Design and Implementation, San Francisco, CA, pp. 137-149, 2004.
[2] IBM, “The Big Data & Analytics Hub,” http://www.2.com/infographic/four-vs-big-data, 2013.
[3] Microsoft, “Database Engine Instances,” http://technet.microsoft.com/en-us/library/hh231298.aspx, 2013.
[4] Microsoft, “Filestream Overview,” http://technet.microsoft.com/en-us/library/bb933993(v=sql.105).aspx, 2013
[5] Microsoft, “Table and Index Architecture,”
http://technet.microsoft.com/en-us/library/aa174541(v=sql.80).aspx, 2013
[6] Microsoft, “SQL Server Index Design Guide,”
http://technet.microsoft.com/en-us/library/jj835095.aspx, 2013
[7] Microsoft, “Table and Index Organization,” http://technet.microsoft.com/en-us/library/ms189051(v=sql.105).aspx, 2013
[8] Microsoft, “Support for 15,000 Partitions in SQL Server 2008 SP2 and SQL Server 2008 R2 SP1,” http://technet.microsoft.com/en-us/library/gg981694.aspx, 2011
[9] Solid IT, “DB-Engines Ranking,” http://db-engines.com/en/ranking, 2013.
QRCODE
 
 
 
 
 
                                                                                                                                                                                                                                                                                                                                                                                                               
第一頁 上一頁 下一頁 最後一頁 top
系統版面圖檔 系統版面圖檔