(3.236.175.108) 您好!臺灣時間:2021/02/28 03:41
字體大小: 字級放大   字級縮小   預設字形  
回查詢結果

詳目顯示:::

我願授權國圖
: 
twitterline
研究生:李維哲
研究生(外文):LEE, WEI-ZHE
論文名稱:關聯式資料庫到NoSQL的寬闊欄位儲存資料庫(Wide Column Store Database)的資料轉換
論文名稱(外文):The Transformation of Relational Database to Wide Column Store Database of NoSQL Database
指導教授:陳靖國陳靖國引用關係
指導教授(外文):CHEN, JEANG-KUO
口試委員:簡宏宇陳榮靜
口試委員(外文):CHIEN, HUNG-YUCHEN, RUNG-CHING
口試日期:2020-07-09
學位類別:碩士
校院名稱:朝陽科技大學
系所名稱:資訊管理系
學門:電算機學門
學類:電算機一般學類
論文種類:學術論文
論文出版年:2020
畢業學年度:108
語文別:中文
論文頁數:56
中文關鍵詞:巨量資料關聯式資料庫NoSQL資料庫寬闊欄位儲存資料庫資料轉換
外文關鍵詞:Big DataRDBNoSQL DatabaseWide Column Store DatabaseData Transformation
相關次數:
  • 被引用被引用:0
  • 點閱點閱:40
  • 評分評分:系統版面圖檔系統版面圖檔系統版面圖檔系統版面圖檔系統版面圖檔
  • 下載下載:0
  • 收藏至我的研究室書目清單書目收藏:0
隨著巨量資料應用的普及,如社群網路、電子商務等,企業需要在巨量資料中快速地存取大量資料。在這樣的條件下,關聯式資料庫已經無法滿足其需求,愈來愈多的企業決定改用NoSQL資料庫以維持競爭力。將原來關聯式資料庫的資料轉換成NoSQL資料庫的技術研究,就有其必要性。因此,本論文探討如何將關聯表綱要從關聯式資料庫轉換成NoSQL資料庫的一種─寬闊欄位儲存資料庫,以及如何將實際資料從關聯式資料庫匯入至寬闊欄位儲存資料庫中的演算法。希望本研究方法可降低企業營運成本,加快資料查詢的速度,進而提升企業的競爭力。
With the widespread use of big data, such as social networking and e-commerce, enterprises need to quickly access data in huge amounts of data. Under such conditions, the Relational Database (RDB) has been unable to meet the demand, and more and more companies have decided to switch to NoSQL database to maintain competitiveness. It is necessary to convert the data of the original RDB into a NoSQL database. Therefore, this paper proposes algorithms to convert the Relation Schema from RDB to one of the NoSQL databases, Wide Column Store database, and to import the actual data from the RDB into the Wide Column Store database. The proposed algorithms can reduce the operating cost of the enterprise, speed up the data query speed, and enhance the competitiveness of the enterprise.
目錄
摘要 I
Abstract II
誌謝 III
目錄 IV
表目錄 VI
圖目錄 VIII
第一章 緒論 1
1.1 研究背景 1
1.2 研究動機 2
1.3 研究目的 2
1.4 論文架構 3
第二章 文獻探討 4
2.1 關聯式資料庫模型 4
2.1.1 資料結構 4
2.1.2 完整性限制條件 5
2.2 實體關聯模型 5
2.3 巨量資料 6
2.4 NoSQL資料庫 7
2.4.1 寬闊欄位儲存資料庫(Wide Column Store) 9
2.4.2 文件儲存資料庫(Document Store) 12
2.4.3 鍵值儲存資料庫(Key Value Store) 14
2.4.4 圖形資料庫(Graph Database) 15
2.4.5 NoSQL資料庫模型適用行業分析 16
2.5 Hadoop 16
2.6資料轉換相關文獻 17
第三章 研究方法 21
3.1 演算法描述 21
3.2 演算法舉例 24
3.3 流程圖 39
3.4 資料結構 40
3.5 副程式與演算法 41
第四章 實驗與討論 44
4.1 實驗規格說明 44
4.2 資料轉換測試 46
4.3 資料操作測試 47
第五章 結論與未來展望 51
5.1 結論 51
5.2未來展望 51
參考文獻 52

表目錄
表 1. RDB與NoSQL資料庫的差異 1
表 2. 關聯式資料庫模型範例─以關聯表Students為例 4
表 3. 實體關聯模型常見圖形符號 6
表4. Wide Column Store資料庫範例─以資料表Customers-Products為例 11
表5. 改良Hadoop的企業 17
表6. 步驟(5)的WS模型實例設定 22
表7. 步驟(6)的WS模型實例設定 23
表 8. 關聯表Products 24
表 9. 關聯表CustOrderDetails 24
表 10. 關聯表CustOrders 25
表 11. 關聯表Customers 25
表 12. 演算法舉例之RS模型實例設定(1) 26
表 13. 演算法舉例之RS模型實例設定(2) 26
表 14. 演算法舉例之RS模型實例設定(3) 26
表 15. 演算法舉例之RS模型實例設定(4) 26
表 16. 演算法舉例之WS模型實例設定(1) 27
表 17. 演算法舉例之WS模型實例設定(2) 27
表 18. 演算法舉例之WS模型實例設定(3) 27
表 19. 演算法舉例之WS模型實例設定(4) 27
表 20. 第5道SQL SELECT指令所對應的WS模型實例設定 28
表 21. 第6道SQL SELECT指令所對應的WS模型實例設定 29
表 22. 第7道SQL SELECT指令所對應的WS模型實例設定 29
表 23. 第8道SQL SELECT指令所對應的WS模型實例設定 31
表 24. 一個關聯表所對應的WCSDB-T:Products 31
表 25. 一個關聯表所對應的WCSDB-T:CustOrderDetails 32
表 26. 一個關聯表所對應的WCSDB-T:CustOrders 32
表 27. 一個關聯表所對應的WCSDB-T:Customers 32
表 28. WCSDB-T轉換結果: CustOrderDetails-CustOrders 36
表 29. WCSDB-T轉換結果: Products-CustOrderDetails-CustOrders 37
表 30. WCSDB-T轉換結果: CustOrders-CustOrderDetails-Products 37
表 31. WCSDB-T轉換結果: Products-CustOrderDetails-CustOrders- Customers 37
表32. 實驗詳細規格 44
表 33. ERD轉成每個關聯表的資料筆數 45
表 34. 本論文提出的資料轉換演算法之匯入結果 46
表 35. 本實驗所用到的工作負載 47
表 36. 工作負載W-0細目 47
表 37. 工作負載W-1細目 48
表 38. 工作負載W-2細目 48
表 39. 工作負載W-3細目 49
表 40. RDB和WCSDB在不同工作負載的資料產出量 49


圖目錄
圖 1. 寬闊欄位儲存資料庫的資料表綱要 9
圖2. Document Store範例 13
圖3. Key Value Store資料庫範例 14
圖4. 圖形資料庫模型範例 15
圖 5. 關聯表綱要 24
圖 6. 交易日誌中的SQL SELECT指令 25
圖 7. 自然合併查詢指令與結果(1) 33
圖 8. 自然合併查詢指令與結果(2) 34
圖 9. 自然合併查詢指令與結果(3) 35
圖 10. 自然合併查詢指令與結果(4) 36
圖11. 流程圖 39
圖12. 系統架構圖 44
圖13. 線上購物網站ERD 45
圖 14. RDB和WCSDB在不同工作負載下資料產出量之長條圖 50


[1] 陳會安(2013),新觀念資料庫系統─理論與設計實務,學貫行銷股份有限公司。
[2] “NoSQL databases,” http://nosql-database.org/, Jan 20, 2019.
[3] 皮雄軍(2016),奠定大數據的基石:NoSQL資料庫技術,佳魁資訊股份有限公司。
[4] 陸嘉恒(2015),挑戰大數據,Facebook、Google、Amazon怎麼處理Big Data?用NOSQL搞定每年100億顆硬碟資料,佳魁資訊股份有限公司。
[5] J. K. Chen and W. Z. Lee (2019), "An Introduction of NoSQL Databases Based on Their Categories and Application Industries," algorithms, Vol. 12, No. 5, pp. 106:1~106:16.
[6] S. Dan (2015), NoSQL for Mere Mortals, Pearson P T R.
[7] 陸嘉恒 (2014),Hadoop實戰技術手冊,佳魁資訊股份有限公司。
[8] "DB-Engines Ranking," https://db-engines.com/en/ranking, Mar 20, 2019.
[9] W. Lemahieu, B. Baesens and S. v. Broucke (2018), Principles of Database Management: The Practical Guide to Storing, Managing and Analyzing Big and Small Data, Cambridge University Press.
[10] D. Gaspar and I. Coric (2017), Bridging Relational and NoSQL Databases, IGI Global.
[11] I. Robinson, J. Webber and E. Eifrem (2015), Graph Databases, Neo Technology, Inc.
[12] “What is a Graph Database?,” https://neo4j.com/developer/graph-
database/, Jun 6, 2019.
[13] “Apache Hadoop,” https://hadoop.apache.org/, May 5, 2019.
[14] “Cloudera Enterprise 6.3 Documentation,” https://docs.cloudera.com/
documentation/enterprise/6/6.3.html, Jul 5, 2019.
[15] “Cloudera Enterprise 5.13.x Documentation,” https://www.cloudera.
com/downloads/quickstart_vms/5-13.html, Jul 6, 2019.
[16] “Cloudera Quickstarts下載頁面,” https://www.cloudera.com/
downloads/cdp-data-center-trial.html, Jul 6, 2019.
[17] “CDH Components,” https://www.cloudera.com/developers/inside-cdh
.html, Jul 6, 2019.
[18] “MapR官網,” https://mapr.com/, Jul 6, 2019.
[19] “MapR Documentation,” https://mapr.com/docs/, Jul 6, 2019.
[20] “MapR Sandbox,” https://mapr.com/try-mapr/sandbox/, Jul 6, 2019.
[21] “HDP Documentation,” https://docs.cloudera.com/HDPDocuments/
index.html, Jul 8 2019.
[22] “Hortonworks Data Platform (HDP) on Hortonworks Sandbox,” https://www.cloudera.com/downloads/hortonworks-sandbox/hdp.html, Jul 8, 2019.
[23] “EMC Github Download,” https://github.com/EMCECS/ECS-
CommunityEdition/releases, Jul 8, 2019.
[24] “Dell EMC Hortonworks Hadoop Solution Version 2.5,” https://i.dell.com/sites/csdocuments/Shared-Content_data-Sheets_Documents/en/us/Dell_EMC_Hortonworks_Hadoop_Solution_Guide.pdf, Jul 8, 2019.
[25] “IBM Hosted Analytics with Hortonworks (IHAH),” https://www.ibm.com/us-en/marketplace/hosted-analytics-with-hortonworks?loc=tw-zh, Jul 8, 2019.
[26] “Microsoft Azure HDInsight,” https://azure.microsoft.com/zh-tw/
services/hdinsight/, Jul 8, 2019.
[27] “Oracle Big Data Lite Virtual Machine,” https://www.oracle.com/
database/technologies/bigdatalite-v411.html, Jul 9, 2019.
[28] “Oracle Big Data Documentation,” https://www.oracle.com/
technetwork/database/bigdata-appliance/documentation/index.html, Jul 9, 2019.
[29] “什麼是Google Cloud Dataproc,” https://cloud.google.com/dataproc/
docs/concepts/overview?hl=zh-tw, Nov 20, 2019.
[30] “Cloud Dataproc 映像檔版本清單,” https://cloud.google.com/
dataproc/docs/concepts/versioning/dataproc-versions?hl=zh-tw, Nov 20, 2019.
[31] “Amazon EMR,” https://aws.amazon.com/tw/emr/, Nov 20, 2019.
[32] “Alibaba Cloud E-MapReduce,” https://www.alibabacloud.com/tc/
products/emapreduce, Nov 20, 2019.
[33] “Qubole Data Platform,” https://www.qubole.com/, Nov 20, 2019.
[34] “Pivotal Big Data Suite,” https://pivotal.io/big-data/press-release/
pivotal-big-data-suite-accelerates-digital-transformation, Nov 20, 2019.
[35] “Hadoop Migration Program from Teradata,” https://www.teradata.
com/Hadoop-Migration-Program?LangType=1033&LangSelect=true, Nov 20, 2019.
[36] C. Li (2010), "Transforming Relational Database into HBase: A Case Study," in Software Engineering and Service Sciences (ICSESS), pp. 683-687.
[37] S. J. Yang, C. C. Tu and J. Lin (2015), "Design Issue and Performance Analysis of Data Migration Tool in a Cloud-Based Environment," in Proceedings of the 4th International Conference on Computer Engineering and Networks, pp. 749-759.
[38] D. Serrano, D. Han and E. Stroulia (2015), "From Relations to Multi-Dimensional Maps Towards: A SQL-to-HBase Transformation Methodology," in 2015 IEEE 8th International Conference on Cloud Computing (CLOUD), pp. 81-89.
[39] D. Serrano and E. Stroulia (2016), "From Relations to Multi-Dimensional Maps: A SQL-to-HBase Transformation Methodology," in Proceedings of the 26th Annual International Conference on Computer Science and Software Engineering, pp. 156-165.
[40] C. Liu, Z. Fu, Z. Yang and J. Xiu (2015), “General Research on Database Migration from RDBMS to HBase,” In 2015 International Symposium on Computers & Informatics, pp. 507-514.
[41] Y.-T. Liao, J. Zhou, C.-H. Lu, S.-C. Chen, C.-H. Hsu, W. Chen, M.-F. Jiang and Y.-C. Chung (2016), "Data adapter for querying and transformation between SQL and NoSQL database," Future Generation Computer Systems, Vol. 65, pp. 111–121.
[42] N. Kuderu and V. Kumari (2016), "Relational Database to NoSQL Conversion by Schema Migration and Mapping," International Journal of Computer Engineering In Research Trends, Vol. 3, No. 9, pp. 506-513.
[43] R. Ouanouki, A. April, J. M. Desharnais, A. Abran and A. Gomez (2017), “Toward building RDB to HBase conversion rules,” Journal of Big Data, Vol. 4, No. 1, pp. 10:1-10:21.
[44] R. B. Gustafsson (2018), "Consequences of Converting a Data Warehouse based on a Star-Schema to a Column-oriented-NoSQL-database," Master Thesis, Master Degree Project in Data Science, University of Skovde.
[45] Sutedi, T. B. Adji and N. A. Setiawan (2018), "Developing Multiple Nested Schemato Reduce Data Redundancy in CONoSQLDB Schema," in 2018 International Conference on Applied Information Technology and Innovation (ICAITI), pp. 12-18.



電子全文 電子全文(網際網路公開日期:20250826)
QRCODE
 
 
 
 
 
                                                                                                                                                                                                                                                                                                                                                                                                               
第一頁 上一頁 下一頁 最後一頁 top
系統版面圖檔 系統版面圖檔