跳到主要內容

臺灣博碩士論文加值系統

(18.97.9.172) 您好!臺灣時間:2025/02/16 21:23
字體大小: 字級放大   字級縮小   預設字形  
回查詢結果 :::

詳目顯示

我願授權國圖
: 
twitterline
研究生:曾開宏
研究生(外文):KAI-HUNG TSENG
論文名稱:巨量資料處理效能評估與資料庫管理系統選取準則之研究
論文名稱(外文):Evaluation of Big Data Processing Efficiency and Selection criteria of Database Management System
指導教授:侯佳利侯佳利引用關係
指導教授(外文):Jia-Li Hou
學位類別:碩士
校院名稱:國立東華大學
系所名稱:資訊管理碩士學位學程
學門:電算機學門
學類:電算機一般學類
論文種類:學術論文
論文出版年:2017
畢業學年度:105
論文頁數:55
中文關鍵詞:大數據關聯式資料庫NoSQL
外文關鍵詞:Big dataRDBMSNoSQL
相關次數:
  • 被引用被引用:0
  • 點閱點閱:438
  • 評分評分:
  • 下載下載:0
  • 收藏至我的研究室書目清單書目收藏:2
隨著大數據的轉變,大數據分析的重點從能夠處理大量資料,轉變為能找出資料價值性。在這轉變下,本研究認為只要可以分析出資料價值,那麼在資料規模不大時,若使用傳統分析就能完成,就不用特別建置大數據分析平台來處理,因為效能不一定比較好。
因此,本研究比較NoSQL和關聯式資料庫,在不同資料規模下的效能,並提供資料庫評選準則,供使用者作為參考。本研究蒐集不同規模的資料集,並在MongoDB、SQL Server和MySQL上設計Query做函數運算。結果顯示在資料規模小於50G時,做聚合函數NoSQL效能不會比關聯式資料庫好。然而,NoSQL可以快速的完成資料前處理,並用來做運算,這是RDBMS無法達成的。另外,本研究還比較Hadoop單節點與雙節點的效能差異,結果顯示雙節點Query執行時間比單節點約快30%。
With the evolution of big data, the focus of big data analysis from can process huge amount of data into can analyze to the value of data. In this evolution ,this paper thinks that as long as you can find the value of data, then if the data size is not big, it means that use traditional analysis also can be completed, so do not have to use NoSQL platform. This study compared the performance of NoSQL and RDBMS under different data sizes.
Our experiment investigates big data analysis’s performance and provide database selection criteria. We use 1G、10G、25G、50G dataset to do function calculation on MongoDB、Hbase、SQL Server、MySQL. The results show that NoSQL in the data size below 50G, it’s performance not better than RDBMS but when data size more bigger, NoSQL’s import function is very fast than RDBMS. Another, this paper also compare Hbase that single node or two nodes. The results show that if add one node, Hbase is fast 30% approximately.
目錄
致謝 I
摘要 III
Abstract V
目錄 VII
圖目錄 XI
表目錄 XIII
第一章 緒論 1
第一節 研究背景與動機 1
第二節 研究目的 3
一、 評估資料庫平台效能 4
二、 比較NoSQL資料庫和SQL關聯式資料庫 4
三、 提供資料庫選取準則 4
第三節 研究貢獻 4
一、 提供每個平台使用上的差異 4
二、 彙整資料庫選取準則 5
第四節 論文章節說明 5
第二章 文獻探討 7
第一節 大數據相關文獻 7
一、 大數據定義 7
二、 大數據特性 7
第二節 關聯式資料庫相關文獻 8
一、 關聯式資料庫介紹 8
二、 常用工具 9
第三節 NoSQL資料庫相關文獻 10
一、 NoSQL介紹 10
二、 NoSQL常用工具 11
第四節 NoSQL vs SQL相關研究 14
第三章 研究方法 17
第一節 研究架構與說明 17
一、 蒐集資料集 18
二、 篩選資料庫 20
三、 將資料匯入資料庫 22
四、 Query設計 25
第二節 研究工具 26
一、 軟體環境 26
二、 硬體環境 26
三、 虛擬機環境 27
第四章 實驗說明與結果 29
第一節 評估資料庫效能 29
一、 實驗一 NoSQL vs SQL 29
二、 實驗一 Query結果 35
三、 實驗二 Hadoop 單節點 VS 多節點 38
四、 實驗二 結果 38
第五章 結論與未來展望 41
第一節 結論與研究貢獻 41
第二節 研究限制與後續研究方向 42
參考文獻 43
附錄 47
附錄A SQL Server匯入步驟 47
附錄B MapReuce程式 51
讀取Hbase Table程式碼 51
Sum程式碼 52
Avg程式碼 53
Max程式碼 54
參考文獻
1. Amazon review data (2017), available online at http://jmcauley.ucsd.edu/data/amazon/.
2. America commercial flights data (2017), available online at http://stat-computing.org/dataexpo/2009/the-data.html.
3. Avita Katal, Mohammad Wazid, R H Gouda (2013), ‘Big Data: Issues, Challenges, Tools and Good Practices’, Contemporary Computing (IC3), 2013 Sixth International Conference.
4. Albert Bifet (2012), ‘Mining Big Data In Real Time’.
5. Cornelia Gyrödi, Robert Gyrödi, George Pecherle, Andrada Olah (2015), ‘A Comparative Study: MongoDB vs. MySQL’, The 13th International Conference on Engineering of Modern Electric Systems.
6. Dorin Carstoiu, Elena Lepadatu, Mihai Gaspar (2010), ‘HBase - non SQL Database, Performances Evaluation’, In International Journal of Advancements in Computing Technology.
7. Dhruba Borthakur (2007), ‘The Hadoop Distributed File System:Architecture and Design’.
8. Elif Dede, Madhusudhan, Daniel Gunter, Richard Shane Canon, Lavanya Ramakrishnan (2013), ‘Performance Evaluation of a MongoDB and Hadoop Platform for Scientific Data An alysis’.
9. George (2011), ‘NOSQL - NOTONLY SQL’.
10. Harish Balasubramanian (2014), ‘Performance Analysis Of Scalable Sql And Nosql Databases : A Quantitative Approach’.
11. Harshawardhan S. Bhosale, Prof. Devendra P. Gadekar (2014), ‘A Review Paper on Big Data and Hadoop’.
12. Han, J. (2011), ‘Survey on NOSQL Databases’, Proceedings 6th International Conference on Pervasive Computing and Applications, pp. 363-366.
13. Hadoop MapReduce Program design (2017), available online at https://www.slideshare.net/waue/hadoop-map-reduce-3019713.
14. HBase (2017/7/21), available online at http://hbase.apache.org.
15. HBase performance tuning (2017/7/23), available online at http://hbase.apache.org/book.html#performance.
16. Kusnetzky Dan (2010), What is "Big Data?".
17. Kristina Chodorow (2013), MongoDB: The Definitive Guide, SECOND EDITION.
18. Lith, A., and MATTSSON, J. (2010), ‘Investigating storage solutions for large data’, Department of Computer Science and Engineering, Chalmers University of Technology, Göteborg, Sweden.
19. McAuley, R. Pandey, J. Leskovec (2015), ‘Inferring networks of substitutable and complementary products’, Knowledge Discovery and Data Mining.
20. McAuley, C. Targett, J. Shi, A. van den Hengel (2015), ‘Image-based recommendations on styles and substitutes’, SIGIR.
21. MongoDB Official website (2017), available online at https://www.mongodb.com/company?jmp=footer.
22. MongoDB BSON format (2017/7/1), available online at https://docs.mongodb.com/manual/reference/glossary/#term-bson.
23. Megha Katkar (2015), ‘Performance Analysis for NoSQL and SQL’, International Journal of Innovative and Emerging Research in Engineering.
24. NYC taxi trip data (2017), available online at http://www.bigdata.cycu.edu.tw/site/?p=74.
25. Plugge, T. Hawkins, and P. Membrey (2010), ‘The Definitive Guide to MongoDB: The NoSQL Database for Cloud and Desktop Computing’.
26. Ramon Lawrence (2014), ‘Integration and Virtualization of Relational SQL and NoSQL Systems including MySQL and MongoDB’.
27. Rabi Prasad Padhy, Manas Ranjan Patra, Suresh Chandra Satapathy (2011), ‘RDBMS to NoSQL: Reviewing Some Next-Generation Non-Relational Database's’.
28. Robin Hecht, Stefan Jablonski (2011), ‘NoSQL Evaluation: A Use Case Oriented Survey’.
29. Rick Cattell (2010), ‘Scalable SQL and NoSQL Data Stores’, ACM SIGMOD Record Volume 39 Issue 4, pp 12-27.
30. Sahithi Tummalapallia, Venkata rao Machavarapu (2016), ‘Managing Mysql Cluster Data using Cloudera Impala’, Procedia Computer Science 85 ( 2016 ), pp 463-474.
31. Supriya S. Pore, Swalaya B. Pawar (2015) ‘Comparative Study of SQL & NoSQL Databases’, International Journal of Advanced Research in Computer Engineering & Technology (IJARCET).
32. Stephen Kaisler, Frank Armour, J. Alberto Espinosa, William Money (2013), ‘Big Data: Issues and Challenges Moving Forward’, 46th Hawaii International Conference on System Sciences.
33. Strozzi C. (2017), ‘NoSQL – A relational database management system 2007–2010’, available online at http://www.strozzi.it/cgi-bin/CSA/tw7/I/en_US/nosql/Home%20Page.
34. SQL databases v. NoSQL databases (2017/7), available online at http://www.labouseur.com/courses/db/Stonebraker-SQL-vs-NoSQL-2010.pdf.
35. Taiwan air pollution (2017), available online at http://taqm.epa.gov.tw/taqm/tw/YearlyDataDownload.aspx.
36. Vatika Sharma, Meenu Dave (2012), ‘SQL and NoSQL Databases’, International Journal of Advanced Research in Computer Science and Software Engineering.
37. Wade L. Schulz, Brent G. Nelson, Donn K. Felker, Thomas J.S. Durant, Richard Torres (2016), ‘Evaluation of relational and NoSQL database architectures to manage’, Journal of Biomedical Informatics.
38. Wikipedia, Big data (2017), available online at https://en.wikipedia.org/wiki/Big_data.
39. Xie Yi,Gao hong wei and Fan chao dong (2010), ‘A Survey on NoSqlDatabase’, Communication of modern technology.
40. Yishan Li. (2013), ‘A performance comparison of SQL and NoSQL databases’.
41. Zachary Parker, Scott Poe, Susan V. Vrbsky (2013), ‘Comparing NoSQL MongoDB to an SQL DB’, ACMSE '13 Proceedings of the 51st ACM Southeast Conference Article No. 5.
連結至畢業學校之論文網頁點我開啟連結
註: 此連結為研究生畢業學校所提供,不一定有電子全文可供下載,若連結有誤,請點選上方之〝勘誤回報〞功能,我們會盡快修正,謝謝!
QRCODE
 
 
 
 
 
                                                                                                                                                                                                                                                                                                                                                                                                               
第一頁 上一頁 下一頁 最後一頁 top
無相關期刊