臺灣博碩士論文加值系統

網路頻寬增加之後網頁的查詢回應速度往往左右使用者對該網頁的滿意度，因此如何提昇網頁的反應速度的議題就變得很重要，除了更換效能更強大的設備或是應用索引來提升資料庫的搜索速度，另一種常見的就是更換資料庫的類型來改善網頁反應變慢的狀況，近幾年常見的是更換成非關聯式資料庫（NoSQL database）。
但是龐大的關聯式資料庫在轉換成非關聯式資料庫之後，是否能提升搜索的速度變成一個需要特別關注的課題。本研究想要了解原有系統的SQL Server資料庫在進行轉換成MongoDB之後是否能有效的提升效能進而滿足使用者的需求。本研究效能測試採用類似Yahoo!雲端服務評鑑（Yahoo! Cloud Serving Benchmark）的測試模式，模擬使用者狀況，觀察系統在使用者常用搜尋功能上的反應速度。
實驗結果的呈現上，採用非關聯式資料庫的系統獲得較佳的效能。同樣資料量的環境下，增加資料量對於系統的影響較少。因此採用非關聯式資料庫於網路查詢資料系統上是較佳的選擇。

The network bandwidth increase response to the query speed is often about user satisfaction with the web. To find the way to enhance the reaction rate becomes very important. To replace the more powerful equipment or upgrade to enhance the search index database. In the other common type is to replace into a NoSQL database system.
But the huge original database after conversion into a new library if can improve search speed becomes an important issue. In this thesis, after the SQL server database during the conversion is effective to enhance the speed and thus meet the needs of users. Identify and native database format similar to the MongoDB, with simulated user usage as Yahoo! Cloud Serving Benchmark. Hoping users in the common search function can improve speed.
Presents experimental results on the use of non-relational database system to obtain better performance. The amount of data under the same circumstances, increase the amount of data to affect the system less. Therefore the use of non-relational databases on the Internet query system is a better choice.

目錄
摘要 I
Abstract II
目錄 III
圖目錄 V
表目錄 VI
第一章 緒論 1
1.1 研究背景與動機 1
1.2 研究目的 2
1.3 研究範圍 3
1.4 論文架構 3
第二章 文獻探討 5
2.1 混合SQL與NoSQL雲端架構系統 5
2.2 雲端異質資料庫移轉之可適性研究 9
2.3 分散式資料庫解決尖峰查詢的網際網路服務設計與實作 12
2.4 MySQL轉換成NoSQL資料模型與支援擴展的挑戰 16
2.5 社群媒體危機訊息研究分析的設計挑戰與解決方案 21
2.6 小結 24
第三章 相關理論與技術 26
3.1 NoSQL 26
3.2 MongoDB 28
3.3 YCSB 30
第四章 研究機制 33
4.1 研究假設 33
4.2 系統架構 34
4.3 系統流程 35
第五章 分析與討論 37
5.1 實作環境介紹 37
5.2 實驗架構 37
5.3 實驗流程 38
5.4 實際環境測試 41
5.5 小結 45
第六章 結論與未來研究 47
6.1 結論 47
6.2 未來研究 47
參考文獻 50

圖目錄
圖1-1後台服務程式與資料庫連接示意圖 2
圖2-1架構比較圖 8
圖2-2資料轉換流程圖 10
圖2-3實驗環境架構圖 14
圖2-4原始EPIC架構 17
圖2-5關聯式架構 18
圖2-6 EPIC系統架構圖 19
圖2-7改良之後的EPIC系統處理狀況圖 20
圖2-8 EPIC Analyze資料模型圖 23
圖2-9 EPIC Analyze架構圖 23
圖3-1 YCSB架構圖 31
圖4-1股市歷史資料查詢系統架構圖 34
圖4-2股市歷史資料查詢系統流程圖 35
圖5-1實驗架構圖 38
圖5-2實驗流程圖 38
圖5-3轉換狀況圖 39
圖5-4 SQL Server的原始表單圖 39
圖5-5移轉至MongoDB之後的資料型態圖 40
圖5-6測試情況圖 41
圖5-7不同資料庫測試結果圖 43
圖5-8不同資料筆數測試結果圖 45

表目錄
表2-1資料表優化項目表 6
表2-2資料表分片選擇表 7
表2-3資料庫效能比較表 8
表2-4不同資料庫與資料量配置測試結果表 11
表2-5不同種類資料庫環境測試結果表 15
表2-6 Json格式範例表 18
表2-7處理效能整理表 19
表2-8相關研究整理表 25
表3-1四類常見的NoSQL資料庫表 28
表3-2預設Workload 整理表 31
表5-1實作環境表 37
表5-2欄位名稱對照表 40
表5-3 MongoDB測試結果表 42
表5-4 SQL server測試結果表 43
表5-5 MongoDB 1000萬級距查詢狀況表 44

[1]王致超(2014)。NoSQL 雲端資料庫資料模型設計之研究(碩士論文)。高雄應用科技大學資訊管理學系，高雄市。
[2]皮雄軍(2015)。奠定大數據的基石：NoSQL資料庫技術。(p1-15、p2-2、p2-12)。臺北市：佳魁資訊。
[3]周耿達(2013)。MongoDB 與 MySQL Cluster 效能分析(碩士論文)。臺北商業技術學院資訊與決策科學研究所，臺北市。
[4]徐仁淳(2014)。關聯感知技術應用於SQL與NoSQL資料轉換(碩士論文)。中華大學資訊工程學系，新竹市。
[5]陸嘉恒(2015)。挑戰大數據：Facebook、Google、Amazon怎麼處理Big Data?用NoSQL搞定每年100顆硬碟資料(二版)。(p2-2、p11-2)。臺北市：佳魁資訊。
[6]張書瑋(2014)。Column-based 分散式資料庫解決尖峰查詢的網際網路服務設計與實作(碩士論文)，實踐大學資訊科技與管理學系，臺北市。
[7]許雅婷(2012)。雲端數據管理上空間索引之鍵制定格式(碩士論文)。交通大學資訊科學與工程研究所，新竹市。
[8]陳千祥(2013)。雲端異質資料庫移轉之可適性研究(碩士論文)。臺灣科技大學電機工程學系，臺北市。
[9]陳春瑞(2013)。從關聯式資料庫到Google App Engine之資料遷移簡化概念(碩士論文)。東華大學資訊工程學系，花蓮縣。
[10]黃珣(2012)。植基於YCSB系統之叢集資料庫效能分析(碩士論文)。中山大學資訊工程學系，高雄市。
[11]黃健瑋(2012)。以混合 SQL 與 NoSQL 為策略提昇關聯式資料庫在雲端架構下的效能(碩士論文)。中正大學資訊工程研究學系，嘉義縣。
[12]臺灣證券交易所。http://www.twse.com.tw/。存取日期2016.5.25。
[13]Abramova, Veronika. , Jorge Bernardino and Pedro Furtado (2014). Experimental evaluation of NoSQL databases . International Journal of Database Management Systems (Vol. 6, No. 3, pp. 1-16).
[14]Abramova, Veronika. , Jorge Bernardino, Pedro Furtado (2014). Which nosql database? a performance overview. Open Journal of Databases (OJDB) (Vol. 1, No. 2, pp. 17-24).
[15]Amazon Web Services. https://aws.amazon.com/tw/ . Retrieved 2016.5.25.
[16]Anderson, Kenneth M. , Ahmet Arif Aydin, Mario Barrenechea, Adam Cardenas, Mazin Hakeem, Sahar Jambi (2015). Design challenges/solutions for environments supporting the analysis of social media data in crisis informatics research. IEEE 2015 48th Hawaii International Conference on System Sciences (HICSS) (pp. 163-172).
[17]Apache Thrift. https://thrift.apache.org/ . Retrieved 2016.5.25.
[18]Bray, Tim. (2013). The JSON Data Interchange Format. draft-ietf-json-rfc4627bis-10 (work in progress).
[19]Bromberg, Peter (2010). MongoDb vs SQL Server Basic Speed Tests. Retrieved fromhttp://www.nullskull.com/a/1498/mongodb-vs-sql-server-basic-speed-tests.aspx . Retrieved 2016.5.25.
[20]bsonspec.org. http://bsonspec.org/ . Retrieved 2016.5.25.
[21]Bugiotti, Francesca. , Luca Cabibbo, Paolo Atzeni, Riccardo Torlone (2014). Database design for NoSQL systems. In Conceptual Modeling (pp. 223-231). Springer International Publishing.
[22]Cassandra.http://cassandra.apache.org/ . Retrieved 2016.5.25.
[23]Cooper, Brian. , Adam Silberstein, Erwin Tam, Raghu Ramakrishnan, Russell Sears (2010). Benchmarking cloud serving systems with YCSB. In Proceedings of the 1st ACM symposium on Cloud computing (pp. 143-154).
[24]DeCandia, Giuseppe. , Deniz Hastorun, Madan Jampani, Gunavardhan Kakulapati,Avinash Lakshman, Alex Pilchin, Swaminathan Sivasubramanian, Peter Vosshall and Werner Vogels (2007). Dynamo: amazon's highly available key-value store. In ACM SIGOPS Operating Systems Review (Vol. 41, No. 6, pp. 205-220).
[25]Feng, Stanley (2016.5.10) . HOME [WEB]. Retrieved from https://github.com/brianfrankcooper/YCSB/wiki . Retrieved 2016.5.25.
[26]HBase.https://hbase.apache.org/ . Retrieved 2016.5.25.
[27]Kennedy, Michael (2010). MongoDB VS. SQL Server 2008 Performance Showdown. Retrieved from https://blog.michaelckennedy.net/2010/04/29/mongodb-vs-sql-server-2008-performance-showdown/ . Retrieved 2016.5.25.
[28]MongoDB. https://www.mongodb.com/ . Retrieved 2016.5.25.
[29]MongoDB.C# and .NET MongoDB Driver. Retrieved from http://mongodb.github.io/mongo-csharp-driver/2.0/getting_started/quick_tour/ . Retrieved 2016.5.25.
[30]MongoDB.Find or Query Data with C# Driver. Retrieved from https://docs.mongodb.com/getting-started/csharp/query/ . Retrieved 2016.5.25.
[31]MongoDB . Top 5 considerations when evaluating NoSQL Databases. Retrieved from https://s3.amazonaws.com/info-mongodb-com/10gen_Top_5_NoSQL_Considerations.pdf . Retrieved 2016.5.25.
[32]Microsoft Developer Network. Transact-SQL. Retrieved from https://msdn.microsoft.com/zh-tw/library/ms177563(v=sql.120).aspx . Retrieved 2016.5.25.
[33]MONGOVUE. http://www.mongovue.com/ . Retrieved 2016.5.25.
[34]NOSQL. http://nosql-database.org/ . Retrieved 2016.5.25.
[35]Pokorny, J. (2013). NoSQL databases: a step to database scalability in web environment. International Journal of Web Information Systems (Vol. 9, No. 1, pp. 69-82).
[36]PostgreSQL. https://www.postgresql.org/ .Retrieved 2016.5.25.
[37]Project EPIC. http://epic.cs.colorado.edu/ . Retrieved 2016.5.25.
[38]Rossel, Sander(2015). Using C# to connect to and query from a SQL database. Retrieved from http://www.codeproject.com/Articles/837599/Using-Csharp-to-connect-to-and-query-from-a-SQL-da . Retrieved 2016.5.25.
[39]Schram, A., & Anderson, K. M. (2012). MySQL to NoSQL: data modeling challenges in supporting scalability. In Proceedings of the 3rd annual conference on Systems, programming, and applications: software for humanity (pp. 191-202).
[40]Ternstrom, Tobias (2016). Connect to SQL Database by using .NET (C#). Retrieved from https://azure.microsoft.com/en-us/documentation/articles/sql-database-develop-dotnet-simple/ . Retrieved 2016.5.25.