臺灣博碩士論文加值系統

由於數位訊息時代的到來，對於許多傳統交易文件、傳感器資料、與從個人到公司企業的用戶體驗，存儲空間不再侷限於個人電腦或是NAS（Network Attached System）線上儲存系統，甚至是Internet中的公開儲存系統。因此，關於資料儲存和應用問題，儲存空間和儲存設計的選擇變得越來越重要。

完整的大數據平台包括四個主要方面，即儲存、運算、分析和可視覺化呈現。根據環境要求、數據吞吐量、系統壓力測試和設備性能等，我們可以觀察並操作這種整合性平台以提供對IoT (Internet of Things) 物聯網系統的資料存取，此外，物聯網系統還需要不間斷監控和記錄以提供報警檢測和異常分析因此，這些都是大數據平台很重要的規格與特徵。

我們的研究主要有兩個方面，第一，本文基於Raspberry Pi閘道器設備和DHT11溫濕度傳感器建立並呈現一個大數據平台。其中所使用的系統軟體包括用於邊緣系統的Raspbian作業系統和用於雲端系統的CentOS作業系統。此外，關於邊緣系統的運作，我們安裝Grafana以呈現視覺操作，而InfluxDB則用於儲存時間序列的大數據資料。然而，關於雲端系統的操作，我們安裝ElasticSearch以執行大數據分析， MongoDB則用以設計NoSQL (Not only SQL) 資料儲存與檢索。
第二，由於物聯網系統需要提供數據分析並滿足環境多樣性的要求，因此，本文比較了MongoDB和ElasticSearch系統的運行性能和處理吞吐量，以區分應用程程式的使用差異。

在本文結構中，首先，我們介紹了系統架構以了解操作環境和數據資料流，其次，文章中呈現了所有軟體套件的功能和安裝過程，然後，我們也提供了一些詳細的討論和實驗結果。最後，在總結中說明了我們的貢獻和未來的工作。

In view of the advent of the digital information age, for many files of traditional transaction, data from the sensing machine, and users experience from individuals to corporate enterprises, storage space is no longer limited to personal computers, but online storage of the NAS (Network Attached Storage) and even public storage in the Internet. Therefore, the choice of storage space and design becomes more and more important for data storage and applications.

A complete big data platform includes four major aspects, storage, computing, analysis, and visual presentation. Based on the environment requirement, data throughput, system stress testing and equipment performance, such an integrated platform is observed and operated to provide data access to IoT system (Internet of Things). Additionally, IoT system also needs constantly monitoring and recording to provide alarm detection and anomaly analysis.

There are two main points in our research. First, a big data platform is established and demonstrated based on Raspberry Pi gateway devices and DHT11 temperature & humidity sensors. The system softwares include Raspbian operating system for edge system and CentOS for cloud system. Moreover, for edge system, Grafana is installed to present visual operations and InfluxDB is used to store time series data. However, for cloud system, big data analysis is executed in ElasticSearch and NoSQL (Not only SQL) data storage and retrieval are designed by MongoDB.

Second, since IoT system needs to provide data analysis and meet environment diversity requirement, in this paper, the operating performance and processing throughtput for MongoDB and ElasticSearch systems are compared to distinguish the application difference.

In this paper structure, first, the system architecture is introduced to understand the operating environment and data flow. Second, the function and installation process are demonstrated for all software packages. Third, some detailed discussion and experiment results are presented. Finally, our contribution and future work are shown in the concluding remarks.

目錄
口試委員簽名頁 i
中文摘要 ii
Abstract iii
目錄 iv
圖目錄 vii
表目錄 ix
第一章緒論 1
1.1研究背景 1
1.2研究目的 1
1.3研究流程 3
Edge前端邊緣系統 3
Cloud Server 後端雲端伺服器系統 3
第二章研究方法與架構 5
2.1研究方法 5
2.1.1技術功能摘要 5
2.1.2研究目標與整合項目 6
2.2理論基礎 6
2.2.1重要技術運用 6
2.2.2 選用溫濕度感測器 7
2.2.3大數據資料庫重要特點：分片(Shards)與副本(Replicas) 7
分片(Shards) 7
副本(Replicas) 7
2.3方法與架構 7
2.3.1比較運用工具之功能與用途 8
InfluxDB與MongoDB功能簡述與共通點 8
MongoDB與ElasticSearch差異比較與共通點 8
第三章實作安裝與操作分析 9
3.1 DHT11溫溼度感測器介紹 9
3.1.1 DHT11 元件規格 9
3.2 Raspberry3B+樹莓派規格介紹 10
3.2.1樹莓派感測接點GPIO介紹 12
3.3 Mosquitto(MQTT)功能介紹 13
3.3.1步驟說明： 13
3.4 NiFi功能介紹 15
3.5 InfluxDB功能介紹 16
3.5.1 InfluxDB常用指令介紹 17
3.6 MongoDB功能介紹 18
3.6.1程式安裝主要步驟說明 20
3.6.2安裝MongoDB LinuxCentOS (主要步驟簡介參考重要指令) 21
3.7 Robo3T功能介紹 23
3.8 ElasticSearch功能介紹 24
3.9 Grafana功能介紹 26
第四章結論與建議 29
4.1結論 29
壓力測試觀察 31
4.2 研究成果與貢獻 35
4.3未來研究與方向 35
參考文獻 36
附錄 40
附錄A LinuxCentOS安裝MongoDB 4.2(詳細實作指令參考) 40
(1)編輯安裝設定repo函式庫 40
(2)安裝MongoDB主程式 40
(3)設定主機檔 40
(4)建立資料庫資料夾 40
(5)背景啟動資料庫伺服器 40
(6)啟動資料庫 40
(7)關閉資料庫伺服器 40
附錄B LinuxCentOS安裝NiFi 1.10(詳細實作指令參考) 41
安裝版本介紹 41
(A) Download JDK_下載Java套件jdk1.8.0_144 42
(B) JAVA-JDK Config Path_設定參數環境參數 42
(C) Switch to nifi account切換NiFi使用帳號 43
(D) NiFi主程式下載安裝nifi-1.10.0-bin.tar.gz 43
附錄C RaspberryPi樹莓派安裝Grafana 6.2.1(詳細實作指令參考) 45
附錄D RaspberryPi樹莓派安裝InfluxDB(詳細實作指令參考) 45
附錄E RaspberryPi樹莓派安裝DHT11(實作Python範例程式參考) 46
溫溼度感測套件安裝端點範例程式碼(端點感測) 46
溫溼度感測套件安裝端點範例程式碼(端點感測儲存InfluxDB呈現) 48
溫溼度感測套件安裝端點範例程式碼(端點感測儲存平台後端ElasticSearch) 50
溫溼度感測套件安裝端點範例程式碼(端點感測儲存平台後端MongoDB) 52
附錄F Grafana程式支援可視覺化資料源項目 53
誌謝 54

圖目錄
　
圖1.3.1.實作架構介紹 3
圖1.3.2.大數據平台相關應用程式主流架構圖 4
圖1.2.1.軟硬體功能架構說明 5
圖3.1.1.常見DHT11溫溼度感測器 9
圖3.2.1.樹莓派設備規格分析 10
圖3.2.2.各版樹莓派運算溫度分析[33] 11
圖3.2.3.常用GPIO接點介紹[34] 12
圖3.3.1.MQTT套件安裝 13
圖3.3.2. Mosquitto設定檔修改 14
圖3.3.3. Mosquitto程式執行 14
圖3.4.1.NiFi服務程式啟動參考畫面 15
圖3.4.2.下載與安裝參數設定 15
圖3.5.1.InfluxDB套件HTTP API 簡易查詢畫面 16
圖3.5.2.InfluxDB套件參考安裝指令 16
圖3.5.3.InfluxDB 指令操作 17
圖3.6.1.Windows 系統安裝畫面 18
圖3.6.2.MongoDB 儲存樣式[35] 20
圖3.6.3.Windows系統指令啟動參考畫面 20
圖3.6.4.MongoDB 4.2 windows系統用戶端操作畫面 22
圖3.6.5.MongoDB 4.2 windows系統用戶端資料檢索畫面 22
圖3.7.1.Robo3T官方網站畫面 23
圖3.7.2.Robo3T 程式啟動畫面 23
圖3.8.1.安裝前ElasticSearch程式函式庫設定 25
圖3.8.2.程式安裝完成，服務檢查 25
圖3.8.3.程式執行9200 port網頁畫面 26
圖3.9.1. Grafana官方下載網站 27
圖3.9.2.Python 溫溼度感測暨系統登入畫面 28
圖3.9.3.溫度資料讀取可視覺化成果顯示 28
圖4.1.1.單一端點Site01實作架構流程 29
圖4.1.2.多端點 (Site01與Site02) 實作主架構流程 29
圖4.1.3.Grafana溫溼度數據量測即時監控圖 30
圖4.1.4.樹莓派實作連接多感測器(4組感測器) 30
圖4.1.5.樹莓派一機接收多感測器實作(4組感測器) 31
圖4.1.6.使用JMeter進行效能觀察 32
圖4.1.7.設定測試連線資訊(/es_index_count讀取資料筆數) 32
圖4.1.8.設定測試成效分析顯示 33
圖4.1.9.連線測試分析數據 33
圖4.1.10.壓力測試結果 34

表目錄
　
表1.2.1.使用元件、軟體工具介紹 2
表1.2.2.工具程式預設通訊埠 2
表2.3.1.MongoDB與ElasticSearch差異分析表 8
表3.2.1.樹莓派硬體規格暨輸入電源分析表 11
表3.6.1.MongoDB使用環境評估 18
表3.6.2.MongoDB 的系統單位名詞與 Relational Database單位說明 19

[1]龍華科技大學-作者邱祥瑋，“Raspberry Pi與Arduino實現智慧家庭消防監控系統”，碩士論文，106年7月。
[2]P. Sangat, M. Indrawan ‐ Santiago, and D. Taniar, "Sensor data management in the cloud: Data storage, data ingestion, and data retrieval," Concurrency and Computation: Practice and Experience,vol. 30, no. 1, p. e4354, 2018.
[3]L. Qiao et al., "Gobblin: Unifying data ingestion for Hadoop,"Proceedings of the VLDB Endowment, vol. 8, no. 12, pp. 1764-1769,2015.
[4]R. Young, S. Fallon, and P. Jacob, "An Architecture for Intelligent Data Processing on IoT Edge Devices," in Computer Modelling &Simulation (UKSim), 2017 UKSim-AMSS 19th International Conference on, 2017, pp. 227-232: IEEE.
[5]作者： Ball, Louis E., MongoDB Applied Design Patterns, 出版社：Ingrem, 出版日：2015/8/19,ISBN：9781516946631
[6]作者：王進德, Raspberry Pi入門與機器人實作應用, 出版社：博碩, 出版日期：2017/10/02
[7]作者：柯博文, Raspberry Pi最佳入門與實戰應用, 出版社：碁峰資訊, 出版日：2015/12/25, ISBN：9789863478263
[8]作者：黃士嘉, 吳佩儒, 7天學會大數據資料處理—NoSQL：MongoDB入門與活用, 出版社：博碩, 出版日期：2017/08/08
[9]A Mapping-based Method to Query MongoDB Documents with SPARQL, Franck Michel, Catherine FaronZucker, Johan Montagnat, Submitted on 10 Jun 2016
[10]A Study on Join Operations in MongoDB Preserving; Collections Data Models for Future; Internet Applications, Antonio Celesti 1,2,*,†, Maria Fazio 1,3 and Massimo Villari 1,3, Received: 14 January 2019; Accepted: 22 March 2019; Published: 27 March 2019
[11]Development of site-oriented Analytics for Grid computing centres, A. Washbrook2, D. Crooks1, G. Roy1, S. Skipsey1, G. Qin1, G. P.Stewart1, D. Britton1, A. Washbrook et al 2015 J. Phys.: Conf. Ser. 664 022041
[12]A Scalable and Robust Framework for Data Stream Ingestion,HarunaIsah, FarhanaZulkernine,Submitted on 11 Dec 2018
[13]ANALYSIS AND COMPARISON OF DOCUMENT-BASED. DATABASES WITH SQL RELATIONAL DATABASES MONGODB VS MYSQL,RaifDeari, XhemalZenuni, JauminAjdari, Florije Ismaili, BujarRaufi, Information Technologies (InfoTech-2018) 20-21 September 2018, Bulgaria
[14]https://its-security.blogspot.com/2018/02/introduction-elasticsearch.html
, 介紹超強大的分散式搜尋引擎ElasticSearch ,2020/01/02.
[15]https://medium.com/@tanmay.avinash.deshpande/here-is-a10-min-do-it-yourself-tutorial-on-iot-with-apache-nifi-1ed958256a67
, 使用 Apache NiFi進行物聯網的 10 分鐘自學手冊, 2019/11/03.
[16]https://stackoverflow.com/questions/36204026/newbie-how-to-use-apache-nifi-to-use-a-rest-api-as-source
, 如何使用Apache NiFi使用REST_ API , 2019/10/02.
[17]https://leriou.github.io/2019-01-09-mongodb-compareto-elasticsearch/
, MongoDB 和ElasticSearch的對比, 2019/09/13.
[18]https://www.elastic.co/cn/blog/aftershock-therapy-with-elasticsearch-and-csv-data-import
,Importing CSV earthquake data into ElasticSearch
(將 CSV地震數據導入ElasticSearch), 2019/11/01.
[19]https://ithelp.ithome.com.tw/articles/10203900
, JMeter壓力測試工具, 2019/11/09.
[20]https://its-security.blogspot.com/2018/02/introduction-elasticsearch.html
, 介紹超強大的分散式搜尋引擎ElasticSearch , 2019/11/03.
[21]https:/blog.cavedu.com/2018/03/14/raspberry-pi-3-為您介紹新版樹莓派七大特點：raspberry-pi-3-model-b-plus/
, 為您介紹新版樹莓派七大特點：Raspberry Pi 3 Model B Plus , 2019/08/01.
[22]https://www.itread01.com/content/1541239338.html
, 視覺化工具Grafana：簡介及安裝, 2019/12/16.
[23]http://163.30.84.1/admin/ports.htm
, 常用端口埠對照解析, 2019/12/13.
[24]https://www.taiwaniot.com.tw
, 電子商城：台灣物聯科技, 2018/01/13.
[25]https://ithelp.ithome.com.tw/articles/10184679
, 30-1之MongoDB基礎-iT邦幫忙, 2019/05/23.
[26] https://www.runoob.com/mongodb/mongodb-databases-documents-collections.html
, MongoDB概念解析, 2019/01/06.
[27]https://tpu.thinkpower.com.tw/tpu/articleDetails/885
, NoSQL+MongoDB+gudab介紹與應用-昕力大學-昕力資訊, 2019/11/03.
[28]https://codertw.com/程式語言/530237/#outline__5
, mongoDB簡介及關鍵特性, 2019/11/05.
[29]https://medium.com/pizzas/grafana介紹及安裝-bfdb811e419e
, Grafana介紹及安裝, 2019/12/20.
[30]https://blog.toright.com/posts/5319/fulltext-search-elasticsearch-kibana-bigdata.html
, 安裝ElasticSearch+Kibana實現中文全文搜尋與數據分析, 2019/12/09.
[31]https://sites.google.com/site/raspberypishare0918/home/gpio
, 學習樹莓派--RaspberryPi, 2018/01/10.
[32]http://blog.ilc.edu.tw/blog/index.php?op=printView&articleId=660493&blogId=868
, WFduino第32課DHT11溫濕度感測器, 2019/12/27.
[33]https://kknews.cc/news/8l96mvn.html
, 樹莓派3B+發布，支持5GHzWi-Fi和藍牙4.2 , 2020/01/10.
[34]http://korewa72.blogspot.com/2018/08/cc-gpio.html
, 玩物生活碎碎念, 2020/01/03.
[35]http://mongodbcanred.blogspot.com/2015/01/mongodb.html
, MongoDB介紹, 2020/01/03.