訪客IP:54.81.71.187
字體大小: 字級放大   字級縮小   預設字形  
回查詢結果

詳目顯示:::

我願授權國圖
本論文永久網址: 
line
研究生:曾韋翔
研究生(外文):TSENG, WEI-HSIANG
論文名稱:交通ETC大數據探討與計算-以國道五號為例
論文名稱(外文):Application of Big Data Analysis to ETC Data case of Freeway No.5
指導教授:林真真林真真引用關係李御璽李御璽引用關係
指導教授(外文):LIN, JEN-JENLI, YUE-SHI
口試委員:吳漢銘陳明輝
口試委員(外文):WU, HAN-MINGCHEN, MING-HUEI
口試日期:2017-07-11
學位類別:碩士
校院名稱:銘傳大學
系所名稱:應用統計與資料科學學系碩士班
學門:數學及統計學門
學類:統計學類
論文出版年:2017
畢業學年度:105
語文別:中文
論文頁數:112
中文關鍵詞:大數據HortonworksRhadoop資料探勘多核心計算
外文關鍵詞:Big dataHortonworksRhadoopData Miningparallel computing
相關次數:
  • 被引用被引用:0
  • 點閱點閱:164
  • 評分評分:系統版面圖檔系統版面圖檔系統版面圖檔系統版面圖檔系統版面圖檔
  • 下載下載:0
  • 收藏至我的研究室書目清單書目收藏:0
大數據隨著雲端技術的進步,由單主機處理,成長成透過多台機器的串聯,提高運算能力及儲存空間,讓所有資料都能完整的存入大數據雲端分析平台,其中自由軟體Hortonworks結合Hadoop,可以達到巨量資料管理與分析的功能。可以在此平台進行資訊的篩選,找出關聯性並做預測防範等,若運用在交通旅行上,可以提供資訊給用路人,避開壅塞路段、減少資源的浪費。
臺灣的高速公路ETC電子收費系統於2014年全面啟用,至今累積了龐大的數據。本研究將巨量的高速公路行駛數據匯入雲端分析平台Hortonworks,並結合Rhadoop等雲端平台套件進行資料探勘,同時在RStudio Server與Hortonworks上的Hive資料庫進行資料篩選,針對不同的路況時段(平假日、時段等)比較不同車種的旅行時間,為用路人提供更有效益的行車建議。同時,本研究也將在RStudio Server上透過多核心套件parallel以及foreach,比較不同大小的資料量在單核心與多核心計算之效能差異。
針對高速公路旅行時間的研究結果可以發現平日的上班車潮與星期六上午的出遊車潮是車流量最多的時段,其中以南港至頭城的路段最為嚴重;清晨以及晚間行駛國道五號時要多注意大型車輛,以策安全;另外也建議用路人上路前要多關注即時路況與廣播,以避開突發的壅塞狀況。在多核心計算的部分則可明顯發現使用多核心技術能有要節省運算所花費的時間,根據硬體環境的不同,使用的套件功能也會有不同的效能差異。

The advancement of cloud computing has grown up to multi-machine, more access space and computing power let almost every information can save into the data platform, the open source Hadoop software Hortonworks Data Platform (HDP) can manage and compute big data efficiently, filter useful information, find the association to prevent risk, while using on traffic data can provide driving advice to driver, avoid traffic jam, and reduce the waste of resources.
Electronic Toll Collection (ETC) had enabled since 2014 on three main freeway in Taiwan, lots of traffic data had been collected. This research will upload two years traffic data into Hortonworks data platform (HDP), use Data Mining by RHadoop packages in RStudio server, filiter ETC data with RStudio Server and Hive, then connect Hive database with RStudio Server, compare different sections’ status, car type, and time period, provide driver an efficiently driving advice. Also, this study use parallel and foreach package of RStudio Server, compare the operational efficiency by different size of data, different quantity of cores, and different methods.
For the research of travel time, we can find out that weekday morning’s working crowds and weekend morning’s travel crowds are most congestion time, where Nankang to Toucheng interchange is the most serious section. Traveler at night and early morning need to alert the trucks and bus, to ensure the safty of themselves. Also, we seggest every traveler get attetion to the traffic imformation on the broadcast, to avoid emergencies. In the case of multi-cores computing, we can find that multi-cores’ efficacy is better than single-core’s environment, different package function on different quantity of cores also can reduce different time spend.

第一章、緒論 1
第一節、 研究背景與動機 1
第二節、 研究目的 1
第三節、 研究範圍 2
第四節、 研究流程 3
第二章、 文獻探討 4
第一節、 交通資料分析 4
第二節、 大數據平台與R 6
第三節、 資料探勘(Data Mining) 10
第三章、研究方法 13
第一節、 需求軟體 13
第二節、 研究環境架構概念圖 15
第三節、 Hortonworks架構與範例資料模擬 16
第四節、 Rstudio Server安裝 35
第五節、 連接埠之彙整 41
第六節、 RStudio Server之多核心計算比較 42
第七節、 K-Means(K-平均演算法) 44
第八節、 資料描述 45
第四章、實證分析 48
第一節、 基本敘述統計 48
第二節、 集群分析 58
第三節、 RStudio Server之多核心計算 90
第五章、結論與建議 96
第一節、 系統架構與效能 96
第二節、 資料分析 96
第三節、 研究限制 97
第四節、 未來研究之建議 97
附錄(一)-Anaconda安裝與Python程式碼解說 98
附錄(二)-多核心計算時間比較之程式碼解說 100
附錄(三)-RStudio Server集群分析程式碼 101
參考文獻 104


[1] 交通部國道高速公路局(民104)。交通部臺灣區國道高速公路局交通資料庫(原始數據)。取自http://tisvcloud.freeway.gov.tw/
[2] 吳木富(民104)。ETC資料分析應用於高速公路管理之案例分享。大數據(Big Data)分析在交通管理與服務應用研討會,交通部運輸研究所。
[3] 汪進財、邱孟佑(民99)。以車流狀態為基礎之高速公路旅行時間預測模式。運輸學刊,3(22),261-284。
[4] 邱孟佑(民99)。以交通狀態為基礎之旅行時間預測(博士論文)。國立交通大學,新竹市。
[5] 李穎(民96)。考慮事故延續時間動態更新預測之高速公路旅行時間預測模式建立與資料簡化方法比較(博士論文)。國立成功大學,台南市。
[6] 邱逸彥(民103)。利用貝氏理論於旅行時間推估之研究(碩士論文)。國立交通大學,新竹市。
[7] 林志弘、翁玉麟、曾淑峰(民101)。資料探勘應用:以SAS Enterprise Miner為工具。臺北市:梅霖文化事業股份有限公司。
[8] 林士傑、李穎、魏建宏 (民92)。高速公路客運車輛旅行時間預測之實證評析。運輸計劃季刊,4(32),651-679。
[9] 粱衍忠(民101)。資料探勘技術在學生國語學習成就之分析運用。教育與多元文化研究,7,65-110。
[10] 張效娟(2008)。k-means算法的改進和在保險業CRM中的應用。大連交通大學學報。29(1),76 - 79
[11] 高誜亨(民102)。雲端心電圖大量資料的分析與顯示(碩士論文)。義守大學,高雄市。
[12] 蔡宗諺、楊志平、彭克仲、陳仕偉(民98)。應用資料探勘技術於農會超市之研究-以恆春鎭農會超市為例。台灣農學會報,10(4),272-285。
[13] 陳垂呈、利益多(民91)。應用資料探勘技術發掘最適性之線上拍賣競標者。運籌研究集刊,1,1-14。
[14] 廖知航(民104)。RHadoop技術探討與實作(碩士論文)。靜宜大學,台中市。
[15] 趙建東、王浩、劉文輝、白繼根(2013)。基于收费数据的高速公路站间旅行时间预测。同濟大學學報(自然學版)。41(12),1859-1854。
[16] 顏嘉惠(民91)。資料探勘於圖書館行銷及顧客關係管理之應用。圖書與資訊學刊,42,58-68。
[17] Smith, B L & Demetsky, M J(1994) SHORT-TERM TRAFFIC FLOW PREDICTION: NEURAL NETWORK APPROACH. Transportation research record, 1453, 98-104.
[18] Rakesh Kumar, Neha Gupta, Shilpi Charu, Somya Bansal & Kusum Yadav(2014) Comparison of SQL with HiveQL. International Journal for Research in Technological Studies| Vol. 1, Issue 9, August 2014 | ISSN : 2348-1439

電子全文 電子全文(網際網路公開日期:20180828)
QRCODE
 
 
 
 
 
                                                                                                                                                                                                                                                                                                                                                                                                               
第一頁 上一頁 下一頁 最後一頁 top
系統版面圖檔 系統版面圖檔