(3.238.186.43) 您好!臺灣時間:2021/03/05 22:27
字體大小: 字級放大   字級縮小   預設字形  
回查詢結果

詳目顯示:::

我願授權國圖
: 
twitterline
研究生:高秀婷
論文名稱:基於Hadoop雲端運算架構之平行基因演算研究-以學習障礙輔助診斷系統為例
論文名稱(外文):Application of the Hadoop-based Parallel Genetic Algorithm to the Identification of Students with Learning Disabilies
指導教授:吳東光吳東光引用關係
學位類別:碩士
校院名稱:國立彰化師範大學
系所名稱:數位內容科技與管理研究所
學門:設計學門
學類:視覺傳達設計學類
論文種類:學術論文
論文出版年:2011
畢業學年度:99
語文別:中文
論文頁數:95
中文關鍵詞:HadoopMapReduce雲端運算平行基因演算學習障礙
外文關鍵詞:HadoopMapReduceCloud ComputingParallel Genetic AlgorithmLarning Disabilities
相關次數:
  • 被引用被引用:5
  • 點閱點閱:605
  • 評分評分:系統版面圖檔系統版面圖檔系統版面圖檔系統版面圖檔系統版面圖檔
  • 下載下載:0
  • 收藏至我的研究室書目清單書目收藏:3
學習障礙的鑑定過程是相當耗費時間與人力的,近年來,由於學習障礙鑑定的人數劇增,因此有學者們為減低鑑定人員的負荷,使用類神經網路等演算法來開發學習障礙輔助系統,研究結果顯示,透過分散式平行基因演算法搭配類神經網路,可縮短運算時間並提高凖確率。
以MPI為基礎的分散式平行基因演化,存在著分散式環境的基本開發問題,即分散式電腦間的溝通與資料儲存問題,因此本研究選用雲端運算中完全開放源始碼的Hadoop架構作為學習障礙輔助系統的架構,透過HDFS分散式檔案系統儲存資料,並設計平行基因演算法將其對應至MapReduce程式框架上,進而實作於Hadoop架構上,藉以降低程式設計師開發分散式程式的壓力,且當資料和工作量持續增加時,只需增加運作節點即可,不需再更動程式架構,即可簡易擴充運算能力。
本研究中由於所採用的學習障礙輔助系統資料量極小,因此本研究設計一種自行切割檔案成檔案區塊的方式進行實驗,而研究結果發現,在學習障礙輔助系統上其平均運算時間較原先預設的切割方法快6.8倍,且在學習障礙輔助系統上,本研究透過HDFS當作節點互相溝通的檔案伺服器,並儲存精英染色體供節點存取,而實驗結果顯示,對精英染色體適應值設立門檻值,會對於學習障礙的辨識率有較佳的結果。
此外,本研究亦與以網格運算為基礙的學習障礙輔助系統相互比較其平均運作時間與平均學習障礙辨識凖確率,在處理的資料量較小情況下,實驗結果顯示網格運算的表現似乎較優於Hadoop環境;但本研究發現,當MapReduce處理的資料量較大時,Hadoop環境的學習障礙輔助系統將會優於網格運算。

Process in identification of students with Learning Disabilities (LD) may require a lot of time and manpower. In order to reduce the evaluation personnel's workload, researchers use Artificial Neural Network (ANN) to develop an assisted LD students identification system. The results shows that through MPI-based Distributed Parallel Genetic Algorithm (DPGA) with ANN, the operation time and identfication accuracy can both be improved.
However, the MPI-based solution may have the communication and data storage issues in the distrubuted environment. In this research, we port the assisted LD students identification system to the open-source Hadoop framework. We resesign the parallel genetic algorithm and map it to the MapReduce program framework, and store corresponding data in the Haddop Data File System. The solution can reduce the programers loading on taking care of the communication and data storage issues in the distrubuted environment.
To fit our problem into the Hadoop environment, we design a data file segmentation approach. Our experiment results show that the developed method may be 6.8 times faster that the Hadoop-default segmentation algorithm. In addition, we use HDFS to store the elite chromosome, and as the communication media among the computation nodes. By setting a threshold value to determine whether the elite chromosomes should be kept for the later generation, we may get a higher accuracy in correct identification of students with learning disabilities. By comparing results to previous study using MPI-based solution, we have found that our solution may have edge in the case of larger data set.

目 錄
中文摘要 I
Abstract II
誌 謝 III
目 錄 IV
圖目錄 V
表目錄 VII
第一章 緒論 1
第一節 研究背景 1
第二節 研究動機與目的 5
第二章 文獻探討 7
第一節 學習障礙鑑定 7
第二節 基因演算法 10
第三節 類神經網路演算法 18
第四節 雲端運算 28
第五節 雲端運算關鍵技術 34
第三章 研究方法 39
第一節 Hadoop 39
第二節 樣本資料與準確率驗證 48
第三節 類神經網路流程 50
第四節 基因演化流程 52
第五節 基於MapReduce之平行基因演化模式 55
第六節 Hadoop運作環境 66
第七節 實驗設計 72
第四章 實驗結果與分析 76
第一節 實驗一結果與分析 76
第二節 實驗二結果與分析 78
第三節 實驗三結果與分析 79
第四節 實驗四結果與分析 83
第五節 實驗五結果與分析 85
第五章 結論與建議 88
第一節 結論 88
第二節 研究限制與未來建議 89
參考文獻 90
中文部分: 90
英文部分: 93

圖目錄
圖 1-1 人工智慧分類模型圖 3
圖 1-2 魏氏兒童智力量表結構關係圖 8
圖 2-1 基因演算法基本演化流程圖 11
圖 2-2 輪盤選擇法 13
圖 2-3 單點交配示意圖 14
圖 2-4 雙點交配示意圖 15
圖 2-5 遮罩交配示意圖 15
圖 2-6 單點突變 16
圖 2-7 感知機模型 19
圖 2-8 多層感知機架構圖 20
圖 2-9 Sigmoid函數 23
圖 2-10 倒傳遞類神經網路模型 24
圖 2-11 網格運算環境架構圖 29
圖 2-12 雲端運算概念圖 31
圖 2-13 雲端運算三種服務層次 32
圖 2-14 GFS檔案分散式系統 35
圖 2-15 MapReduce執行流程 36
圖 3-1 Hadoop Logo 39
圖 3-2 Hadoop架構圖 40
圖 3-3 HDFS架構圖 42
圖 3-4 Map函數與Reduce函數之關係式 43
圖 3-5 Map與Reduce輸入與輸出key/value參數類型 44
圖 3-6 Hadoop運行MapReduce原理 45
圖 3-7 Hadoop叢集角色配置 47
圖 3-8 類神經網路運作流程 51
圖 3-9 染色體基因編碼 52
圖 3-10 基因演算法整體運作流程 54
圖 3-11 MapReduce資料流過程 55
圖 3-12 平行基因演算法步驟分別對應至Map與Reduce 57
圖 3-13 以MapReduce為基礎之平行基因演算法執行過程 58
圖 3-14 MapReduce平行基因演算步驟與HDFS之示意圖 59
圖 3-15 MapReduce作業主程式設計 60
圖 3-16 Map函數設計 61
圖 3-17 Reduce函數設計 62
圖 3-18 Best副程式設計 63
圖 3-19 Selection副程式設計 63
圖 3-20 Crossover副程式設計 64
圖 3-21 Mutation副程式設計 64
圖 3-22 WriteNewGene副程式設計 65
圖 3-23 Hadoop環境配置 66
圖 3-24 Hadoop電腦角色配置圖 67
圖 3-25 Namenode運作狀況 70
圖 3-26 HDFS上檔案現況 70
圖 3-27 Jobtracker運作狀況 71
圖 4-1 使用方法一及方法二切割檔案的運作時間圖 76
圖 4-2 使用方法一及方法二保留精英染色體之平均CIR值 78
圖 4-3 各資料集在網格與Hadoop環境之CIR與時間分析圖 80
圖 4-4 實驗四各資料集分別運行之平均CIR與平均運行時間 84
圖 4-5 實驗五各資料集分別運行之平均CIR與平均運行時間 86
圖 4-6 以網格環境為主的平行基因演化運作模式 87

表目錄
表 1-1 北部某縣學習障礙鑑定耗費之人力資源統計表 2
表 2-1 公有雲與私有雲比較表 33
表 3-1 Namenode與Datanode比較表 41
表 3-2 Jobtracker及Tasktracker比較表 46
表 3-3 樣本資料集內容表 48
表 3-4 實際分類結果與預測分類結果關係表 49
表 3-5 類神經網路參數範圍 50
表 3-6 基因演化參數設定 53
表 3-7 伺服器主機規格 66
表 3-8 虛擬機主機規格 67
表 4-1 實驗前測試電腦規格與測試結果 79
表 4-2 Dataset1資料集在Hadoop環境與Grid環境之比較 81
表 4-3 Dataset2資料集在Hadoop環境與Grid環境之比較 81
表 4-4 Dataset3資料集在Hadoop環境與Grid環境之比較 82

中文部分:
Mr. Saturday(民97年)。Cloud Computing 雲端運算。民100年4月,取自:http://mmdays.com/2008/02/14/cloud-computing/
中田敦、小林雅一、石田愛、浦本直彥、高橋秀、松尾貴史、岩上由高(民99年)。雲端運算大解密。台灣: PCuSER電腦人文化。
王鵬(民98年)。走進雲端運算。佳魁資訊。
王鵬(民99年)。雲端運算的關鍵技術與應用實例。佳魁資訊。
全國法規資料庫(民95年)。身心障礙及資賦優異學生鑑定標準。民100年4月,取自:http://law.moj.gov.tw/LawClass/LawSingle.aspx?Pcode=H0080065&FLNO=10
有愛無礙。民100年4月,取自:http://www.dale.nhcue.edu.tw/。
朱近之(民99年)。智慧的雲端運算:成就物聯網的未來基石。博碩。
吳明豐(民96年)。應用基因演算法於優化SVM分類器模型-以學習障礙學生鑑定為例。國立彰化師範大學資訊管理學研究所碩士論文。
吳東光、孟瑛如(民96年)。資訊科技於輔助特教診斷暨支援特教行政與教學之應用。教育資料與研究,78期,頁205-226。
林雅莉(民98年)。應用分散式演化運算於提升類神經網路分類準確率之研究-以學習障礙鑑定為例。國立彰化師範大學資訊管理學研究所碩士論文。

林誠謙(民97年)。雲端源自平行運算,但比網格更擅長資料運算。民100年4月,取自:http://www.ithome.com.tw/itadm/article.php?c=49410&s=2
王耀聰、陳威宇(民97年)。Hadoop Distributed File System簡介。國家高速網路與計算中心。民100年5月,取自:http://trac.nchc.org.tw/cloud/raw-attachment/wiki/NCHCCloudCourse090331/3.ppt
張文鴻(民97年)。利用網格運算提升以類神經網路為基礎之學障輔助診斷系統準確度與效能。國立彰化師範大學資訊管理學研究所碩士論文。
張旭(民99年)。虛擬化對於平行基因演算程式之影響-以學習障礙輔助診斷系統為例。國立彰化師範大學數位內容科技與管理研究所碩士論文。
許育誠(民98年)。網格運算環境中工作分配方式對整體運算效能之影響-以學障輔助診斷系統之建構為例。國立彰化師範大學資訊管理學研究所碩士論文。
楊文誌(民99年)。雲端運算Cloud Computing技術指南。松崗。
楊坤堂(民92年)。學習障礙導論。五南圖書。
葉怡成(民92年)。類神經網路模式應用與實作。儒林。
翟鴻榮(民96年)。類神經網路搭配委員會機器於輔助學習障礙鑑定之研究。國立彰化師範大學資訊管理學研究所碩士論文。

趨勢科技研發實驗室(民98年)。Hadoop與Hadoop分散式檔案系統。民100年4月10日,取自:
http://www.slideshare.net/trendfd/zh-tw-introduction-to-hadoop-and-hdfs zh_TW_Introduction_to_Hadoop and HDFS.pdf
蘇木春、張孝德(民93年)。機器學習:類神經網路、模糊系統以及基因演算法則(修訂二版)。全華圖書。
維基百科。民100年6月24日,取自:
http://zh.wikipedia.org/wiki/雲端運算
鍾曉芬(民92年)。魏氏兒童智力量表第三版(WISC-III)對學習障礙學生的診斷功能之探析。國立臺東大學教育研究所碩士論文。

英文部分:
Alander, J. T. (1992). On optimal population size of genetic algorithms. Proceedings of CompEuro '92 Computer Systems and Software Engineering, 65-70.
Azadeh, A., Moghadam, R. T., Ghaderi, S. F., Tarverdian, S., & Saberi, M. (2006). Integration of Artificial Neural Networks and Genetic Algorithm to Predict Electrical Energy Consumption in Energy Intensive Sector. Paper presented at the E-Learning in Industrial Electronics, 2006 1ST IEEE International Conference on, 58-63.
Bourg, D. M.,& Seemann, G. (2004). AI For Game Developers. Oreilly & Associates Inc.
Casanova, H. (2002). Distributed computing research issues in grid computing. SIGACT News, 33(3), 50-70.
Chen, L. H., & Hsiao, H.D. (2008). Feature selection to diagnose a business crisis by using a real GA-based support vector machine: An empirical study. Expert Syst. Appl., 35(3), 1145-1155.
Dean, J., & Ghemawat, S. (2008). MapReduce: simplified data processing on large clusters. Commun. ACM, 51(1), 107-113.
Foster, I., & Kesselman, C. (2004). The grid: blueprint for a new computing infrastructure. Morgan Kaufmann.
Ghemawat, S., Gobioff, H., & Leung, S. T. (2003). The Google file system. Paper presented at the Proceedings of the nineteenth ACM symposium on Operating systems principles, 29-43.
Chao, J., Vecchiola, C., & Buyya, R. (2008). MRPGA: An Extension of MapReduce for Parallelizing Genetic Algorithms. Paper presented at the eScience, 2008. eScience '08. IEEE Fourth International Conference on, 214-221.
Kirk, S. A. (1963). Behavioral diagnosis and remediation of learning disabilities. In Anonymous, Proceedings of the conference on exploration into problems of the perceptually handicapped child. Chicago: Perceptually Handicapped Children.
Luo, M., & Yokota, H. (2010). Comparing Hadoop and Fat-Btree based access method for small file I/O applications. Paper presented at the Proceedings of the 11th international conference on Web-age information management.
Munawar, A., Wahib, M., Munetomo, M., & Akama, K. (2008). A Survey: Genetic Algorithms and the Fast Evolving World of Parallel Computing. Paper presented at the High Performance Computing and Communications, 2008. HPCC '08. 10th IEEE International Conference on, 897-902.
Schrag, J. A. (2000). Discrepancy approaches for identifying learning disabilities. National Association of State Directors of Special Education.
Wu, T. K., Huang, S. C., & Meng, Y. R. (2007). Improving ANN classification accuracy for the identification of students with LDs through evolutionary computation. Paper presented at the Evolutionary Computation, CEC 2007. IEEE Congress on, 4358-4364
Wu, T. K., Huang, S. C., & Meng, Y. R. (2008). Evaluation of ANN and SVM classifiers as predictors to the diagnosis of students with learning disabilities. Expert Systems with Applications, 34(3), 1846-1856.
Verma, A., Llora, X., Goldberg, D. E., & Campbell, R. H. (2009). Scaling Genetic Algorithms Using MapReduce. Paper presented at the Intelligent Systems Design and Applications, 2009. ISDA '09. Ninth International Conference on, 13-18.

White, T. (2009). Hadoop: The Definitive Guide. O' Reilly Media, Inc.
Welcome to ApacheTM HadoopTM!. Retrieved May 25, 2011, from the World Wide Web: http://hadoop.apache.org/

連結至畢業學校之論文網頁點我開啟連結
註: 此連結為研究生畢業學校所提供,不一定有電子全文可供下載,若連結有誤,請點選上方之〝勘誤回報〞功能,我們會盡快修正,謝謝!
QRCODE
 
 
 
 
 
                                                                                                                                                                                                                                                                                                                                                                                                               
第一頁 上一頁 下一頁 最後一頁 top
系統版面圖檔 系統版面圖檔