臺灣博碩士論文加值系統

本文旨在探討機器學習中將不同類型的演算法做組合之後，在影像辨識上對於分類準確度的影響，以及試圖建立一個使用集成方法來分類資料的流程。過程中分別測試了三種類型演算法在資料集上獨立運作的準確度，接著再根據集成學習中的組合方法，對於同類型及不同類型演算法的組合模型進行實驗，最後觀察其結果並進行討論及總結。

The purpose of this thesis is to observe the classification accuracy of image recognition after combine different types of algorithms, and try to build a process about using ensemble method to classify data.In the process, the accuracy of three types of algorithms were tested, then according to the combination method of ensemble, experiment was design by the model which combined with the same or different types of algorithms. Finally, we observe the result and make discuss and summarize.

摘要...................................................I
Abstract..............................................II
致謝.................................................III
目錄..................................................IV
一、緒論
1.1研究動機........................................1
1.2研究目的........................................1
1.3研究方法........................................1
1.4研究對象........................................2
二、論文背景知識與相關文件探討
2.1 集成學習
2.1.1 集成學習概述.............................3
2.1.2 同質異質性...............................3
2.1.3 生成方法.................................3
2.1.4 Boosting.................................4
2.1.5 AdaptiveBoosting.........................4
2.1.6 Bagging.................................6
2.1.7 Stacking................................7
2.2 卷積神經網路
2.2.1 卷積神經網路概述.........................8
2.2.2 卷積層(Convolution Layer)...............9
2.2.3 池化層(Pooling Layer)..................11
2.2.4全連接層(Full Connected Layer).........12
2.2.5 卷積神經網路的訓練方法..................12
2.2.6 卷積神經網路程式碼實現..................13
2.3 支持向量機
2.3.1 支持向量機概述..........................14
2.3.2 Kernel trick...........................15
2.3.3 支持超平面(Support hyperplane).........16
2.3.4 拉格朗日對偶函式與KKT條件...............18
2.3.5 支持向量(Support vector)...............20
2.3.6 支持向量機程式碼實現....................21
2.4 循環神經網路
2.4.1 循環神經網路概述........................22
2.4.2 RNN的多種形式...........................23
2.4.3 RNN正向傳播公式.........................23
2.4.4 長短期記憶(Long short-term memory)RNN...24
2.4.5 LSTM RNN正向傳播公式...................26
2.4.6 雙向(Bi-directional)循環神經網路........27
2.4.7 循環神經網路之訓練方法..................27
2.4.8 RNN程式碼實現...........................28
三、實驗與分析
3.1 TensorFlow簡介................................30
3.2 資料集及圖像預處理............................32
3.3 演算法之模型定義..............................35
3.4 集成模型
3.4.1 異質集成模型之效果評測..................39
3.4.2 同質集成模型之效果評測..................41
3.5 實驗結果與討論................................45
參考文獻:.........................................47

[1].周志華(2016)。機器學習。
[2].Tommy Huang。機器學習: Ensemble learning。2018年6月20日， 取自https://medium.com/@chih.sheng.huang821/%E6%A9%9F%E5%99%A8%E5%AD%B8%E7%BF%92-ensemble-learning%E4%B9%8Bbagging-boosting%E5%92%8Cadaboost-af031229ebc3。
[3]. skydome20。R筆記–(16) Ensemble Learning(集成學習)。2018年3月3日，取自https://rpubs.com/skydome20/R-Note16-Ensemble_Learning。
[4]. Blake、高斐。Yann Lecun詳解卷積神經網絡。2016年8月23日，取自https://kknews.cc/zh-tw/science/knjvxb.html。[5].Hanbingtao。深度學習(4) –卷積神經網路。2017年8月28日，取自https://www.zybuluo.com/hanbingtao/note/485480。
[6]. Ting-Hao Chen。What is “padding” in Convolutional Neural Network?。2017年11月7日，取自https://medium.com/machine-learning-algorithms/what-is-padding-in-convolutional-neural-network-c120077469cc。
[7].I codeso I am。處理影像的利器--卷積神經網路(Convolutional Neural Network)。2017年12月16日，取自https://ithelp.ithome.com.tw/articles/10191820。
[8].YehJames。支援向量機(Support Vector Machine)介紹。2017年11月3日，取自https://medium.com/jameslearningnote/%E8%B3%87%E6%96%99%E5%88%86%E6%9E%90-%E6%A9%9F%E5%99%A8%E5%AD%B8%E7%BF%92-%E7%AC%AC3-4%E8%AC%9B-%E6%94%AF%E6%8F%B4%E5%90%91%E9%87%8F%E6%A9%9F-support-vector-machine-%E4%BB%8B%E7%B4%B9-9c6c6925856b。
[9]. I code so I am。循環神經網路(Recurrent Neural Network, RNN)。2017年12月24日，取自https://ithelp.ithome.com.tw/articles/10193469。
[10]. 李宏毅。Recurrent Neural Network (RNN)。取自http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2016/Lecture/RNN%20(v2).pdf。
[11]. GGWithRabitLIFE。Convolution Neural Network 卷積神經網路。2018年12月21日，取自https://medium.com/%E9%9B%9E%E9%9B%9E%E8%88%87%E5%85%94%E5%85%94%E7%9A%84%E5%B7%A5%E7%A8%8B%E4%B8%96%E7%95%8C/%E6%A9%9F%E5%99%A8%E5%AD%B8%E7%BF%92-ml-note-convolution-neural-network-%E5%8D%B7%E7%A9%8D%E7%A5%9E%E7%B6%93%E7%B6%B2%E8%B7%AF-bfa8566744e9。
[12]. Madhu Sanjeevi。Support Vector machine with Math.。2017年9月30日，取自https://medium.com/deep-math-machine-learning-ai/chapter-3-support-vector-machine-with-math-47d6193c82be。[13]. Dan Abolafia。A Recurrent Neural Network Music GenerationTutorial。2016年6月10日，取自https://magenta.tensorflow.org/2016/06/10/recurrent-neural-network-generation-tutorial。[14]. Support Vector Machine -Classification (SVM)。取自http://saedsayad.com/support_vector_machine.htm。