臺灣博碩士論文加值系統

本文旨在探討 機器學習分類方法 ”支持向量機 ”及”Softmax ”在圖像辨識 上的訓練結果比較，也研讀當今常用優化算法熟知損失函數對參更新影響關係，兩個模型訓練將以蝴蝶圖片進行實作。
經由線上開放的圖片庫網站，取得 8214 張共五類蝴蝶，並自製成數據樣 本集，分別帶入兩個 訓練 模型，觀察兩者訓練時間及準確率在迭代結果 上分析 比較 。而後再進一步 探討影響訓練結果的原因 ，在數據預處理 上，看 不同的數據庫量是否影響 訓練或驗證準確度。最後將模型結果對測試集 進行預測，觀察準確率分析探討影響結果的因素。

The purpose of this thesis is to explore the training resul ts of two deep learning models ：(1) Support Vector Machine ；(2) Softmax Classifier in image recognition, and study the influence of loss functions on the iterative parameters . We demonstrate the results of these two models by use of the image s of butterflies.
There are five types of butterflies with 8214 pictures obtained through the onlin e database website. We use these pictures for the files of data samples to two deep learning models, and observe the training time and accuracy. Next, we analyze the fitting situation to the itera tive results. Finally, we give the reason s why the performan ce of these two models are not ideal. Therefore, we are able to improve the performance by fixing the datasets .

摘要 I
Abstract II
致謝 III
目錄 IV
1.1 研究動機 1
1.2 研究目的 1
1.3 研究方法 1
1.4 研究對象 2
2.1 線性判別分析
2.1.1 線性判別分析概述 3
2.1.2 費雪的判別分析 5
2.1.3 二類別線性判別分析 10
2.1.4 多類別線性判分析 14
2-2 支持向量機
2.2.1 線性 SVM 概述 18
2.2.2 支持超平面 (Support hyperplane) 19
2.2.3 從原始問題到對偶的求解，KKT條件 20
2.2.4 支持向量 (Support vector) 22
2.2.5 非線性 SVM 23
2.2.6 容錯性 (fault tolerance) 24
2.2.7 SMO 算法 26
2.2.8 核函數 (Kernel Function) 28
2-3 邏輯斯回歸與Softmax函數
2.3.1 邏輯斯回歸與 Softmax 函數概述 31
2.3.2 邏輯斯回歸 32
2.3.3 Softmax 函數 38
3.1 Tensorflow 介紹 42
3.2 數據集製作 44
3.3 數據預處理 45
3.4 函數定義 47
3.5 實驗結果 50
參考文獻 55

[1].周志華(2016)。機器學習，21，23-164。
[2].道新聞(2017)。機器學習：線性判別是分析(LDA)。2017年6月16日，取自https://kknews.cc/news/eoyeqar.html。 [3].LeftNotEasy(2011)。機器學習中的數學(4)-線性判別分析(LDA),主成分分析(PCA)。2011年1月8日，取自http://www.cnblogs.com/LeftNotEasy/archive/2011/01/08/lda-and-pca-machine-learning.html。
[4].ccjou(2014)。費雪的判別分析與線性判別分析。2014年3月14日，取自https://ccjou.wordpress.com/2014/03/14/%E8%B2%BB%E9%9B%AA%E7%9A%84%E5%88%A4%E5%88%A5%E5%88%86%E6%9E%90%E8%88%87%E7%B7%9A%E6%80%A7%E5%88%A4%E5%88%A5%E5%88%86%E6%9E%90/。 [5].ccjou(2014)。線性判別分析。2014年3月20日，取自https://ccjou.wordpress.com/2014/03/20/%E7%B7%9A%E6%80%A7%E5%88%A4%E5%88%A5%E5%88%86%E6%9E%90/。 [6].JerryLead(2011)。支持向量機SVM，2011年3月13日，取自http://www.cnblogs.com/jerrylead/archive/2011/03/13/1982639.html。
[7].Vipyoumay(2017)。SVM原理以及Tensorflow實現SVM分類。2017年9月20日，取自https://www.cnblogs.com/vipyoumay/p/7560061.html。 [8].July(2012)。支持向量機通俗導論(理解SVM的三層境界)。2012年6月1日，取自https://blog.csdn.net/v_july_v/article/details/7624837。 [9].林詩杰(2017)。Cs231n Assignment1—SVM & Softmax。2017年11月24日，取自https://zhuanlan.zhihu.com/p/30965514。
61
[10]. Michael Nielsen(2015)。Neural Networks and Deep Learning。2015 年10月3日，取自http://neuralnetworksanddeeplearning.com/。 [11].ccjou(2014)。邏輯斯回歸。2016年3月26日，取自 https://ccjou.wordpress.com/2014/03/26/%E9%82%8F%E8%BC%AF%E6%9 6%AF%E5%9B%9E%E6%AD%B8/。
[12].tormadomeet(2013)。Deep Learning：四(logistic regression練 習)。2013年3月16日，取自 https://www.cnblogs.com/tornadomeet/archive/2013/03/16/296391 9.html