臺灣博碩士論文加值系統

隨著資訊科技的快速發展，目前大數據成為主流，許多辨識系統受到相當大的影響。因此像深度學習這種需要大數據庫學習模型因此成為主流，深度學習可以把利用機器自動學習任務目標的特徵，也因此深度學習這種架構成為學術非常熱門的技術。
如今在視覺影像領域中類神經網路大量流行，裡面表現最好的模型就是卷積神經網路。深度學習進展和卷積神經網路（Convolutional Neural Networks，CNN）有關。卷積神經網路又被稱為 CNNs 或 ConvNets，它是目前深度神經網路（deep neural network）領域的發展主力，在圖片辨別上甚至可以做到比人類還準確。如果說有任何方法能不負大家對深度學習的期望，卷積神經網路絕對是首選。
在卷積神經網路當中關鍵一環在於卷積層的kernel中權重值。進入卷積神經網路中卷積層這一步動作下通常會有三個可以改變方式，分別kernel size 、激活函數和卷積使用kernel數量，神經網路中有可能因為激活函數選擇或是kernel size不同改善準確率。

With the rapid development of information technology, big data has become mainstream, and many identification systems have been greatly affected. Therefore, deep learning requires a large database learning model and thus becomes the mainstream. Deep learning can take advantage of the characteristics of robots to automatically learn to task objectives, and thus deep learning of this architecture has become a very popular technology in academics.
Nowadays, neural networks are popular in the field of visual imaging. The best performing model is the convolutional neural network. The progress of deep learning is related to Convolutional Neural Networks (CNN). Convolutional neural networks, also known as CNNs or ConvNets, are the main developments in the field of deep neural networks, and can even be more accurate than humans in image recognition. If there is any way to live up to the expectations of deep learning, convolutional neural networks are definitely the first choice.
A key part of the convolutional neural network is the weight value in the kernel of the convolutional layer. There are usually three ways to change the convolutional layer in the convolutional neural network. Kernel size, activation function, and convolution use the number of kernels. The neural network may have different activation function selection or kernel size. The accuracy is not high.

目次
致謝辭 ⅰ
摘要 ⅱ
Abstract ⅲ
目次 ⅴ
表目次 ⅶ
圖目次 ⅷ
第一章 緒論 1
1.1前言 1
1.2卷積神經網路 1
1.3研究動機 3
1.4論文架構 4
第二章 深度學習簡介 5
2.1深度學習的核心概念 8
2.2深度學習的架構 8
2.2.1多層感知器（Multilayer Perceptron） 9
2.2.2深度神經網路（Deep Neural Networks） 10
2.2.3卷積神經網路（Convolutional Neural Networks） 11
2.3文獻回顧 13
第三章 卷積神經網路實作方法 15
3.1卷積神經網路架構 15
3.2 卷積核尺寸大小(Convolutional Kernel Size) 17
3.3 激活函數種類 18
第四章 實驗結果與分析 22
4.1實驗平台 22
4.2實驗資料庫 22
4.3不同Convolutional Kernel Size的比較圖 23
4.4 不同激活函數的比較圖 30
第五章 結論與未來展望 37
5.1結論 37
5.2未來展望 38
參考文獻 39














表目次
表 1卷積網路文獻整理 13


















圖目次
圖 1卷積神經網路流程圖 2
圖 2 Deep Learning類神經網路簡易架構示意圖[24] 5
圖 3類神經網路中輸入與輸出的關係[24] 6
圖 4人工智慧、機器學習、深度學習關係圖[24] 7
圖 5機器學習流程圖[24] 7
圖 6 MNIST多層感知機的示意圖[24] 9
圖 7 DNN全連接的示意圖[25] 10
圖 8卷積核產生特徵圖的示意圖 11
圖 9 mean pooling(average pooling)示意圖 12
圖 10 max pooling 示意圖 12
圖 11經典卷積架構LeNet-5 14
圖 12 使用MNIST資料庫卷積神經網路架構圖 16
圖 13使用人臉資料庫卷積神經網路架構圖 17
圖 14 Size One By One卷積核流程圖 18
圖 15 Sigmoid函數示意圖 19
圖 16 TanH函數示意圖 19
圖 17 ReLU函數示意圖 20
圖 18 ELU函數示意圖 21
圖 19 SELU函數示意圖 21
圖 20 MNIST手寫數字資料庫示意圖 22
圖 21 LAG人臉資料庫示意圖 23
圖 22使用MNIST資料庫 ELU情況下不同的kernel size比較圖 24
圖 23使用MNIST資料庫 SELU情況下不同的kernel size比較圖 24
圖 24使用MNIST資料庫 ReLU情況下不同的kernel size比較圖 25
圖 25 使用MNIST資料庫 Sigmoid情況下不同的kernel size比較圖 26
圖 26 使用MNIST資料庫 TanH情況下不同的kernel size比較圖 26
圖 27 使用LAG資料庫 ELU情況下不同的kernel size比較圖 27
圖 28 使用LAG資料庫 SELU情況下不同的kernel size比較圖 28
圖 29 使用LAG資料庫 ReLU情況下不同的kernel size比較圖 28
圖 30 使用LAG資料庫 Sigmoid情況下不同的kernel size比較圖 29
圖 31 使用LAG資料庫 TanH情況下不同的kernel size比較圖 30
圖 32 使用MNIST資料庫 kernel size1×1情況下不同的激活函數比較圖 31
圖 33 使用MNIST資料庫 kernel size3×3情況下不同的激活函數比較圖 31
圖 34 使用MNIST資料庫 kernel size5×5情況下不同的激活函數比較圖 32
圖 35 使用MNIST資料庫 kernel size7×7情況下不同的激活函數比較圖 33
圖36 使用LAG資料庫 kernel size1×1情況下不同的激活函數比較圖…. 34
圖 37 使用LAG資料庫 kernel size3×3情況下不同的激活函數比較圖… 34
圖 38 使用LAG資料庫 kernel size5×5情況下不同的激活函數比較圖… 35
圖 39 使用LAG資料庫 kernel size7×7情況下不同的激活函數比較圖… 36
圖40兩種不同任務比較示意圖 37

參考文獻

[1] Hinton, Geoffrey E, and Ruslan R. Salakhutdinov. "Reducing the dimensionality of data with neural networks." science, vol. 313, no. 5786 , pp. 504-507, July 2006.
[2] Hinton, Geoffrey E, Simon Osindero, and Yee-Whye Teh. "A fast learning algorithm for deep belief nets." Neural computation, vol. 18, no. 7, pp. 1527-1554, 2006.
[3] LeCun, Yann, et al. "Gradient-based learning applied to document recognition." Proceedings of the IEEE, vol. 86, no. 11, pp. 2278-2324, 1998.
[4] Günter Klambauer, Thomas Unterthiner, Andreas Mayr, Sepp Hochreiter. "Self-Normalizing Neural Networks." Advances in neural information processing systems30 (NIPS), 2017.
[5] Boureau, Y-Lan, et al. "Learning mid-level features for recognition." Computer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference on. IEEE, 2010.
[6] Boureau, Y-Lan, Jean Ponce, and Yann LeCun. "A theoretical analysis of feature pooling in visual recognition." Proceedings of the 27th international conference on machine learning (ICML-10), 2010.
[7] Bengio, Yoshua, et al. "Greedy layer-wise training of deep networks." Advances in neural information processing systems, pp.153-160,2006.
[8] Olshausen, Bruno A, and David J. Field. "Emergence of simple-cell receptive field properties by learning a sparse code for natural images." Nature, vol. 381, no. 6583, pp. 607, 1996.
[9] Shuangfei Zhai, Yu Cheng, Weining Lu and Zhongfei (Mark) Zhang. "Doubly convolutional neural networks." Proceedings of the 30th international conference on neural information processing systems, pp.1090-1098, 2016.
[10] Kazutaka Uchida, Masayuki Tanaka, and Masatoshi Okutomi. " Coupled Convolution Layer for Convolutional Neural Network." International Conference on Pattern Recognition (ICPR), 2016.
[11] Schroff, Florian, Dmitry Kalenichenko, and James Philbin. "Facenet: A unified embedding for face recognition and clustering." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015.
[12] Serwa A , et al. " Studying the Effect of Activation Function on Classification Accuracy Using Deep Artificial Neural Networks." Journal of Remote Sensing & GIS, 2017.

[13] Jaderberg, Max, Karen Simonyan, and Andrew Zisserman. "Spatial transformer networks." Advances in Neural Information Processing Systems, 2015.
[14] Springenberg, Jost Tobias, et al. "Striving for simplicity: The all convolutional net." arXiv preprint arXiv, vol. 1412, no. 6806, 2014.
[15] Lin, Min, Qiang Chen, and Shuicheng Yan. "Network in network." arXiv preprint arXiv, vol. 1312, no. 4400, 2013.
[16] Zhao, Haishan, et al. "STAT3 genetic variant, alone and in combination with STAT5b polymorphism, contributes to breast cancer risk and clinical outcomes." Medical Oncology, vol. 32, no. 1, pp. 375, 2015.
[17] Yang, Zichao, et al. "Deep fried convnets." Proceedings of the IEEE International Conference on Computer Vision, 2015.
[18] Manoj Alwani, Han Chen, Michael Ferdman, Peter Milder. "Fused-Layer CNN Accelerators." The 49th Annual IEEE, 2016.
[19] Hinton, Geoffrey E., and Terrence J. Sejnowski. "Learning0 and releaming in Boltzmann machines." Parallel Distrilmted Processing , vol. 1, 1986.
[20] http://cs.nyu.edu/~fergus/tutorials/deep_learning_cvpr12/tutorial_p2_nnets_
ranzato_short.pdf.
[21] https://blog.csdn.net/zouxy09/article/details/9993371.
[22] http://www.infoq.com/cn/articles/cnn-and-imagenet-champion-model-analysis.
[23] http://cs.nyu.edu/~fergus/tutorials/deep_learning_cvpr12/CVPR2012-Tutorial_lee.pdf.
[24] 林大貴(2017)。Tensorflow+Keras深度學習人工智慧實務應用(初版)。出版社地點：博碩。
[25] https://www.cnblogs.com/pinard/p/6418668.html