臺灣博碩士論文加值系統

人是視覺化動物，從視覺收到的訊息資料量，約占我們所有感官中60%，我們在發展人工智慧的過程中，希望電腦能跟人類，一樣能看到世界、理解世界，故讓機器大量模仿人類運用影像，作為決策判斷的資料蒐集來源。
深度學習是人工智慧的主流，藉由模仿人類神經傳遞訊息方式的類神經網路，在視覺影像領域裡，調整原有的類神經網路的架構，發展出卷積神經網路(Convolution Neural Networks，CNN)，卷積神積網路不只可用在影像識別，在訊號分析、語音識別、自然語言處理、或是醫學上的新興藥物發明等部分，也有重大突破，包含2016擊敗世界棋手的AlphaGo，也運用了部分卷積神經網路的架構。人類在影像識別錯誤率大約5%，但運用卷積神經網路建構出的影像識別系統，讓機器學習在影像辨識這部分，從原本的錯誤率28.2%，持續降低於3.5%，比人類的錯誤率還低。影響卷積神經網路的關鍵，在於神經網路架構、深度及卷積核的權重值等因素，本研究透過調整這三個因素，比較其影響差異。
Python是近年來興起的程式語言，主要用於機器學習，其擴充性高及開源性佳等特性，使的程式設計師在撰寫程式碼時，相對方便快速，而在卷積神經網路建構上，Tenasoflow及Keras是相當強大的套件工具，本片論文亦將兩種套件納入討論及比較，提供有意朝這方面發展的人員，一個入門的途徑。

Human beings are visualizers. The amount of information received from the visuals accounts for about 60% of all our senses. In the process of developing artificial intelligence, we train that machines what see the world, understand the world and use images recognition as a source of data for making decision and judgment.
Deep learning is the mainstream of artificial intelligence, which a class of machine learning algorithms that use multiple layers to progressively extract higher level features from raw input. Artificial Neural Networks (ANNs) were inspired by information processing and distributed communication nodes in biological systems. Convolutional neural network is a class of deep neural networks, most commonly applied to analyzing visual imagery. The key to affecting the convolutional neural network is the architecture, the depth and the weight of the convolution kernel. The study compares these three factors and compares their impact differences.

書名頁 i
論文口試委員審定書 ii
中文摘要 iii
英文摘要 iv
誌謝 v
目錄 vi
表目錄 viii
圖目錄 ix
第一章 緒論 1
1.1 研究背景與動機 1
1.2 研究目的 1
第二章 深度學習簡介 3
2.1 神經網路起源 4
2.2 深度學習 7
2.3 卷積神經網路(Convolutional Neural Network, CNN) 15
第三章 建立卷積神經網路之工具 25
3.1 資料庫來源 25
3.2 卷積神經網路實踐工具 26
3.3 卷積神經網路實踐 29
第四章 卷積神經網路實踐與分析 36
4.1 實驗平台 36
4.2 實驗資料庫 36
4.3 不同的神經網路架構如何影響其正確率 37
4.4 不同的卷積核大小如何影響其正確率 41
4.5 ConvNETs架構與kernel最佳化 44
第五章 結論與問題討論 47
5.1 研究限制 47
5.2 結論 49
5.3 問題討論 52
參考文獻 55

1. 強人工智慧-維基百科。2017年1月11日，取自https://zh.wikipedia.org/wiki/強人工智慧。
2. 曲建仲(2019)：機器是如何學習與進步？人工智慧的核心技術與未來。科學月刊，580期。
3. 艾倫•圖靈-維基百科。2019年5月1日，取自https://zh.wikipedia.org/wiki/艾倫•圖靈。
4. AI winter-Wikipedia。2019年6月6日。 https://en.wikipedia.org/wiki/AI_winter
5. Beyer, M. (2011) Gartner Says Solving “Big Data” Challenge Involves More Than Just Managing Volumes of Data.
6. Yann LeCun, Yoshua Bengio & Geoffrey Hinton(2015), Deep learning,. Nature, Vol. 521, pp. 436–444 .
7. Michael A. Nielsen(2013),Neural Networks and Deep Learning, Determination Press.
8. Hopfield神經網路-維基百科。2019年3月27日，取自https://zh.wikipedia.org/wiki/Hopfield神經網路。
9. David C. Plaut Steven J. Nowlan Geoffrey E. Hinton (1986),Experiments on Learning by Back Propagation , Computer Science Department Carnegie-Mellon University Pittsburgh, PA 15213(June 1986). Technical Report CMU-CS-86-126.
10. G. E. HINTON and T. J. SEJNOWSKI()(1986).Learning and Relearning in Boltzmann Machines. Parallel distributed processing: explorations in the microstructure of cognition, vol. 1,Pages 282-317.
11. 類神經網路的復興：深度學習簡史。2017年1月03日，取自https://www.stockfeel.com.tw/類神經網路的復興：深度學習簡史。
12. Xavier Glorot, Antoine Bordes and Yoshua Bengio(2011). Deep sparse rectifier neural networks. Proceedings of the Fourteenth International Conference on Artificial Intelligence and Statistics, PMLR 15:315-323, 2011.
13. Convolutional neural network – Wikipedia。2019年5月26日。取自https://en.wikipedia.org/wiki/Convolutional_neural_network.
14. LeCun, Yann, et al(1998). "Gradient-based learning applied to document recognition." Proceedings of the IEEE, vol. 86, no.11, pp. 2278-2324, 1998.
15. Krizhevsky, A.; Sutskever, I.; Hinton, G. E(2012). Imagenet classification with deep convolutional neural networks. Advances in Neural Information Processing Systems,vol.1: 1097–1105, 2012.
16. Shuangfei Zhai, Yu Cheng, Weining Lu and Zhongfei (Mark) Zhang(2016). "Doubly Convolutional Neural Networks, Advances in neural information processing systems. pp. 1082-1090 ,2016.
17. Srivastava, Nitish, et al(2014). "Dropout: a simple way to prevent neural networks from overfitting." The Journal of Machine Learning Research 15.1: 1929-1958.
18. 實驗圖片來源。2018年10月。取自https://www.kaggle.com/tongpython/cat-and-dog.
19. Han, Song, and B. Dally(2017). "Efficient methods and hardware for deep learning." University Lecture.
20. MichaelCopeland(2016), https://blogs.nvidia.com.tw/2016/07/whats-difference-artificial-intelligence-machine-learning-deep-learning-ai/.
21. Todgerien, Inc. Intelligent Data Mining Solutions for Knowledge Economy
22. 林大貴(2017)。Tensorflow+Keras深度學習人工智慧實務應用(初版)，出版社：博碩。
23. Nielsen, Michael A(2015). Neural networks and deep learning. Vol. 25. San Francisco, CA, USA:: Determination press, 2015.
24. 線性整流函數-維基百科，2019年4月18。取自https://zh.wikipedia.org/wiki/線性整流函數。
25. A simple neural network with Python and Keras。2016年9月26日。取自- https://www.pyimagesearch.com/2016/09/26/a-simple-neural-network-with-python-and-keras/ .
26. 卷積-維基百科。2019年5月17日。取自https://zh.wikipedia.org/wiki/卷積。
27. 卷積神經網路(Convolutional neural network, CNN)-CNN運算流程。2018年3月26日。https://medium.com/@chih.sheng.huang821/卷積神經網路-convolutional-neural-network-cnn-cnn運算流程-ecaec240a631.
28. Course materials and notes for Stanford class CS231n: Convolutional Neural Networks for Visual Recognition. 取自-http://cs231n.github.io/convolutional-networks/.
29. ReLU。取自https://medium.com/@kanchansarkar/relu-not-a-differentiable-function-why-used-in-gradient-based-optimization-7fef3a4cecec.
30. 2018 年最該學的 AI 精華都在這裡了。2018年8月13日。取自https://buzzorange.com/techorange/2018/08/13/top-200-github/.
31. MNIST資料庫，取自http://yann.lecun.com/exdb/mnist/.
32. Tensorflow.gif。取自https://www.tensorflow.org/images/tensors_flowing.gif.
33. Keras圖片。取自https://keras.io/.
34. TechNews(2017)：AI 加速器自學組裝指南。科技新報2017年11月02發行。http://technews.tw/2017/11/02/ai-server-guidance-1/.
35. Big Data圖片。取自https://www.inside.com.tw/feature/ai/9745-big-data.
36. ILSVRC比賽歷年正確率，取自http://blog.a-stack.com/2018/07/06/ImageNet-DataSet/.
37. Christian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan, Vincent Vanhoucke, Andrew Rabinovich(2015). Going deeper with convolutions. In Proceedings of the IEEE conference on computer vision and pattern recognition .pp. 1-9.
38. Ioffe, Sergey, and Christian Szegedy(2015). "Batch normalization: Accelerating deep network training by reducing internal covariate shift." arXiv preprint arXiv:1502.03167 (2015).
39. Szegedy, C., Vanhoucke, V., Ioffe, S., Shlens, J., & Wojna, Z. (2016). Rethinking the inception architecture for computer vision. In Proceedings of the IEEE conference on computer vision and pattern recognition.pp. 2818-2826.
40. Szegedy, C., Ioffe, S., Vanhoucke, V., & Alemi, A. A. (2017, February). Inception-v4, inception-resnet and the impact of residual connections on learning. In Thirty-First AAAI Conference on Artificial Intelligence.
41. GoogLeNet Network.2018年8月25日。取自https://medium.com/coinmonks/paper-review-of-googlenet-inception-v1-winner-of-ilsvlc-2014-image-classification-c2b3565a64e7.
42. Sebastian Raschka(2015)，Python Machine Learning，Packet。