本文是以樹莓派及個人電腦為基本平台，基於深度學習、機器視覺、圖形使用者介面、機器手臂以及網路傳輸為架構，利用python程式語言進行編譯，發展模擬工廠自動化組裝及檢測系統。實驗前以每秒拍攝一張影像的頻率進行拍攝，藉由影像前處理、影像強化、特徵提取的方式，抓取物件特徵，將處理後的影像作為訓練樣本，搭配設計好的深度學習模型得到實驗參數，經由待測結果物件進行組裝檢測，實驗中使用樹莓派控制機械手臂及旋轉圓盤來進行組裝，由機械手臂夾送待檢測物件至運輸軌道，透過鏡頭進行檢測物件的拍攝，影像讀入事先訓練好的深度學習模型，藉由模型所得到的結果傳輸至樹莓派進行機械手臂或輸送軌道進行動作，並建立一個操作介面可進行遠端即時觀看，本文所發展的組裝線檢測系統可達93%的準確率。

This paper uses Raspberry Pi and personal computer as the basic platform, based on deep learning, machine vision, graphical user interface, robot arm and network transmission as the framework, compiles with python programming language, and develops a simulated factory automated assembly and inspection system. Before the experiment, the image was taken at a frequency of one image per second. Through image preprocessing, image enhancement, and feature extraction, the object features were captured, and the processed image was used as a training sample. It was obtained with a designed deep learning model. The experimental parameters are assembled and tested by the object to be tested. In the experiment, the Raspberry Pi is used to control the robotic arm and the rotating disk to assemble. The robotic arm clamps the object to be tested to the transport track. Read the deep learning model trained in advance, and transfer the results obtained by the model to the Raspberry Pi for robotic arm or conveying track for action, and establish an operation interface for remote real-time viewing. The assembly line test developed in this paper The system can reach 93% accuracy.

摘要 I
Abstract II
致謝 III
目錄 IV
圖目錄 VII
表目錄 X
第一章 緒論 1
1.1 研究背景 1
1.2 研究目的 1
1.3 研究方法 2
1.4 文獻回顧 2
1.5 論文架構 3
第二章 研究方法和理論背景 4
2.1 數位影像處理 4
2.1.1 影像處理與分析三階段 4
2.1.2 攝影成像原理 5
2.2 色彩空間 6
2.2.1 RGB色彩空間 6
2.2.2 HSV色彩空間 7
2.2.3 色彩空間轉換 8
2.3 形態學影像處理 9
2.3.1 影像二值化 9
2.3.2 膨脹 9
2.3.3 侵蝕 10
2.4 機器學習 11
2.4.1 機器學習種類 11
2.5 深度學習 12
2.5.1 神經傳導系統 13
2.5.2 激活函數 14
2.5.3 多層感知機 15
2.5.4 倒傳遞演算法 16
2.5.5 損失函數 17
2.5.6 梯度下降 18
2.5.7 歸一化指數函數 20
2.5.8 檢測評價函數 21
2.6 卷積神經網路 22
2.6.1 卷積層 23
2.6.2 池化層 24
2.6.3 節點丟棄 24
2.6.4 全連接層 25
第三章 實驗設備 26
3.1 設備介紹 26
3.1.1 攝影機 26
3.1.2 個人電腦規格 27
3.1.3 樹莓派 27
3.1.4 MG996R伺服馬達 28
3.1.5 步進馬達 29
3.1.6 步進馬達驅動器 29
3.1.7 輸送平台 30
3.1.8 組裝旋轉平台 31
3.1.9 光電感測器 31
3.2 軟體環境 32
3.2.1 Anacoda 32
3.2.2 Python 33
3.2.3 TensorFlow 33
3.2.4 Keras 34
3.2.5 OpenCV 35
3.2.6 PyQT5 36
3.2.7 Socket 36
3.3 系統 37
第四章 實驗結果與討論 38
4.1 實驗流程 38
4.2 卷積神經網路架構 40
4.3 實驗結果 41
4.4 數據分析 45
4.4.1 原始影像和處理後影像的比較 45
4.4.2 不同訓練模型的Loss&Accuracy比較 47
4.4.3 準確率比對 49
4.4.4 Epoch比較 52
4.4.5 實際檢測準確率 53
第五章 結論與未來展望 54
5.1 結論 54
5.2 未來展望 54
參考文獻 55
 
圖目錄
圖2.1 影像處理的三階段 4
圖2.2 影像成像原理 5
圖2.3 加法混色法 6
圖2.4 HSV 色輪色彩空間 7
圖2.5 HSV 圓錐色彩空間 7
圖2.6 二值化影像：(a)RGB影像；(b)二值化影像 9
圖2.7 影像膨脹：(a)二值化影像；(b)膨脹影像 10
圖2.8 影像膨脹：(a)二值化影像；(b)侵蝕影像 10
圖2.9 監督式學習 11
圖2.10 傳統神經網路和深度神經網路表示圖 13
圖2.11 神經元示意圖 13
圖2.12 數學公式模擬神經元 14
圖2.13 ReLu激活函數 15
圖2.14 具有二個隱藏層的多層前饋網路 16
圖2.15 倒傳遞過程 17
圖2.16 MAE、MSE比較圖 18
圖2.17 梯度下降 19
圖2.18 Adam和SGD比較 20
圖2.19 Softmax 21
圖2.20 IOU示意圖 22
圖2.21 不同 IOU 所呈現的情況 22
圖2.22 卷積神經網路 23
圖2.23 卷積計算 23
圖2.24 池化層：(a)最大池化層；(b)平均池化層 24
圖2.25 節點丟棄 25
圖2.26 全連接層 25
圖3.1 Logitech C922 26
圖3.2 樹莓派 27
圖3.3 MG996R伺服馬達 28
圖3.4 步進馬達 29
圖3.5 2相微步進小型驅動器EXD2025MB 30
圖3.6 輸送平台 31
圖3.7 組裝旋轉圓盤 31
圖3.8 E3T-10MX光電感測器 32
圖3.9 感測器電路接線圖 32
圖3.10 Python程序架構圖 33
圖3.11 Tensorflow架構圖 34
圖3.12 Keras架構 35
圖3.13 OpenCV函式架構 36
圖3.14 使用者介面系統 37
圖4.1實驗流程圖 38
圖4.2 原始影像：(a)-(d) 39
圖4.3 經過影像前處理的圖像：(a)-(d) 39
圖4.4 深度學習訓練流程 39
圖4.5 卷積神經網路架構圖 40
圖4.6 組裝正確檢測情況-1 41
圖4.7 組裝正確檢測情況-2 41
圖4.8 組裝錯誤檢測情況-1 42
圖4.9 組裝錯誤檢測情況-2 42
圖4.10 檢測為組裝正確之動作圖：(a)-(h) 43
圖4.11 檢測為組裝錯誤之動作圖：(a)-(h) 44
圖4.12 原始影像和處理後影像的比較 46
圖4.13 A模型Loss&Accuracy 47
圖4.14 B模型Loss&Accuracy 48
圖4.15 C模型Loss&Accuracy 48
圖4.16 Epoch=10的MAP 50
圖4.17 Epoch=15的MAP 50
圖4.18 Epoch=20的MAP 51
圖4.19 Epoch=25的MAP 51
圖4.20 Epoch=30的MAP 52
圖4.21 Epoch比較 52
圖4.22 錯誤辨識的情況-錯誤組裝 53
圖4.23 錯誤辨識的情況-正確組裝 53

表目錄
表3.1 Logitech C922 PRO STREAM WEBCAM規格 26
表3.2 本研究實使用的電腦規格 27
表3.3 樹莓派3B規格表 28
表3.4 MG996R代表線路 28
表3.5 步進馬達規格 29
表3.6 驅動器輸出/輸入表 30
表4.1 訓練模型架構 47
表4.2 準確率的表示 49
表4.3 準確率的表示 53


 

[1]D. O. Hebb, The Organization of Behavior. A Neuropsychological Theory. New York.: John Wiley & Sons, Inc, 1949.
[2]F. Rosenblatt,''The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain,'' Cornell Aeronautical Laboratory, Psychological Review, Vol 65, No. 6, pp. 386-408, 1957.
[3]D. Rumelhart, G. Hinton & R. Williams, ''Learning representations by back-propagating errors,'' Nature,Vol. 323, pp 533–536, 1986.
[4]G. Hinton, & T . Sejnowski, ''A learning algorithm for boltzmann machines,'' Vol. 6088, No. 1, pp 147-169 ,1986.
[5]Y. LeCun, L. Bottou, Y. Bengio & P. Haffner “Gradient-based learning applied to document recognition” Proceedings of the IEEE, Vol. 11, No. 86, pp 2278-2324 1998.
[6]N. Srivastava, G. Hinton, A. Krizhevsky, I. Sutskever, & R. Salakhutdinov, “Dropout: A simple way to prevent neural networks from overfitting,” The journal of machine learning research, Vol. 1, No. 15, pp. 1929-1958 2014.
[7]Y. LeCun, Y. Bengio, & G. Hinton, “Deep learning,” Nature Publishing Group, Vol. 7553, No. 521, pp. 436-444, 2015.
[8]W. Liu, D. Anguelov, D. Erhan, C. Szegedy, S. Reed, C.Y. Fu, & A. Ber, “Ssd: Single shot multibox detector,” arXiv:1512.02325 [cs.LG], 2016.
[9]J. Redmon, S. Divvala, R. Girshick, & A. Farhadi, “You only look once: Unified, real-time object detection,” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 779-788, 2016.
[10]A. Ford, & A. Roberts, “Colour space conversions,” IEEE International Symposium on Industrial Electronics, pp. 6-25, 1998.
[11]J. Sauvola, M. Pietikäinen, “Adaptive document image binarization,” Pattern recognition, pp. 225-236, 2000.
[12]J. Weng, P. Choen, & M. Herniou, “Camera calibration with distortion models and accuracy evaluation,” IEEE Transaction on Pattern Analysis and Machine Intelligence, pp. 965-980, Vol. 14, No. 10, 1992.
[13]P. Werbos, The Roots of Backpropagation: From Ordered Derivatives to Neural Networks and Political Forecasting, New York.: Wiley-Interscience, pp. 128-170, 1994.
[14]“Machine / Deep Learning: Basics-Loss Function,” medium.com: @chih.sheng.huang821, Inc., Sep 27, 2018, retrieved from, https://medium.com/@chih.sheng.huang821, Sep 22,2019.
[15]S. Ruder, “An overview of gradient descent optimization algorithms,” arXiv:1609.04747v2 [cs.LG], 2017.
[16]“gradient descent optimization algorithms,” medium.com: @chih.sheng.huang821, Inc., Jul 31, 2018, https://medium.com/@chih.sheng.huang821, Oct 8,2019.
[17]“To Study Implementation of Gradient Descent for Multi-class Classification Using a SoftMax Regression and Neural Networks,” www.rpubs.com: leexiner, bigdata-final-project, Inc., Dec. 7, 2018. http://www.rpubs.com/leexiner/bigdata-final-project, Oct 16,2019.
[18]“Object recognition algorithm recognized at a glance,” ithelp.ithome.com: articles, Inc., Oct 26, 2018, https://wywu.pixnet.net/blog/post/22481588, Nov 5,2019.
[19]“Deep Learning Series: What is AP/mAP?,” medium.com: @chih.sheng.huang821, Inc., Sep. 14, 2018, https://medium.com/@chih.sheng.huang821, Nov 15,2019.
[20]朱銘輝、彭增榮，類神經網路控制系統，台灣新北市：新文京開發出版有限公司，2010。
[21]劉立民，Python機器學習，台灣新北市：博碩文化股份有限公司，2010。
[22]林大貴，TensorFlow+Keras深度學習人工智能實務，台灣新北市：博碩文化股份有限公司，2017。
[23]齋藤康毅，Deep Learning 用 Python 進行深度學習基礎理論實作，台灣台北市：pp 12-26, 2017。
[24]Nikhil Buduma，Deep Learning 深度學習基礎，台灣新北市：碁峯資訊股份有限公司, 2018。
[25]鄧文淵，Python機器學習與深度學習特訓班，台灣新北市：碁峯資訊股份有限公司, 2019。