臺灣博碩士論文加值系統

本論文透過物件辨識產生座標，並運用深度學習座標轉換模型，成功預測機械手臂所需的座標位置。同時，提出了一種利用標記點修正機械手臂定位的方法，以準確修正機器視覺的偏移。透過結合深度學習技術，本研究模擬並建置了實際工業自動化流程，以進行相關研究。

本研究採用了工業自動化中常見的Eye to hand架構，考慮到機械手臂與機器視覺在實際生產線中的應用情境，重複操作可能會引入各種干擾因素，使影像並非能維持在相同框架，進而導致機器視覺的座標轉換模型對機械手臂定位產生嚴重誤差，進而影響系統功能。本研究所提出的方法能有效率解決機械手臂和機器視覺的定位問題，減少專業人員重新訓練座標轉換模型和演算法的依賴，從而降低生產線停機時間，提高生產效率。

研究過程使用深度學習技術對機械手臂與機器視覺的座標轉換數據進行訓練和預測，以建立機械手臂的運動學模型，從而實現對機械手臂的運動控制。同時，利用機器視覺對標記點進行偵測，並透過OpenCV模型進行修正。在物件的偵測方面，採用了YOLOv4(You Only Look Once 第四版)功能，以辨識物件與座標。透過以上功能整合成一套系統軟體，有效地驗證與模擬實際應用在工業自動化環境中的效果。在整合系統實驗過程中，特別關注機器視覺的姿態角度調整，以模擬機器視覺出現偏差的情況。觀察系統是否能夠自動修正並成功取物和分類物件，即使面臨姿態角度偏差的情況。

根據實驗結果顯示，透過物件辨識產生座標後並利用深度學習座標轉換模型，能夠成功預測機械手臂所需的座標位置。當機器視覺出現偏移時，透過標記點修正模型能夠準確修正機器視覺的偏移，使定位公差保持在±1 mm以內。整合系統實驗能實現全自動化的座標轉換和標記點修正機械手臂定位，並準確執行取物與分類動作。

相較於傳統利用數學模型進行座標轉換的方式，本研究採用深度學習方法能夠更簡易快速地實現相對轉換關係。同時，透過標記點的處理，可以避免相對關係遺失時需要重新進行深度學習、計算演算法的困擾。該研究方法具有廣泛的應用價值，特別適用於需要準確定位、快速開發的場合。在工業自動化領域中，該方法為相關應用提供了有價值的參考和技術發展。

關鍵字：機械手臂、機器視覺、座標轉換、深度學習、標記點修正、工業自動化

This paper generates coordinates through object recognition and utilizes a deep learning coordinate transformation model to successfully predict the required coordinate positions of a robotic arm. At the same time, a method is proposed to correct the positioning of the robotic arm using markers, which accurately corrects the deviation of machine vision. By integrating deep learning technology, this study simulates and constructs actual industrial automation processes for related research.

In this study, the commonly seen Eye to Hand architecture in industrial automation is used. Considering the application scenarios of the robotic arm and machine vision in actual production lines, repetitive operations may introduce various interference factors, causing the images to not maintain the same framework, thereby leading to serious errors in the coordinate transformation model of machine vision for robotic arm positioning, and consequently affecting system functionality. The method proposed in this study can effectively solve the positioning problems of robotic arms and machine vision, reducing reliance on retraining of coordinate transformation models and algorithms by professionals, thereby reducing production line downtime and improving production efficiency.

The research process uses deep learning techniques to train and predict the coordinate transformation data of the robotic arm and machine vision, establishing a kinematic model of the robotic arm to realize the motion control of the robotic arm. At the same time, machine vision is used to detect the markers, and the correction is carried out using the OpenCV model. In terms of object detection, the YOLOv4 (You Only Look Once, version 4) feature is used for object and coordinate recognition. Through the integration of the above functions into a system software, the effectiveness and simulation of actual applications in an industrial automation environment are effectively verified. During the system integration experiment process, special attention was paid to adjusting the pose angle of machine vision to simulate situations where machine vision deviations occur. The system was observed whether it can automatically correct and successfully pick and sort objects, even when facing pose angle deviation situations.

According to the experimental results, after generating coordinates through object recognition and using the deep learning coordinate transformation model, the required coordinate positions of the robotic arm can be successfully predicted. When a deviation occurs in machine vision, the marker correction model can accurately correct the deviation of machine vision, keeping the positioning tolerance within ±1 mm. The integrated system experiment can achieve fully automated coordinate transformation and marker correction for robotic arm positioning, and accurately perform picking and sorting actions.

Compared to the traditional way of using mathematical models for coordinate transformation, this study uses deep learning methods to more easily and quickly realize the relative transformation relationship. At the same time, by handling markers, the trouble of needing to re-run deep learning and calculate algorithms when the relative relationship is lost can be avoided. This research method has a wide range of application value and is particularly suitable for situations that require accurate positioning and rapid development. In the field of industrial automation, this method provides valuable reference and technical development for related applications.

Keywords: Robotic Arm, Machine Vision, Coordinate Transformation, Deep Learning, Marker Correction, Industrial Automation.

目錄
中文摘要 I
ABSTRACT III
謝誌 VI
目錄 VII
表目錄 XI
圖目錄 XII
程式碼目錄 XVIII
第一章 緒論 1
1-1 前言 1
1-2 研究動機與目的 2
1-3 文獻回顧 3
1-4 論文大綱 9
第二章 深度學習應用於機械手臂作業介紹 10
2-1 前言 10
2-2 機器視覺與機械手臂設備 10
2-2-1 平行運算資源 10
2-2-2 機械手臂 11
2-2-3 機器視覺攝影機 14
2-2-4 校正板 17
2-2-5 Eye to hand與Eye in hand架構 22
2-3 系統軟體設備 24
2-3-1 操作系統 24
2-3-2 機器視覺處理與辨識軟體 25
2-3-3 手眼校正演算法 27
2-3-4 影像校正演算法 30
2-3-5 人工智慧、機器學習與深度學習簡介 34
第三章 研究方法 40
3-1 前言 40
3-2 實驗設備與規劃 41
3-2-1 機械手臂 42
3-2-2 網路攝影機 45
3-2-3 機械手臂操作之物件 47
3-2-4 標記用校正板 47
3-2-5 機械手臂與機器視覺的架設 50
3-3 研究與分析之軟體 52
3-3-1 機械手臂操作介面 52
3-3-2 機器視覺辨識與資料處理 56
3-3-3 程式碼開發工具 59
3-4 機械手臂與機器視覺的座標轉換 60
3-4-1 影像辨識各角點位置 62
3-4-2 機械手臂座標讀取 67
3-4-3 深度學習座標轉換 72
3-5 標記點修正補償模型 78
3-5-1 標記點修正模型程式規劃和流程設計 79
3-5-2 影像偏差量的計算 85
3-5-3 影像重疊率的計算 86
3-6 驗證補償與座標轉換整合系統建立 88
3-6-1 深度學習座標轉換副程式建立 89
3-6-2 整合系統執行取放動作流程副程式碼建立 92
3-6-3 整合系統主程式建立 94
第四章 研究結果 100
4-1 前言 100
4-2 機械手臂與機器視覺座標轉換模型實驗驗證 100
4-2-1 座標轉換實驗設計與方法 100
4-2-2 座標轉換實驗執行與結果分析 103
4-3 標記點修正補償模型實驗驗證 115
4-3-1 標記點修正補償模型實驗設計與方法 115
4-3-2 標記點修正補償模型實驗執行與結果分析 117
4-4 整合系統實驗驗證 122
4-4-1 三項實驗參數以及六項觀察與分析 124
4-4-2 整合系統實驗執行與結果分析 125
第五章 結論與未來展望 142
參考文獻 144

表目錄
表1-1 電腦技術發展[1] 1
表3-1 機械手臂相關規格[31] 44
表3-2 攝影機相關規格[32] 46
表3-3 棋盤格規格 48
表3-4 ARUCO標記點規格 49
表3-5 座標轉換模型-機器視覺像素座標輸出資料 66
表3-6 座標轉換模型-實際機械手臂座標輸出資料 71
表4-1 深度學習棋盤格座標轉換機械手臂預測座標輸出資料 104
表4-2 座標轉換分析一棋盤格驗證-實際位置與預測位置差距 105
表4-3 座標轉換分析二驗證-預測機械手臂座標輸出資料 110
表4-4 座標轉換分析二驗證-實際機械手臂理想的座標位置 111
表4-5 座標轉換分析二驗證-實際位置與預測位置差距 112
表4-6 標記點修正補償驗證-參考圖像與校正後圖像的YOLO辨識輸出座標 121
表4-7 三項實驗參數以及六項觀察與分析試驗結果紀錄表 134

圖目錄
圖1-1 一個基於邏輯推理的神經元模型[2] 4
圖1-2 深度學習的演進技術時間表[3] 5
圖1-3 EYE TO HAND 固定式手眼校正配置。[4] 6
圖1-4 EYE IN HAND 移動式手眼校正配置。[4] 6
圖2-1 SCARA機械手臂應用於晶圓取放[11] 11
圖2-2 六軸機械手臂應用於雷射加工管材[12] 12
圖2-3 人機協作中的協作機械手臂[13] 12
圖2-4 DELTA機械手臂應用於食品包裝[14] 13
圖2-5 達文西機械手臂應用於醫療手術[15] 14
圖2-6 成像系統的基礎參數插圖。[16] 15
圖2-7 焦距與成像示意圖。[17] 16
圖2-8 棋盤格校正板示意圖 17
圖2-9 圓點陣列校正板示意圖 18
圖2-10 非對稱圓點陣列校正板示意圖 19
圖2-11 ARUCO標記點示意圖 20
圖2-12 ARUCO標記點應用示意圖[18] 20
圖2-13 利用LOGO圖示作為校正板應用[19] 21
圖2-14 EYE IN HAND手眼校正應用[20] 23
圖2-15 EYE IN HAND手眼校正應用[21] 24
圖2-16 YOLO演算法架構示意圖[22] 26
圖2-17 D-H值表示法示意圖[23] 28
圖2-18 仿射轉換應用示意圖[24] 31
圖2-19 透視變換應用示意圖[24] 32
圖2-20 兩種常見的徑向畸變類型示意圖[25] 34
圖2-21 人工智慧、機器學習、深度學習架構與時間發展圖[26] 36
圖2-22 前饋神經網路的結構示意圖[27] 38
圖2-23 卷積神經網路的結構示意圖[28] 38
圖2-24 循環神經網路(RNN)的結構示意圖[29] 39
圖2-25 深度神經網路的結構示意圖[30] 39
圖3-1 研究設計流程圖 40
圖3-2 系統架構圖 41
圖3-3 機械手臂組合[31] 42
圖3-4 機械手臂活動範圍[31] 43
圖3-5 機械手臂關節位置尺寸圖[31] 44
圖3-6 LOGITECH C310 HD攝影機[32] 46
圖3-7 三色方塊 47
圖3-8 座標轉換與定位用棋盤格 48
圖3-9 校正定位用ARUCO標記點 50
圖3-10 研究架構示意圖 51
圖3-11 研究架構尺寸示意圖 51
圖3-12 WLKATA SUTDIO機械手臂控制軟體介面 54
圖3-13 機械手臂操作軟體介面-角度控制模式 55
圖3-14 機械手臂操作軟體介面-座標控制模式 55
圖3-15 機械手臂操作軟體介面- PYTHON API介面 56
圖3-16 LABELIMG圖像標記工具執行畫面 57
圖3-17 DARKNET框架中的YOLOV4訓練結果 58
圖3-18 DARKNET框架中的YOLOV4辨識過程 59
圖3-19 SPYDER程式編輯器介面[33] 60
圖3-20 座標轉換模型訓練設計流程圖 61
圖3-21 座標轉換模型-機器視覺擷取影像畫面 62
圖3-22 座標轉換模型-棋盤格角點辨識程式流程圖 64
圖3-23 座標轉換模型-棋盤格繪製角點後顯示畫面 66
圖3-24 機械手臂讀取實際角點座標流程圖 68
圖3-25 機械手臂臂端工具使用探針 69
圖3-26 機械手臂將臂端工具移動至角點位置 70
圖3-27 機械手臂座標位置參數顯示 71
圖3-28 深度學習座標轉換模型程式流程圖 74
圖3-29 座標轉換模型準確度驗證圖表 77
圖3-30 座標轉換模型損失函數驗證圖表 77
圖3-31 座標轉換模型輸出驗證參數 78
圖3-32 標記點修正-機器視覺擷取影像畫面 79
圖3-33 標記點修正補償模型流程圖-1 81
圖3-34 標記點修正補償模型流程圖-2 82
圖3-35 影像偏差量兩個影像間循環比較示意圖 86
圖3-36 影像重疊率二值化分析處裡示意圖 88
圖3-37 驗證補償與座標轉換整合系統流程圖 89
圖3-38 深度學習座標轉換副程式流程圖 90
圖3-39 整合系統執行取放動作流程圖 92
圖3-40 整合系統主程式流程圖 95
圖4-1 座標轉換驗證-隨機擺放三色方塊並透過機器視覺擷取畫面 108
圖4-2 座標轉換驗證-利用YOLO辨識物件畫面 108
圖4-3 座標轉換驗證-機械手臂移動至座標轉換後位置 109
圖4-4 座標轉換驗證-機械手臂手動移動至理想位置，紀錄誤差值 109
圖4-5 座標轉換驗證-補償後機械手臂移動至物件中心目標位置 114
圖4-6 標記點修正補償驗證-參考圖像 117
圖4-7 標記點修正補償驗證-偏移圖像 118
圖4-8 標記點修正補償驗證-修正後的圖像 118
圖4-9 標記點修正補償驗證-重合圖像 119
圖4-10 標記點修正補償驗證-YOLO辨識座標參考圖像 120
圖4-11 標記點修正補償驗證-YOLO辨識座標修正後圖像 121
圖4-12 實驗參數、條件設計規劃流程圖 123
圖4-13 整合系統實驗流程圖 126
圖4-14 整合系統實驗-系統初始化後等待 127
圖4-15 整合系統實驗-隨機擺放三色方塊 128
圖4-16 整合系統實驗-機械手臂自動吸取 129
圖4-17 整合系統實驗-機械手臂進行物件分類 130
圖4-18 整合系統實驗-調整機器視覺姿態角度 θ示意圖 131
圖4-19 整合系統實驗-機器視覺偏移狀態下隨機擺放三色方塊並自動吸取 132
圖4-20 整合系統實驗-機器視覺偏移狀態下正確放置和分類物件 133
圖4-21 整合系統實驗-參考影像畫面 137
圖4-22 整合系統實驗-第11次驗證時機器視覺偏移畫面 137
圖4-23 整合系統實驗-第11次驗證校正後與標準參考位置重合比較 138
圖4-24 整合系統實驗-第1次驗證校正後與標準參考位置重合比較 138
圖4-25 整合系統實驗-第2次驗證時機器視覺偏移畫面 139
圖4-26 整合系統實驗-第2次驗證校正後與標準參考位置重合比較 139
圖4-27 整合系統實驗-第2次驗證校正後與標準參考位置重合二值化比較 140
圖4-28 整合系統實驗-第3次驗證時機器視覺偏移畫面 140
圖4-29 整合系統實驗-第3次驗證校正後與標準參考位置重合比較 141
圖4-30 整合系統實驗-第3次驗證校正後與標準參考位置重合二值化比較 141

程式碼目錄
程式碼3-1 座標轉換模型-棋盤格角點辨識程式碼 65
程式碼3-2 深度學習座標轉換程式碼 76
程式碼3-3 標記點修正模型程式碼 84
程式碼3-4 深度學習座標轉換副程式程式碼 91
程式碼3-5 深度學習座標轉換呼叫副程式程式碼 92
程式碼3-6 整合系統執行取放動作流程副程式程式碼 94
程式碼3-7 整合系統主程式流程圖程式碼 99

[1]趙坤茂、張雅惠、黃寶萱，《計算機概論 = An introduction to computer science》，第五版，新北市，全華圖書，ISBN:978-957-21-7620-7，2010年5月。
[2]P. Chaudhari, "ESE546: Principles of Deep Learning Fall 2022," Available at: https://pratikac.github.io/pub/22_ese546.pdf.
[3]Sefik, "Evolution of neural networks and Deep Learning," Sefik Ilkin Serengil. Available at: https://sefiks.com/2017/10/14/evolution-of-neural-networks/.
[4]李俊則、張禎元，〈光學視覺與機械手臂系統整合之校正方法介紹〉，科儀新知，光學量測技術產業應用專題，226期，PP24-36，國家實驗研究院台灣儀器科技研究中心，ISSN:1019-5440，2021年3月。
[5]趙清榮，「結合機器視覺導引於六軸機械手臂定位運動與取放控制之應用」。碩士論文，國立高雄應用科技大學模具系碩士在職專班，2016。
[6]林祐生，「深度學習在機器人視覺辨識中的應用」。碩士論文，國立虎尾科技大學機械設計工程系碩士班，2019。
[7]呂冠霆，「基於影像處理之機械手臂抓取定位補償」。碩士論文，國立中正大學電機工程研究所，2021。
[8]彭瑞浩，「基於深度學習之視覺補正」。碩士論文，國立中正大學資訊工程研究所，2021。
[9]蔡詠任，「視覺檢測應用於水平多關節機械手臂取料系統」。碩士論文，國立屏東科技大學機械工程系所，2022。
[10]陳芊穎，「機器視覺與機械手臂精密定位及夾持之研究」。碩士論文，國立彰化師範大學機電工程學系，2022。
[11]Innovative Robotics LLC, "Why SCARA?," Innovative Robotics. Available at: http://www.innovativerobotics.com/Downloads/SCARA%20robot%20vs%20r-theta.pdf.
[12]BLM Group, "LT360: 6-Axis Laser Cutting Machines - Technical Information". Available at: https://www.blmgroup.com/en-us/6-axis-laser-cutting-machines/lt360/technical-information.
[13]KUKA Robotics. Available at:
https://www.kuka.com/zh-tw/未來生產/人機協作/協作型機械手臂.
[14]Schubert Group, "Pick and Place Machine for a Confectionery Producer". Available at: https://www.schubert.group/en/case-studies/pick-and-place-machine-confectionery-producer/.
[15]Intuitive Surgical, "Da Vinci Robotic Surgery". Available at:
https://www.intuitive.com/en-us/patients/da-vinci-robotic-surgery.
[16]C. J. Lewis, “The Six Fundamental Parameters of Machine Vision Optics,” Cognex, Mar. 2017. Available at:
https://www.cognex.com/zh-tw/blogs/machine-vision/the-six-fundamental-parameters-of-machine-vision-optics.
[17]G. Hollows and N. James, "Understanding Focal Length and Field of View," Edmund Optics, Edmund Optics Worldwide. Available at:
https://www.edmundoptics.com/knowledge-center/application-notes/imaging/understanding-focal-length-and-field-of-view/.
[18]"增強現實入門實戰，使用Aruco標記實現增強現實 - 台部落".。Available at: https://www.twblogs.net/a/5e9f58096052e16a9f6eff01.
[19]I. Lundberg, M. Björkman and P. Ögren, "Intrinsic camera and hand-eye calibration for a robot vision system using a point marker," 2014 IEEE-RAS International Conference on Humanoid Robots, Madrid, Spain, 2014, pp. 59-66, doi: 10.1109/HUMANOIDS.2014.7041338.
[20]Dr. John Stechschulte, P.D. (2020) New MOVEIT calibration capabilities from Intel, PickNik. Available at:
https://picknik.ai/camera%20calibration/hand-eye%20calibration/moveit/2020/08/14/new-moveit-calibration-capabilities-from-intel.html.
[21]PickNik Robotics, Hand-Eye Calibration. Available at:
https://moveit.picknik.ai/humble/doc/examples/hand_eye_calibration/hand_eye_calibration_tutorial.html.
[22]J. Redmon, S. Divvala, R. Girshick and A. Farhadi, "You Only Look Once: Unified, Real-Time Object Detection," 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016, pp. 779-788, doi: 10.1109/CVPR.2016.91.
[23]M. W. Spong, "Robot Modeling and Control," pp. 68-75.
[24]"Geometric transformations of images OpenCV". Available at:
https://docs.opencv.org/4.x/da/d6e/tutorial_py_geometric_transformations.html.
[25]"Camera Calibration and 3D Reconstruction - OpenCV 2.4.13.7 documentation". Available at:
https://docs.opencv.org/2.4/modules/calib3d/doc/camera_calibration_and_3d_reconstruction.html.
[26]Copeland, M. (2016) "人工智慧、機器學習與深度學習間有什麼區別?"，NVIDIA 台灣官方部落格。 Available at:
https://blogs.nvidia.com.tw/2016/07/29/whats-difference-artificial-intelligence-machine-learning-deep-learning-ai/.
[27]"Feedforward Neural Network" (2023) Wikipedia. Wikimedia Foundation. Available at: https://en.wikipedia.org/wiki/Feedforward_neural_network.
[28]Ratan, P. (2021) "What is the Convolutional Neural Network Architecture?", Analytics Vidhya. Available at:
https://www.analyticsvidhya.com/blog/2020/10/what-is-the-convolutional-neural-network-architecture/.
[29]"Simple explanation of recurrent neural network (RNN)". Available at:
https://morioh.com/p/1bc305d7dbdf.
[30]"DNN neural network: A quick glance of DNN neural network - examples" (2023) EDUCBA. Available at:
https://www.educba.com/dnn-neural-network/.
[31]"WLKATA Mirobot Education Kit - 6 axis robotic arm - Technical Parameters, Control And Software". Available at:
https://www.wlkata.com/products/wlkata-best-6-axis-stem-educational-robot-arm-kit.
[32]"羅技 C310 HD 網路攝影機"。Available at: https://www.logitech.com/zh-tw/products/webcams/c310-hd-webcam.960-000631.html.
[33]Spyder IDE. Available at: https://www.spyder-ide.org/.