臺灣博碩士論文加值系統

本論文主要目的是將即時影像視覺整合在多關節機器手臂之控制上，使機械手臂具有視覺回授的伺服系統。結合即時影像的機器手臂，能夠打破傳統機械手臂僅依靠預先設定的路徑規劃來操作的限制，即使沒有預先計劃的路徑，也能使末端執行器達到指定的位置。
本研究應用Kinect v2相機來建立即時視覺和機械手臂系統，並實現了接球和人體手部控制機械手臂的兩個主要功能。接球功能通過二次項擬合預測球體拋物線軌跡，而人體手部控制功能則利用人體骨架的關鍵點來指揮機械手臂的運動，最後以Microsoft Foundation Classes 整合成應用程式介面。

The main objective of this thesis is to integrate a real-time visual imaging system into the control of a multi-jointed robotic arm, equipping the robot arm with a vision feedback servo system. This system surpasses the limitations of traditional robotic arms that rely on pre-set path planning, allowing the end effector to reach specific positions accurately even without pre-planned routes.
This study utilizes the Kinect v2 camera to establish a real-time vision and robotic arm system, implementing two main functionalities: catching balls and human hand control of the robotic arm. The ball-catching function employs quadratic fitting to predict the trajectory of the ball, while the human hand control function uses key points from the human skeleton to direct the movement of the robotic arm. All these features are integrated into a user-friendly application interface through Microsoft Foundation Classes (MFC).

致謝 I
摘要 I
Abstract II
圖目錄 V
表目錄 VIII
第一章、緒論 1
1.1研究動機與目的 1
1.2文獻回顧 1
1.3論文貢獻 2
1.4論文架構 3
第二章、硬體設備介紹 4
2.1伺服馬達 4
2.2微處理器 5
2.2.1 STM32F103C8T6 5
2.2.2 ST-Link 5
2.2.3微處理器接腳配置 5
2.3周邊模組 7
2.3.1 OLED模組 7
2.3.2 CH340 7
2.4 RGB-D相機 7
第三章、影像處理 9
3.1影像切割 9
3.1.1 Sobel算子 9
3.3.2 Canny算子 10
3.3.3連通成分 12
3.2色彩空間 14
3.2.1 RGB色彩空間 14
3.3.2 HSV色彩空間 14
3.3.3色彩空間轉換 15
第四章、運動學 16
4.1齊次座標轉換 16
4.2 D-H轉換矩陣 18
4.3正向運動學 19
4.4反向運動學 23
第五章、實驗結果 35
5.1影像系統 35
5.2機械手臂 39
5.2.1 PWM設定 39
5.2.2對傳實驗 40
5.2.3運動學實現 41
5.3系統整合 45
5.3.1接球實驗 47
5.3.2人體姿態控制機械手臂 53
第六章、結論與未來展望 57
6.1結論 57
6.2未來展望 57
參考文獻 58

[1]Jacques Denavit, Richard S. Hartenberg, “A kinematic notation for lower pair mechanisms based on matrices,” Journal of Applied Mechanics,1955
[2]Pablo Saura Pérez “Análisis de eventos deportivos mediante visión artificial,” Universidad de Murcia Trabajo Fin de Grado, 2017.
[3]Ron Berenstein,Yael “Automatic adjustable spraying device for site-specific agricultural application,” IEEE Transactions on Automation Science and Engineering, 2018
[4]Tobias Gold, Ralf Römer, Andreas Völz, Knut Graichen, “Catching objects with a robot arm using model predictive control,” 2022 American Control Conference (ACC), Atlanta, USA, June 8-10, 2022.
[5]Yu Peng,Tong Xing-Wei “A unified model of GMRF and MOG for image segmentation,” IEEE International Conference on Image Processing, 2005
[6]Berardo Naticchia, Alberto Giretti, Alessandro Carbonari, “Development of an automatic four-color spraying device carried by a robot arm,” 24th International Symposium on Automation & Robotics in Construction, September 2007
[7]Y. Yang, H. Yan, M. Dehghan, and M. H. Ang, “Real-time human-robot interaction in complex environment using Kinect V2 image recognition,” 2015 IEEE 7th International Conference on Cybernetics and Intelligent Systems (CIS) and IEEE Conference on Robotics, Automation and Mechatronics (RAM), July 2015, pp.112-117.
[8]K. Y. Lian and C. Y. Yang, “Wheeled robot control for catching up flying objects using RGB-D sensors,” 2015 10th Asian Control Conference (ASCC), June 2015, pp.1-6.
[9]Yinhui Xie, Jun Li, “Path planning based on robot posture control in spraying,” 2016 35th Chinese Control Conference (CCC), July 27-29, 2016.
[10]John J. Craig , Introduction to Robotics: Mechanics and Control, Pearson 2004
[11]陳佩綺，“基於Kinect感測器追蹤雙手勢即時控制機械手臂”，逢甲大學自動控制工程學系碩士論文，2017。
[12]林彥宏，“預測飛行球軌跡接球系統”，國立中山大學碩士論文，2016。
[13]張國卿，“光流演算法於影像伺服機械臂之應用”，國立台灣海洋大學電機工程系碩士論文，2012。
[14]洪卉萱，“多軸機器手臂之視覺回授控制”，國立台灣海洋大學電機工程系碩士論文，2016。
[15]曹書偉，“基於Android app之機械手臂雷射雕刻系統設計”，國立台灣海洋大學電機工程系碩士論文，2019。
[16]徐逢廷，“視覺回授機械手臂繪圖系統之實現”，國立台灣海洋大學電機工程系碩士論文，2017。
[17]沈峰光，“以Kinect為基礎之人機介面研製”，中央大學資訊工程學系碩士論文， 2012。
[18]劉昭恕、吳冠忠、鄭庭宇、李泳瑨、許慶彬，“噴塗路徑偏移補償之自動噴塗系統研製”，Chinese Society of Mechanical Engineers, B11-006,pp.295-300, 2022
[19]Microsoft Kinect v2官方網站
https://learn.microsoft.com/zh-tw/windows/apps/design/devices/kinect-for-windows
[20]國立臺灣大學林沛群教授Coursera 機器人學線上課程
https://www.coursera.org/learn/robotics1
[21]HSL和HSV色彩空間
https://zh.wikipedia.org/zhtw/HSL%E5%92%8CHSV%E8%89%B2%E5%BD%A9%E7%A9%BA%E9%97%B4