臺灣博碩士論文加值系統

人類接球時，一開始會先預測落點，再移動到該落點附近。如果球是從遠方投過來，則會慢慢修正預測點。本論文利用Kinect V2觀測球體位置，再使用卡爾曼濾波器逐漸更新球的落點，每更新一次落點便控制機械手臂的末端移動到該落點接球，藉由此接球系統來模仿人類的接球動作。
本文使用Kinect V2，經由一連串的影像處理，從彩色影像中分離出目標物，得到球在影像中的位置，再結合深度資訊，來取得球體的實際位置。由於本文使用的球體飛行軌跡模型忽略因旋轉而產生的馬格努斯力，以及攝影機得到的球體位置也會包含誤差，所以會使用擴展型卡爾曼濾波器來過濾雜訊，得到較為精確的位置及初始速度，再藉由球體飛行軌跡模型，預測目標物的落點。
最後，結合機械手臂與Kinect V2組合成接球系統，之後攝影機每得到新的位置，便經由上敘過程，使機械手臂末端一步一步移動到接球的位置。並依據球的入射角度，控制籃子的角度，使手臂接球時，球不會撞到籃框。希望藉由本研究，來重現出人類接球的行為。

When humans catch a ball, they will first predict the landing point, then move to the nearby position to catch the ball. If the ball is thrown from a lomg distance, then they slowly adjust the prediction point. In this study, I use Kinect V2 to observe the position of the ball, while using Kalman filter to update the landing point gradually. Whenever the Kalman filter update the point, the system control the end of the robot arm to catch the ball in the point. This paper imitate the catching ball action of human by the catching ball system.
In this study, I use Kinect V2, after a series of image processing, the target is separated from the color image, so we can get the position of ball in the image, and combine with the information of depth, then get the actual position of the ball. Because the model of the ball''s flight trajectory ignored the Magnus force, and the position of ball has error from observation of the camera, so I use the extended Kalman filter to filter noises, in order to get the position and initial velocity more accurate, Based on the model of the ball''s flight trajectory, the system can predict the landing point.
Finally, I combine the robot arm and visual system into a catching ball system. Whenever the camera gets a new position of the ball, then update the landing point, so that the end of the robot arm can move to the final prediction point gradually. According to the angle of incidence of the ball, control the angle of the basket so that the ball won''t hit the basket when catching the ball. In this study, I believe we can reproduce human behavior of catching ball by this system.

論文審定書 i
誌謝 ii
摘要 iii
Abstract iv
圖次 viii
表次 xii
第一章 緒論 1
1.1研究動機與目的 1
1.2研究方法與步驟 1
1.3文獻回顧 3
1.4論文架構 8
第二章 Kinect V2與影像處理 9
2.1 Kinect V2 9
2.2色彩空間 11
2.2.1RGB色彩空間 11
2.2.2HSV色彩空間 12
2.3影像二值化 13
2.4測距原理 15
2.5球的空間座標 16
2.6減少影像處理時間 17
2.7影像處理流程 19
第三章 球體飛行軌跡與預測 21
3.1球體力學模型 21
3.1.1重力 21
3.1.2空氣阻力 21
3.1.3空氣浮力 23
3.1.4馬格努斯力 23
3.2 飛行中的球體運動方程式 24
3.3 擴展型卡爾曼濾波器 25
第四章 機械手臂與接球策略 27
4.1四軸機械手臂 27
4.2機械手臂控制 32
4.3接球策略 34
4.3.1接球策略一 34
4.3.2接球策略二 36
4.3.3 Motor4的控制 38
4.3.4機械手臂運動時間測試 40
第五章 實驗結果與分析 41
5.1硬體架設與實驗用具 41
5.2空間座標值誤差測量 45
5.2.1 X座標值誤差測量 45
5.2.2 Y座標值誤差測量 47
5.2.3 Z座標值誤差測量 48
5.3飛行球體軌跡模擬 52
5.4接球實驗 59
5.5分析實驗結果與討論 71
第六章 結論與未來規劃 76
6.1結論 76
6.2未來規劃 76
參考文獻 78
附錄 81

[1]蔡承訓，二軸機器手腕之影像伺服控制，國立中山大學機械與機電工程學系研究所碩士論文，民國96年。
[2]周景荃，球板系統之影像伺服控制及路徑規劃，國立中山大學機械與機電工程學系研究所碩士論文，民國98年。
[3]劉安陞，球彈跳之智慧型手眼協調控制，國立中山大學機械與機電工程學系研究所碩士論文，民國100年。
[4]邱奕鳴，手眼協調控制之適應性拍球系統，國立中山大學機械與機電工程學系研究所碩士論文，民國102年。
[5]楊昌謀，以最佳化擊球參數實現可指定落點之擊球機器人，國立交通大學電控工程研究所碩士論文，民國101年。
[6]E. Lachat, H. Macher, M.-A. Mittet, T. Landes, and P. Grussenmeyer, “Fist experiences with Kinect V2 sensor for close range 3D modelling,” International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XL-5/W4, 2015, pp.93-100.
[7]P. Fankhauser, M. Bloesch, D. Rodriguez, R. Kaestner, M. Hutter, and R. Siegwart, “Kinect V2 for mobile robot navigation: evaluation and modeling,” Advanced Robotics (ICAR), 2015 International Conference on ,Feb. 2015, pp.388-394.
[8]Y. Yang, H. Yan, M. Dehghan, and M. H. Ang, “Real-time human-robot interaction in complex environment using Kinect V2 image recognition,” 2015 IEEE 7th International Conference on Cybernetics and Intelligent Systems (CIS) and IEEE Conference on Robotics, Automation and Mechatronics (RAM), July 2015, pp.112-117.
[9]M. Li, A. Ravankar, A. A. Ravankar, Y. Kobayashi, and T. Emaru, “Estimation of position and trajectory of a flying ball in 3-D space,” 2015 IEEE/SICE International Symposium on System Integration (SII), Dec. 2015, pp.443-448.
[10]K. Y. Lian and C. Y. Yang, “Wheeled robot control for catching up flying objects using RGB-D sensors,” Control Conference (ASCC), 2015 10th Asian, June 2015, pp.1-6.
[11]J. Malzahn, A. S. Phung, and T. Bertram, “A multi-link-flexible robot arm catching thrown balls,” Robotics; Proceedings of ROBOTIK 2012; 7th German Conference on, May 2012, pp.1-6.
[12]K. Deguchi, H. Sakurai, and S. Ushida, “A goal oriented just-in-time visual servoing for ball catching robot arm,” Robotics; 2008 IEEE/RSJ International Conference on Intelligent Robots and Systems, Sept. 2008, pp.3034-3039.
[13]R. Herrejon, S. Kagami, and K. Hashimoto, “Composite visual servoing for catching a 3-D flying object using RLS trajectory estimation from a monocular image sequence,” Computational Intelligence in Robotics and Automation (CIRA), 2009 IEEE International Symposium on, Dec. 2009, pp.526-531.
[14]P. Zarchan, “Fundamentals of Kalman filtering : a practical approach,” American Institute of Aeronautics and Astronautics, 2nd Edition, 2005.
[15]劉超群，Kinect 體感程式探索-使用C#，松崗，民國102年。
[16]王森，Kinect 體感程式設計入門與應用，碁峰，第二版，民國102年。
[17]余濤，Kinect 活用開發指南，上奇資訊，民國103年。
[18]J. Malzahn, A. S. Phung, and T. Bertram, “A novel trajectory prediction approach for table-tennis robot based on nonlinear output feedback observer,” Robotics and Biomimetics (ROBIO), 2010 IEEE International Conference on, Dec. 2010, pp.1136-1141.
[19]B. R. Munson, D. F. Young, T. H. Okiishi and W. W. Huebsch, Fundamentals of Fluid Mechanics, 5th Edition, John Wiley& Sons, 2006.