臺灣博碩士論文加值系統

本篇論文中，將以自我學習的概念來設計機器手臂的行為。我們採用加強式學習(reinforcement learning)中WoLF架構當成行為的樣本，設計手臂移動至目標點的行為以此樣本為基礎架構。藉由環境回授信號做內部參數的修正，讓行為過程能送出適當的輸出。馬達控制部分，採取位置基準控制做為整個系統的架構，先將手臂控制箱改為由電腦取代，依據目標點的空間位置，使手臂經由學習後，瞭解各軸欲轉動的角度值，透PD控制器使運作更為順暢。首先我們使用PC-Based 控制器控制SCORBOT-ER VII 機器臂，此控制器包括了PC、電流放大器和PCI 8133馬達控制卡。然後使用PCI 8133卡內附的解碼器讀取機器臂各軸之位置資料。最後整合馬達控制器、電流控制器及機器臂之學習控制法成為機器手臂學習系統。

In this thesis, we design a learning system for agents learning how to make the end of robot arm pointing to the goal in the work space. Our robot arm has three rollers, and one roller is viewed as an agent. We adopt a rational and convergent learning algorithm, WoLF-PHC, to be our learning basis.
In the motor controller, we adopt the control of position system to be the architecture of whole system. We replace the control box of robot arm by computer, and assign a position in the 3 dimensions space to be the goal that robot will point. After learning, agents could understand the angles each of them should rotate. And we use PD controller to make the movement smoother. SCORBOT-ER VII robot arm controlled by PC-Based controller. This controller includes PC, current amplifier and PCI 8133 motor control card. The decoder of PCI 8133 is used to read the position of each roller. Then integrate the controller of motor, controller of current and learning system of robot arm to be the whole control system.

摘要
Abstract
誌 謝
圖表目錄
第1章 緒論
1.1. 研究背景
1.2. 研究動機和目的
1.3. 機器手臂的系統架構
1.4. 論文架構
第2章 硬體系統與電路
2.1. 機器手臂原始硬體架構
2.2. 修改後機器手臂的硬體控制架構
2.3. 硬體控制電路設計
2.3.1. 介面電路與機器手臂
2.3.2. 介面電路與馬達控制卡(PCI-8133)
2.4. 軟體控制架構
2.5. 馬達控制架構
2.6. 角度控制架構
2.7. 機器手臂之順向運動學
2.7.1. 旋轉運動之座標轉換
2.7.2. 平移運動之座標轉換
2.8. 初始化位置
第3章 Win or Learning Fast
3.1. Single-Agent與Multi-Agent
3.1.1. Agent的定義
3.1.2. Multi-Agent的定義、特性與應用
3.2. 加強式學習
3.3. Multi-Agent的加強式學習
3.4. Q-learning的架構
3.5. Policy Hill Climbing
3.6. WoLF Policy Hill-climbing
3.6.1. Policy的更新
3.6.2. 學習率的選取
3.6.3. 更新Q值
第4章 模擬設計分析與系統整合實驗結果
4.1. 模擬輔助設計
4.1.1. Borland C++ Builder
4.1.2. 動力方程式
4.2. 模擬分析
4.2.1. 模擬規劃
4.2.2. 模擬程式
4.3. 實驗設計
4.4. 實驗結果
第5章 結論與未來展望
參考文獻
附錄 一、SCORBOT-ER VII硬體規格
附錄 二、PCI-8133 接腳圖
附錄 三、TA7291P 腳位圖

[1]Johnj. Craig,“Introduction To Robotics Mechanics AndControl,”Addison-Wesley Publishing Company,1989, Denver,USA.
[2]江耀宗,林崇賢編譯,“機器人原理與系統”,全華科技圖書股份有限公司, 1991.
[3]郭俊良,王培士編譯,“機器人的機構與控制”,全華科技圖書股份有限公司,1988.
[4]M. Vukobratovic.著,趙平譯,“機器人的手-力學與運動”,臺隆書店,1983.
[5]Beck,Dzidzka,Kunitz,Magnus,Verworner “Linux kernel Internals”, Addison-Wesley Publishing Company,1999.
[6]A.J.Koivo,R. Lewczyk,and T.-H Chiu,”Adaptive path control of a manipulator with visual information”,Int. Conf. on Robotics,pp.ix+622,556-60.
[7]P.K. ALLEN,A. Timcenko,B. Yoshimi ”Real-time visual servoing,”Proc. Of IEEE Int.Conf.onRobotics and Automation,vol.1,pp.851-6,1991
[8]林昇甫，洪成安 "神經網路入門與圖樣辨識" 全華科技圖書股份有限公司 1993
[9]W.G. Han, S.M. Baek, and T.Y. Kuc, ”GA based online path planning of mobile robots playing soccer games,” The 40th Midwest Symposium on Circuits and Systems, vol.1, pp.522-525, 1997.
[10]R. Toogood, H. Hao, and C. Wong, ”Robot path planning using genetic algorithms,” IEEE International Conference on Systems,Man and Cybernetics, vol.1, pp. 489 -494, 1995.
[11]Andrew G. Barto, and Richard S. Sutton, "Reinforcement Learning," A Bradford Book The MIT Press Cambridge, Massachusetts London, England, 1998.
[12]Chen, Chieh-Li and Chih-Jer Lin, Motion Planning of Redundant Robots, Journal of Robotic Systems, Vol.14, No.12,pp. 839-850,1997
[13]林志哲,李凱笙,混合運動規劃法在具贅餘自由度機器臂之循圓運動規劃”,第十九屆中國機器工程學會全國學術研討會(2002).
[14]Morriss,“ Automated Manufacturing system ”,McGraw-Hill International Ed.

[15]侯宗良,”工業用機器臂奇異點之研究”,碩士論文,國立成奶j學電機工程研究所,1991
[16]黃志鴻,”機器手臂視覺系統抓取系統”,國立中正大學碩士論文,2003
[17]晉茂林,”機器人學”,五南圖書出版有限公司,1999