臺灣博碩士論文加值系統

本論文旨在建構一個可依照使用者命令任意移動的輪式嵌入式智慧型行動機器人，使用者只需要透過瀏覽網頁的方式便能立刻在遠端瀏覽器上建立起簡易使用的使用者介面，可以從遠端監看現場即時影像，同時遙控車體行動。
另一項弁酮O要讓機器人達到自動尋標的目的，因此我們在系統中加入了機器人學習的演算法。一般機器人的動作設計，是依據特定的目的，由設計者站在機器人的角度上，觀測感測訊號，來撰寫控制的法則，這樣需要縝密的考量以及豐富的機器人學知識，並且在做最佳化的時候，得以嘗試錯誤的方式，來做動作的調整與修正。
Reinforcement Learning-based Decision Tree Algorithm的方法則是從機器人的角度來看設計者，藉由觀察設計者的操控，使用決策樹來歸納並分割動作，把設計者的動作模仿起來。既降低了設計動作的困難度，在最佳化方面，也可以讓機器人自主地學習。
從底層的系統，包含客製化SOPC的設計、基於CMOS影像感測器所設計的影像擷取系統以及輪式移動機構整合等；發展至最上層的應用軟體，包含OS環境的建置、以軟硬體共同設計的方式實現影像的擷取以及運用CGI動態程式的方式來實現互動式的使用者介面，最終整合成為一個高完整性的嵌入式SOPC系統。

This thesis develops methodologies and techniques for designing and implementing an embedded intelligent mobile robot based on SOPC. Such a system can be operated to any location according to users’ commands. The user are able to view real-time images and steer the vehicle at the same time using a standard web browser on any local or remote computer on network.
Another function is to let the robot achieve seeking goal automatically, so we have add the capability of performing of robot learn in the system. To design appropriate actions of mobile robots, designers usually observe the sensory signals on the robots and decide actions from the viewpoint of some desired purposes. This approach needs deliberative consideration and abundant knowledge on robotics for a variety of situations.
We proposed the Reinforcement Learning-based Decision Tree Algorithm to solve these problems. In the method, every robot is a learner, and the designers only need to demonstrate behavior to robot, which then can record these information between actions and environmental states and induce the relationship between the sensory signals and the actions.
The system is designed in the bottom-up approach. Starting from the low-level hardware system design, the work completes the customized SOPC design on image acquisition system built with CMOS image sensor and integration of the wheeled mobile platform. The top level software application designs of the system include the construction of the Operating System environment, the image fetching implemented by HW/SW Co-design, and an interactive web-based user interface implemented by CGI programs. All the proposed functions have been verified and have been highly integrated into a complete embedded system.

中文摘要 II
Abstract III
目錄 V
圖目錄 VIII
表目錄 XI
第1章 緒論 1
第1.1節 簡介 1
第1.2節 相關研究 1
第1.3節 研究動機 4
第1.4節 論文組織 5
第2章 系統硬體架構 6
第2.1節 簡介 6
第2.2節 硬體週邊 7
第2.2.1節 發展板 7
第2.2.2節 影像感測器 8
第2.2.3節 無線網路 10
第2.2.4節 機構平台 11
第2.3節 SOPC設計 12
第2.3.1節 SOPC簡介 12
第2.3.2節 客製化的Nios II系統 17
第2.3.3節 標準化的週邊 18
第2.3.4節 客製化的週邊 19
第3章 系統軟體架構 25
第3.1節 簡介 25
第3.2節 移植與實作 25
第3.2.1節 Linux Operating Systems的移植 25
第3.2.2節 Boa Web Server的移植 27
第3.2.3節 EPCS-Flash燒錄 28
第3.2.4節 CFI-Flash燒錄 28
第3.3節 影像擷取 29
第3.4節 使用者介面 30
第4章 、學習演算法 33
第4.1節 簡介 33
第4.1.1節 Reinforcement Learning 33
第4.1.2節 Q-Learning 34
第4.1.3節 Decision Tree Induction 36
第4.2節 RL-based Decision Tree 38
第4.2.1節 RL-based Decision Tree架構 38
第4.2.2節 狀態表示 40
第4.2.3節 切割狀態 41
第4.2.4節 回饋值 42
第4.2.5節 研究成果 43
第5章 研究成果 46
第6章 結論與未來展望 48
第6.1節 結論 48
第6.2節 未來展望 49
參考文獻 50

[1] S. Okada, S. Okada, Y. Matsuda, T. Yamada, A. Kobayashi, “System on a chip for digital still camera,” IEEE Trans. Consumer Electron, vol.45 no.3, pp.584-590, Aug.1999.
[2] H. E. Chien, Hardware/Software Co-design For Real-Time Surveillance System, Master thesis, Institute of Electronic Engineering, National Yunlin University of Science and Techonlogy,2001.
[3] C. J. Yang, “Networking Monitor System,” Master thesis, National Cheng-Kung University, Taiwan, 2002.
[4] W. Wolf, “Hardware/Software” Co-Design of Embedded Systems,” IEEE Proceeding, vol.82, pp.967-989, July 1994.
[5] J. T. Cai, “Design and Implementation of an Embedded IP-Based Mobile Image Surveillance System”, Master thesis, National Chung Hsing University, Taiwan, 2006.
[6] C. J. Wu, “A Behavior Fusion Approach Based on Q-Learning for Mobile Robots,” Master thesis, National Chung Cheng University, Taiwan, 2007.
[7] T. H. Yang, “Behavior Cloning by RL-based Decision Tree,” Master thesis, National Chung Cheng University, Taiwan, 2006.
[8] T. W. Yang, “Decision Tree Induction Based on Reinforcement Learning Modeling and its Application on State Space Partition,” Master thesis, National Chung Cheng University, Taiwan, 2005.
[9] R. C. Arkin, “Behavior-based robotics,” The MIT Press, Cambridge, Massachusetts, London, England, pp.130-141, 1998.
[10] R. S. Sutton and A. G. Barto, “Reinforcement Learning,” The MIT Press, Cambridge, Massachusetts, London, England, 1998.
[11]N. J. Nilsson, “Introduction to Machine Learning,” Robotics Laboratory Department of Computer Science Stanford University, pp.159-174, 1997.
[12] W. D. Smart, “Making Reinforcement Learning Work on Real Robots,” PhD thesis, Brown University, 2002.
[13]M. Bowling and M. Velso, “Rational and Convergent Learning in Stochastic Games,” In Proceedings of the Seventeenth International Joint Conference on Artificial Intelligence, Seattle, WA, pp.121-1026, 2001.
[14]J. P. Brusey, “Learning Behaviors for Robot Soccer,” RMIT University, Melbourne, Victoria, Australia, 2002.
[15]Richard S. Sutton and Andrew G. Barto, Reinforcement Learning An Introduction, 1998.
[16] Altera公司網站, http://www.altera.com
[17] TERASIC公司網站, http://www.terasic.com.tw
[18] uClinux官方網站, http://www.uclinux.org
[19] Nios Community官方網站, http://www.niosforum.com
[20] Cooperative Linux官方網站, http://www.colinux.org
[21] CMOS Active-Pixel Digital Image Sensor官方網站, http://www.micron.com
[22] Nios II Processor Reference Handbook.
[23] Quartus II Reference Handbook.
[24] 機械工業雜誌 2007年8月293期。
[25] 鄭信源 編著，Verilog硬體描述語言數位電路，儒林出版社，2002。
[26] 簡弘倫 編著，Verilog晶片設計，文魁出版社，2005。
[27] 蕭如萱 編著，SOPC系統設計，儒林出版社，2003。
[28] 潘松、黃繼業 編著，SOPC技術實用教程，清華大學出版社，2004。
[29] 彭澄廉 主編，以NIOS為基礎的SOPC設計與實作，全華出版社，2005。
[30] 蔣大偉 編譯，建構嵌入式LINUX系統，歐萊禮出版社，2004。
[31] 王進德 編著，嵌入式Linux程式設計，全華出版社，2007。
[32] 蘇木春、張孝德 編著，機器人學習：類神經網路與模糊系統以及基因演算法則，全華出版社，2006。
[33] 蕭世文 編著，HTML/JavaScript網頁程式設計，文魁出版社，2006。