臺灣博碩士論文加值系統

本論文主要開發出一具有目標影像特徵擷取及即時追蹤的系統，整個系統建置在一套外接有CMOS元件與LTM ( LCD Touch Panel Module )元件的DE2-70開發板上。Altera公司的FPGA晶片特色為，晶片內可建置NIOS II系統，此系統內包含NIOS II處理器，可使用C語言來撰寫應用程式，即可在同一FPGA晶片下同時以軟硬體協同設計方式來設計產品。系統架構分開為兩平行處理架構，一為使用Verilog HDL所建立的影像顯示架構，二為使用SOPC Builder來設計一個可使用軟體開發為基礎的計算機架構。而目標特徵擷取及即時追蹤方面的演算法開發，主要是以軟體來撰寫，由於軟體所撰寫出來的模組其執行速度比硬體慢，因此使用粒子群聚最佳化(Particle Swarm Optimization, PSO) 演算法來優化運算量，進而提升軟體的執行速度，而最佳化演算法的缺點是所得到的並非是最佳解，但在本論文的應用上，使用粒子群聚最佳化演算法來追蹤目標物，可發現其優點大於其缺點。軟體部分除了使用最佳化演算法來加快軟體的執行速度外，也適當的將部分公式使用硬體來設計並在軟體執行流程中，可中途傳送資料給硬體加速模組處理，處理後的資料再回傳給軟體部分來繼續處理。處理過後的影像顯示在透過VGA所外接的顯示器上，另一方面也將兩架構的處理結果結合後，同時顯示在LTM上，以表示所追蹤到的目標位置。

We design a system about target feature capture for real time tracking. The system is built on DE2-70 development board. It connects a CMOS component and a LTM (LCD Touch Panel Module) component. The system contains a NIOS II processor which is included in the Altera’s FPGA chip. We use C language to develop the application program. Therefore, we can use hardware and software co-design on the same chip. Our system is partitioned into two parallel processing architectures. One is through Verilog HDL to build the video display architecture, and the other is through SOPC Builder to generate the computer architecture for software development. We use software to develop the algorithm for target feature capture and real time tracking. Since the software is slow, we use PSO (Particle Swarm Optimization) algorithm to speedup the computation. The drawback of PSO optimization algorithm is that the value obtained is not the actual optimal solution. However, we only need the suboptimal solutions in our application. We also use appropriate hardware to further speedup the computation. There are data communications between the software part and the hardware-accelerated module. The final processed results are displayed on the VGA and the LTM.

圖目錄2
表目錄4
第1章 緒論5
1.1. 研究動機與文獻回顧5
1.2. 系統功能6
1.3. 研究方法與步驟7
1.4. 論文架構8
第2章 環境背景9
2.1. 多媒體開發板及週邊元件介紹9
2.2. 開發環境介紹11
2.2.1. Quartus II 12
2.2.2. SOPC Builder15
2.2.3. NIOS II IDE17
第3章 硬體架構20
3.1. 硬體架構設計20
3.2. NIOS II系統22
3.3. CMOS 23
3.4. LTM 25
3.5. SDRAM 27
3.6. VGA 28
第4章 影像追蹤31
4.1. 目標物件特徵擷取31
4.2. 粒子群聚最佳化演算法32
4.3. 影像追蹤34
第5章 硬體加速及實作結果37
第6章 結論與未來工作41
參考文獻42
圖1.1. 系統功能圖6
圖2.1. DE2-70 (圖片來源：DE2-70 User Manual)9
圖2.2. DE2 70, D5M, LTM (圖片來源：http://www.terasic.com.tw/cgi-bin 10
圖2.3. 開發板、週邊設備及外接元件示意圖10
圖2.4. NIOS II系統開發流程(圖片來源：NIOS II Development Tutorial)11
圖2.5. FPGA內部模組歸類示意圖12
圖2.6. Quartus II編輯流程(圖片來源：Quartus II Handbook)13
圖2.7. 本論文所整合之專案電路圖14
圖2.8. Verilog HDL編輯14
圖2.9. 環境精靈所建立之模組15
圖2.10. SOPC Builder視窗介面16
圖2.11. SOPC系統編輯17
圖2.12. 軟體開發流程17
圖2.13. NIOS II IDE正在編輯C程式的畫面18
圖2.14. 調整程式區塊所放置的記憶體選項19
圖3.1. 硬體架構示意圖20
圖3.2. 硬體架構圖21
圖3.3. 電路圖及各模組位置21
圖3.4. NIOS II系統22
圖3.5. 編輯NIOS II系統圖形介面圖23
圖3.6. 像素點陣列內容(圖片來源：TRDB D5M User Guide)23
圖3.7. 像素點座標示意圖 (照片來源：TRDB D5M User Guide)24
圖3.8. I2C Configuration電路圖24
圖3.9. 像素資料擷取電路圖25
圖3.10. 貝爾樣式顏色資料轉換成RGB資料電路圖25
圖3.11. LTM驅動電路圖26
圖3.12. 將目標物座標資訊傳輸給LTM驅動電路之C程式碼27
圖3.13. SDRAM驅動電路圖27
圖3.14. SDRAM模組相關位置圖28
圖3.15. 讀取SDRAM資料之程式碼28
圖3.16. VGA控制電路圖29
圖3.17. VGA影像資料傳輸C程式碼30
圖4.1. 目標擷取模式照片31
圖4.2. 目標物顏色方塊於RGB色彩空間之表示32
圖4.3. 粒子群追蹤效果示意圖34
圖4.4. 每個畫面的疊代次數提高示意圖34
圖4.5. 影像追蹤演算法流程圖36
圖4.6. 目標物加上目標框之照片36
圖5.1. 晚上實做照片39
圖5.2. 白天實做照片39
圖5.3. CMOS拍攝在日夜之間的差別40
表3.1. LTM規格表(圖片來源：TRDB-LTM )26
表3.2. VGA時間規格表29
表5.1. 無硬體加速之演算法總執行時間表38
表5.2. 使用硬體加速之演算法總執行時間表38

一、中文部份
[1]王健宇, “可變形樣板於即時人臉追蹤系統之應用”, 國立中山大學機械與機電工程學系碩士論文, 2006.
[2]陳思源, “擷取及辨識在快車道上的摩托車”, 國立交通大學資訊工程系碩士論文, 2002.
[3]劉正一, “以電腦視覺為基礎之汽車行駛障礙物偵測及辨識”, 國立台灣大學資訊工程學系碩士論文, 1999.
[4]蔡忠松, “應用於家庭保全系統之低解析度紅外線影像辨識”, 國立中正大學電機工程系碩士論文, 1999.
[5]鍾書銘, “以SOPC實現強健性彩色影像物體追蹤及移動預測系統”, 國立成功大學電機工程學系碩士論文, 2006.
二、英文部份
[1]A. K. Benkhalil, S. S. Sipson, and W. Booth, “Real-time detection and tracking of a moving object using a CPLD logic device,” IEE Colloquium on Target Tracking and Data Fusion, Austin Court, No 9, pp. 10/1-10/7, 1998.
[2]A. Ryszko and K. Wiatr, “Motion estimation operation implemented in FPGA chips for real-time image compression,” The 2nd International Symposium on Image and Signal Processing and Analysis, pp. 399-404, 2001.
[3]DE2-70 CD-ROM, http://www.terasic.com.tw/cgi-bin/page/archive.pl?Language=English&CategoryNo=39&No=226, 2006.
[4]DE2-70 User manual, http://www.terasic.com.tw/cgi-bin/page/archive.pl?Language=English&CategoryNo=39&No=226, 2006.
[5]J. Catsoulis 著, 蔣大偉 譯, 設計嵌入式硬體第二版, 台北市, 美商歐萊禮,民國九十七年.
[6]M. Barr and A. Massa 著, 林長毅, 蔣大偉 譯, 嵌入式系統－使用C和GNU開發工具第二版, 台北市, 美商歐萊禮, 民國九十六年.
[7]R. Cucchiara, C. Grana, A. Prati, and R. Vezzani, “Computer Vision Techniques for PDA Accessibility of In-House Video Surveillance,” International Workshop on Video Surveillance, pp. 87-97, 2003.
[8]R. G. Campos, J. Batlle, and R. Bischoff, “Architecture of an Object-based Tracking System Using Color Segmentation,” The 3rd International Workshop on Image and Signal Processing, pp. 299-302, 1996.
[9]S. B. Park, “A Motion Detection System Based On A CMOS Photo Sensor Array,” IEEE International Conference on Image Processing, Vol. 3, pp. 967 -971, 1998.
[10]T. Hamamoto, S. Nagao, and K. Aizawa, “Real-time objects tracking by using smart image sensor and FPGA,” International Conference on Image Processing, Vol. 3, pp. 441-444, 2002 .
[11]T. Kobayashi, K. Nakagawa, J. Imae, and Z. Guisheng, “Real time object tracking on video image sequence using particle swarm optimization,” International Conference on Control, Automation and Systems, pp. 1773-1778, 2007.
[12]W. Wolf 著, 鄭泰源, 鐘隆宇 譯, FPGA系統設計, 台北市, 台灣培生教育, 民國九十五年.
[13]Y. Jiang, T. Hu, C. C. Huang, and X. Wu, “An improved particle swarm optimization algorithm,” Applied Mathematics and Computation, Vol. 193, No. 1, p.p. 231-239, 2007.
[14]Y. Liu, Z. Qin, Z. Shi, and J. Lu, “Center particle swarm optimization,” Neurocomputing, Vol. 70, No. 4-6, 672-679, 2007.
[15]Y. Zheng and Y. Meng, “Swarm intelligence based dynamic object tracking,” IEEE Congress on Evolutionary Computation, pp. 405-412, 2008.