臺灣博碩士論文加值系統

低階攝影機有標準化軟硬體介面與價格低的優點，在機器人系統上有普及應用的潛力。缺點是低階攝影機的影像擷取頻率通常低於30Hz，所擷取的影像會有模糊現象。另外，由於即時運算能力的限制，機器人應用視覺感測器通常只能處理低解析度的影像，影像模糊現象很難藉由提高解析度與影像處理方法加以改善。本論文針對所擷取的低解析度與模糊的場景影像，發展有效的影像特徵偵測、描述、與比對方法，建立一致性高的稀疏視覺式特徵地圖，以便應用於機器人同時定位與建圖。在影像特徵描述與比對方面，將規劃強健的特徵描述方法，應用在低解析度的模糊影像，以提高特徵成功比對率。另外，也探討灰階影像區塊特徵描述方法，應用在視覺式特徵地圖的可能性。針對影像特徵偵測與描述方法的效能比較，本研究也規劃特徵可重複性的測試與機器人定位的地面基準測試等實驗。其中特徵可重複性會直接影響視覺式地圖的特徵數量，進而影響狀態估測器的效能。實驗結果顯示本論文所規劃的強健特徵描述方法，在低階攝影機所引起的模糊影像中，能有效提高特徵可重複性與降低地圖的特徵數量。

Low-end camera has the advantages of standardized hardware and software interfaces with low prices as well as has the potential for a wide application in robotic system. However, the shortcoming is that the image acquisition rate of low-end camera is usually lower than 30Hz. Low image acquisition rate will cause the captured image to be blurred. Due to the limitations of real-time computation, the application of robot vision sensors usually only deals with low-resolution images. Therefore, the methods of enhancing the resolution and advanced image processing will not be considered in robot vision application to resolve the problem of image blurring. In this thesis, an effective image feature detection, description, and matching method will be developed for the low resolution and blurred scene image in order to establish high-persistency visual sparse map in robot simultaneous localization and mapping applications. In feature description and matching procedure, a robust feature description method is planned in this thesis and applied to deal with blurred image and improve the matching rate. Furthermore, the image description method using grayscale image patch will be investigated. The experiments of features repeatability and ground truth are carried out to validate the performance of image feature detection and description. The features repeatability will directly affect the number of feature of the visual map, and further influence the performance of state estimator. The experimental results show that the proposed feature description method can effectively improve the features repeatability in blurred images captured by low-end camera and further reduce the number of map features.

目錄
中文摘要 Ⅰ
英文摘要 Ⅱ
目錄 Ⅲ
圖目錄 Ⅴ
表目錄 Ⅹ
第一章 序論 1
1.1 研究動機與研究目的 1
1.2 文獻探討 2
1.3 研究範圍 3
第二章 點特徵偵測描述與追蹤比對 4
2.1 影像特徵偵測 4
2.1.1 Harris角落偵測 4
2.1.2 尺度不變特徵偵測 5
2.1.3 特徵偵測範例 6
2.2 影像特徵描述與比對 7
2.2.1 灰階影像區塊描述與比對 7
2.2.2 SURF特徵描述與比對 8
第三章 視覺式地圖特徵 10
3.1 特徵主方向引起的問題 10
3.1.1 靜止攝影機偵測主方向跳動的特徵點 13
3.1.2 移動攝影機偵測主方向跳動的特徵點 14
3.2 強健主方向求算方法 14
3.3 強健特徵描述向量求算方法 18
3.4 固定特徵主方向 19
3.5 範例：模糊影像的特徵主方向之求算 19
3.6 範例：特徵主方向的旋轉不變特性比較 21
第四章 機器人視覺式同時定位與地圖 24
4.1 雙眼視覺式EKF SLAM 24
4.2 SURF類別 26
4.3 地圖管理策略 27
4.4 地圖特徵可重複性評估 28
4.5 機器人定位的地面基準評估 29
第五章 測試結果與分析 30
5.1 範例一：可重複性與橫向路徑地面基準測試 33
5.2 範例二：方形路徑地面基準測試 39
5.3 範例三：圓形路徑地面基準之ㄧ 43
5.4 範例四：圓形路徑地面基準之二 48
5.5 範例五：SURF的尺度不變特性應用於SLAM中 52
5.6 範例六：SLAM中角度不變 59
第六章 結論 68
6.1 完成的研究項目 68
6.2 未來研究方向 68
參考文獻 69
圖目錄

圖1.1(a)攝影機慢速移動時所擷取影像 2
圖1.1(b)攝影機正常移動時所擷取影像 2
圖1.1 實驗室場景所擷取的影像 2
圖2.1 所偵測的Harris角落特徵 7
圖2.2 設定不同行列式門檻值範圍時SURF所偵測的影像特徵 7
圖3.1 在實驗室場景中偵測4個特徵 11
圖3.2 特徵編號2 (左)與3 (右)的Haar小波反應值分佈 12
圖3.3 特徵編號2的Haar小波反應值與歐基里德距離 12
圖3.4 特徵編號3的Haar小波反應值與歐基里德距離 12
圖3.5 靜止攝影機所擷取特徵的主方向跳動現象 13
圖3.6 相對時刻特徵的Haar小波反應強度分佈圖 13
圖3.7 動態攝影機所擷取特徵的主方向跳動現象0th(左)與216th(右) 14
圖3.8 動態攝影機Haar小波反應強度分佈圖 14
圖3.9 特徵主方向的定義 16
圖3.10 特徵主方向跳動現象 17
圖3.11 動態攝影機抓取的特徵主方向跳動現象 17
圖3.12 相對應的歐基里德距離比對圖 18
圖3.13(a) 特徵點樣板 19
圖3.13(b)偵測到特徵點 19
圖3.13(c) 特徵點偏移時的比對情形 19
圖3.13(d) 尺度不變特性 19
圖3.13 影像區塊描述方法 19
圖3.14(a)清晰影像 20
圖3.14(b)模糊影像 20
圖3.14 模糊狀況下特徵點主方向跳動情形 20
圖3.15(a)清晰影像狀態 20
圖3.15(b)模糊影像狀態 20
圖3.15 模糊狀況下第27個特徵點Haar小波反應強度分佈圖 20
圖3.16 第27個特徵點Haar小波反應值與歐基里德距離關係圖 21
圖3.17 模糊影像上使用SURF WM方法主方向跳動情況 21
圖3.18 特徵主方向的旋轉不變特性測試場景圖 22
圖3.19 特徵點的Haar小波反應圖 22
圖3.20 原始SURF與SURF WM兩種方法求算主方向的比較結果 23
圖4.1 EKF SLAM的程式流程 25
圖4.2 規劃的C++類別 25
圖4.3 SURF特徵偵測的流程 26
圖4.4 SURF描述向量的計算流程 27
圖5.1 雙眼立體視覺系統 30
圖5.2(a) SLAM系統狀態 33
圖5.2(b)上視圖 33
圖5.2 SLAM系統解說圖 33
圖5.3 實驗場景圖 34
圖5.4(a) SURF WM偵測方法系統狀態圖 35
圖5.4(b) SURF WM偵測方法上視圖 35
圖5.4(c)原始SURF偵測方法系統狀態圖 35
圖5.4(d)原始SURF偵測方法上視圖 35
圖5.4 16維描述向量時SLAM任務系統狀態與上視圖 35
圖5.5 16維描述向量兩方法比對率比較結果 36
圖5.6(a) SURF WM偵測方法系統狀態圖 37
圖5.6(b) SURF WM偵測方法上視圖 37
圖5.6(c) 原始SURF偵測方法系統狀態圖 37
圖5.6(d) 原始SURF偵測方法 37
圖5.6 64維描述向量時SLAM任務任務系統狀態與上視圖 37
圖5.7 64維描述向量兩方法比對率比較結果 38
圖5.8 實驗場景圖 39
圖5.9 16維SURFWM 的SLAM任務任務系統狀態(左)與上視圖(右) 40
圖5.10 16維SURF的SLAM任務任務系統狀態(左)與上視圖(右) 41
圖5.11 64維SURFWM 的SLAM任務任務系統狀態(左)與上視圖(右) 41
圖5.12 64維SURF的SLAM任務任務系統狀態(左)與上視圖(右) 42
圖5.13 攝影機移動路線示意圖 43
圖5.14 SURFWM、16維描述向量的系統狀態(左)與上視圖(右) 44
圖5.15 SURF、16維描述向量的系統狀態(左)與上視圖(右) 45
圖5.16 SURFWM、64維描述向量的系統狀態(左)與上視圖(右) 46
圖5.17 SURF、64維描述向量的系統狀態(左)與上視圖(右) 47
圖5.18 SURFWM、16維描述向量的系統狀態(左)與上視圖(右) 49
圖5.19 SURF、16維描述向量的系統狀態(左)與上視圖(右) 50
圖5.20 SURFWM、64維描述向量的系統狀態(左)與上視圖(右) 50
圖5.21 SURF、64維描述向量的系統狀態(左)與上視圖(右) 51
圖5.22(a) 97 th影像：新增44個特徵點 53
圖5.22(b) 200 th影像：攝影機往左移動 54
圖5.22(c) 300 th影像：攝影機返回 54
圖5.22(d) 382 th影像：攝影機往右移動 54
圖5.22(e) 463 th影像：攝影機返回原點 55
圖5.22(f) 523 th影像：攝影機距離牆壁220公分 55
圖5.22(g) 553 th影像：攝影機距離牆壁190公分 55
圖5.22(h) 590 th影像：攝影機距離牆壁160公分 56
圖5.22(i) 624 th影像：攝影機距離牆壁130公分 56
圖5.22(j) 653 th影像：特徵點比對比例最少的時候的情景 56
圖5.22(k) 672 th影像：攝影機距離牆壁100公分 57
圖5.22(l) 713 th影像：攝影機距離牆壁130公分 57
圖5.22(m) 753 th影像：攝影機距離牆壁160公分 57
圖5.22(n) 790 th影像：攝影機距離牆壁190公分 58
圖5.22(o) 824 th影像：攝影機距離牆壁220公分 58
圖5.22(p) 864 th影像：攝影機距離牆壁250公分 58
圖5.22 SURF的尺度不變特性應用於SLAM中 58
圖5.23 各距離的特徵比對比率 59
圖5.24(a) 50th影像：建立20個地標 60
圖5.24(b) 250th影像：攝影機移動旋轉至＋15° 60
圖5.24(c) 410th影像：攝影機移動旋轉至＋30° 60
圖5.24(d) 610th影像：攝影機移動旋轉至＋45° 61
圖5.24(e) 780th影像：攝影機移動旋轉至＋60° 61
圖5.24(f) 970th影像：攝影機移動旋轉至＋75° 61
圖5.24(g) 1200th影像：攝影機移動旋轉至＋60° 62
圖5.24(h) 1400th影像：攝影機移動旋轉至＋45° 62
圖5.24(i) 1590th影像：攝影機移動旋轉至＋30° 62
圖5.24(j) 1720th影像：攝影機移動旋轉至＋15° 63
圖5.24(k) 1890th影像：第一次回到初始位置 63
圖5.24(l) 2050th影像：攝影機移動旋轉至－15° 63
圖5.24(m) 2250th影像：攝影機移動旋轉至－30° 64
圖5.24(n) 2430th影像：攝影機移動旋轉至－45° 64
圖5.24(o) 2640th影像：攝影機移動旋轉至－60° 64
圖5.24(p) 2800th影像：攝影機移動旋轉至－75° 65
圖5.24(q) 3000th影像：攝影機移動旋轉至－60° 65
圖5.24(r) 3240th影像：攝影機移動旋轉至－45° 65
圖5.24(s) 3450th影像：攝影機移動旋轉至－30° 66
圖5.24(t) 3590th影像：攝影機移動旋轉至－15° 66
圖5.24(u) 3700th影像：第二次回到初始位置 66
圖5.24 SURF的角度不變特性應用於SLAM中 66
圖5.25 各角度的地標比對率 67



表目錄

表5.1 前視型單眼攝影機規格表 30
表5.2 筆記型電腦規格表 31
表5.3 左攝影機內部參數 31
表5.4 右攝影機內部參數 31
表5.5 左影像修正模型參數 31
表5.6 右影像修正模型參數 32
表5.7 16維描述向量與SURF WM偵測方法的地面基準實測數據 35
表5.8 16維描述向量與原始SURF偵測方法的地面基準實測數據 35
表5.9 16維描述向量總比對率比較 36
表5.10 64維描述向量與SURF WM偵測方法的地面基準實測數據 37
表5.11 64維描述向量與原始SURF偵測方法的地面基準實測數據 37
表5.12 64維描述向量兩方法總比對率比較 38
表5.13 16維SURFWM地面基準實測數據 40
表5.14 16維SURF地面基準實測數據 41
表5.15 64維SURFWM地面基準實測數據 42
表5.16 64維SURF地面基準實測數據 42
表5.17 SURFWM、16維描述向量的地面基準實測數據 44
表5.18 SURF、16維描述向量的地面基準實測數據 45
表5.19 SURFWM、64維描述向量的地面基準實測數據 46
表5.20 SURF、64維描述向量的地面基準實測數據 47
表5.21 16維SURFWM地面基準實測數據 49

參考文獻
[1]馮盈捷，2011，使用尺度與方向不變特徵建立機器人視覺式SLAM之稀疏與續存性地圖，淡江大學機械與機電工程學系碩士論文。
[2]A. Gil, O.M. Mozos, M. Ballesta and O. Reinoso, A comparative evaluation of interest point detectors and local descriptors for visual SLAM, Machine Vision and Applications, vol.21, pp.905-920, 2010.
[3]C. Harris and M. Stephens, 1988, A combined corner and edge detector, In Proceedings of the 4th Alvey Vision Conference, pp.147-151.
[4]Mikolajczyk, K., Schmid, C., 2001, Indexing based on scale invariant interest points, International Conference on Computer Vision.
[5]Smith, S., 1992, A new class of corner finder. In: British Machine Vision Conference.
[6]Lowe, D., 2004, Distinctive image features from scale-invariant keypoints, International Journal of Computer Vision, Vol.60, No.2, pp.91-110.
[7]Bay, H., Tuytelaars, T., Gool, L.V., 2006, SURF: Speeded up robust features, European Conference on Computer Vision.
[8]Matas, J., Chum, O., Urban, M., Pajdla, T., 2002, Robust wide baseline stereo from maximally stable extremal regions, Proceedings of the 13th British Machine Vision Conference, pp.384-393.
[9]Kadir, T., Brady, M., Zisserman, A., 2004, An affine invariant method for selecting salient regions in images. In: Proceedings of the 8th European Conference on Computer Vision, pp.345-457.
[10]Mikolajczyk, K., Schmid, C., 2005, A performance evaluation of local descriptors. IEEE Trans. Pattern Anal.Mach. Intell. 27(10), pp.1615-1630.
[11]Kosecka, J., Zhou, L.,Barber, P.,Duric, Z., 2003, Qualitative image based localization in indoor environments, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.
[12]Zernike, F., 1934, Diffraction theory of the cut procedure and its improved form, the phase contrast method, Physica, vol.1, pp.689-704.
[13]Davison, A.J., Murray, D.W., 2002, Simultaneous localisation and mapbuilding using active vision. IEEE Trans. Pattern Anal. Mach. Intell. Vol.24, pp.865-880.
[14]Jensfelt, P., Kragic, D., Folkesson, J., Bjorkman, M., 2006, A framework for vision based bearing only 3D SLAM, Proceedings of IEEE International Conference on Robotics and Automation.
[15]Sim, R., Elinas, P., Griffin, M., Little, J., 2005, Vision-based slam using the rao-blackwellised particle filter, IJCAI Workshop on Reasoning with Uncertainty in Robotics.
[16]A.C. Murillo, J.J. Guerrero and C. Sagues, 2007, SURF features for efficient robot localization with omnidirectional images, in Proceedings IEEE International Conference on Robotics and Automation, pp.3901-3907.
[17]F.-S. Huang and K.-T. Song, 2008, Vision SLAM Using Omni-Directional Visual Scan Matching, IEEE/RSJ International Conference on Intelligent Robots and Systems, Nice, France, September 22-26, pp.1588-1593.
[18]洪敦彥，基於擴張型卡爾曼過濾器的機器人視覺式同時定位、建圖、與移動物體追蹤，淡江大學機械與機電工程學系碩士論文，2010。
[19]Shi, J. and C. Tomasi, 1994, Good features to track, In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp.593-600.
[20]H. Bay, A. Ess, T. Tuytelaars and L. Van Gool, “SURF: Speeded-Up Robust Features”, Computer Vision and Image Understanding, vol.110, pp.346-359, 2008.
[21]OpenCV, Intel, http://opencv.willowgarage.com/wiki/, 2012
[22]Bouguet, J.Y., 1997, Pyramidal Implementation of the Lucas Kanade Feature Tracker, Website: http://robots.stanford.edu/cs223b04/algo_tracking.pdf.
[23]J.Y. Bouguet, Camera Calibration Toolbox for Matlab, http://www.vision.caltech.edu/ bouguetj/calib_doc/, 2011.
[24]邱明璋，基於極線限制條件之單眼視覺式移動物體偵測與追蹤，淡江大學機械與機電工程學系碩士論文，2011。
[25]陳國瑋，使用線上物件模型進行機器人並行追蹤與建圖，淡江大學機械與機電工程學系碩士論文，2012。