臺灣博碩士論文加值系統

本論文主要是開發一個可用於複雜背景、不需貼標記(Markerless)的手部追蹤系統。研究中以粒子濾波器(Particle Filter)預測手部中心位置，再利用模板比對(Template Matching)的方式，來追蹤並辨識手勢，並使用CONDENSATION來追蹤手的輪廓。在粒子濾波器部分，以前一張影像，手中心區域的顏色直方圖(Color Histogram)，與後一張影像，所擴散各粒子區域的顏色直方圖，以其相似度轉換為權重值，再以每個粒子與其權重的期望值，預測出後一張影像的手部中心。在模板比對部分，一種手勢共建了36個模板(旋轉每10度建一個模板)，且以邊緣方向性(Edge Orientation)分成數個channels，並對每張影像進行邊緣方向性與距離轉換(Distance Transform)，利用模板來偵測影像，找出最佳的位置。而使用粒子濾波器，配合模板比對的方式；預測到手中心位置後，能使模板比對的範圍縮小，增加系統速度與準確度。在CONDENSATION的部分，我們以離邊緣愈近的部分，設定的權重愈大，這個部分，本研究在單一背景下追蹤蹤手的輪廓，完成初步的成果。

In this thesis, a system for tracking hands without markers in complex scenes has been developed. Study of particle filters and CONDENSATION, and for the tracking system in hand . Particle filter is used to predict the center position of the hand, the hand template matching is used to track a hand, and the CONDENSATION (CONditional DENSity PropagATION) is used to track the contour of hand. In the particle filter. Given the image in the previous time, the color histogram of an image patch in the center position of the hand can be obtained. After the spread of the particles in the current image, the color histograms between the two image patches in the previous and current images are used as the similarity measurement. Here, the similarity is converted to be the weights, and the expectation is used for predicting the hand center in the next image. In the hand template matching. In generating the hand templates, 36 hand templates are generated for a hand pose (with rotation of 10 degrees for a hand template). According to the edge orientation, each hand template is divided into several channels. Each image has been processed using the following procedures: edge orientation and distance transform (DT). The best hand location can be found by using the hand template matching. In this thesis, we proposed to combine the particle filters with the template matching for hand tracking. Using the particle filter, the possible regions for the hand template matching can be reduced. It means that it can speed up the system. In this thesis, some preliminary experimental results for tracking the contours of a hand in implementing CONDENSATION algorithm.

誌 謝 I
摘 要 II
Abstract III
目 錄 IV
表 錄 V
圖 錄 VI
一、 緒論 - 1 -
1.1研究動機與背景 - 1 -
1.2 論文架構 - 2 -
二、文獻探討 - 3 -
三、研究方法 - 7 -
3.1 CONDENSATION - 7 -
3.2 粒子濾波器(Particle Filter) - 10 -
3.3 CONDENSATION與粒子濾波器的差異 - 11 -
3.4使用膚色偵測 - 11 -
3.4顏色直方圖(Color Histogram) - 12 -
3.5 距離轉換(Distance Transform) - 13 -
3.6 邊緣方向性(Edge Orientation) - 17 -
3.7 模板比對(Template Matching) - 20 -
四、實驗結果 - 22 -
4.1追蹤手的位置 - 22 -
4.2 模板比對 - 26 -
4.2 追蹤手的輪廓 - 32 -
圖4-13 單一背景下的輪廓追蹤 - 35 -
五、結論與未來方向 - 36 -
未來工作： - 36 -
參考文獻 - 37 -

表 錄
表3-1原始圖經過Sobel水平與垂直filter後的結果 - 18 -
表3-2為邊緣方向性測試後的結果 - 19 -

圖 錄
圖 2-1左：DigitEyes系統，右上：手部與模型的比對圖，右下：3D的手部模型(Rehg(1995)) - 4 -
圖 2-2 手勢追蹤器（MacCormick and Isard (2000)) - 5 -

圖 3-1 在一個時間點CONDENSATION的過程(Isard-Blake(1998)) - 8 -
圖 3-2 CONDENSATION的演算法概要(Isard-Blake(1998)) - 9 -
圖 3-3膚色在Cb、Cr 色彩空間上分布圖 - 12 -
圖 3-4不同的樣式擁有相同的顏色直方圖 - 13 -
圖 3-5左圖為原圖，右圖為Euclidean distance - 14 -
圖 3-6左圖為原圖，右圖為City block distance - 15 -
圖 3-7左圖為原圖，右圖為Chessboard distance - 15 -
圖 3-8左圖：邊原化影像，右圖：DT影像，距離轉換的結果 - 16 -
圖 3-9 距離轉換的示意圖 - 16 -
圖 3-10單純只使用邊緣搜尋錯誤的例子 - 17 -
圖 3-11(左) canny edge (右)為Edge Orientation - 20 -

圖 4-1上：預設的粒子區域 右：預測的中心位置 - 23 -
圖 4-2上：粒子所屬區域 下：預測的中心位置 - 24 -
圖 4-3下行：Cb(Cr)水平值 左列：像素點個數 - 25 -
圖 4-4左(上)：未分羣的膚色區塊，右(上)：最大羣的膚色區塊，左(下)：未分羣膚色區塊邊緣化，右(上)：最大羣膚色區塊邊緣化 - 27 -
圖 4-5使用粒子濾波器追蹤手的位置 - 28 -
圖 4-6上：範圍中膚色區塊邊緣化 下：最大羣膚色區塊 - 29 -
圖 4-7上：範圍中膚色區塊邊緣化 下：最大羣膚色區塊邊緣化……..- 29 -
圖 4-8在複雜背景下模板比對結果 - 30 -
圖 4-9在複雜背景下模板比對結果 - 30 -
圖 4-10 漂移結果 - 32 -
圖 4-11新的樣本組 - 33 -
圖 4-12預測的輪廓分佈 - 33 -
圖 4-13單一背景下的輪廓追蹤 - 33 -

[1] Haritaoglu, D. Harwood and L. S. Davis, “W4: Who, When, Where, What: A Real Time System for Detecting and Tracking People,” Proceedings of 3th International Conference on Face and Gesture Recognition, Nara, Japan, pp. 222-227, 1998.

[2] Haritaoglu, R. Cutler, D. Harwood and L. S. Davis, “Backpack: Detection of People Carrying Objects Using Silhouettes,” Proceedings of 7th IEEE International Conference on Computer Vision, Greece, pp. 102-107, 1999

[3] B. Stenger, P. Mendonca, and R. Cipolla, “Model-Based 3D Tracking of an Articulated Hand”. In CVPR, Volume II, pp. 310-315,2001

[4] A. Blake and M. Isard, “The Condensation Algorithm—Conditional Density Propagation and Applications to Visual Tracking,” Advances in Neural Information Processing Systems, vol. 9, pp. 361-368, 1997.

[5] A. Blake, and M. Isard, “Active contours.” Springer,1998

[6] M. J. Swain and D. H. Ballard, “Color Indexing,” International Journal of Computer Vision, vol. 7, pp. 11-32, 1991.
[7] B. Stenger, A. Thayananthan, P. H. S. Torr, and R. Cipolla, “Model-Based Hand Tracking Using a Hierarchical Bayesian Filter,” IEEE T. PAMI, vol. 28, no. 9, pages 1372-1384, September, 2006.