臺灣博碩士論文加值系統

手勢可說是與機器最自然的互動方式之一。然而，傳統2D的手勢辨識方法對自我遮蔽以及視角轉變卻相當敏感。由於3D指尖及手掌的定位有助於辨識不同視角下的手勢，因此在本篇論文中，我們提出了一個利用兩階段隨機決策森林的新指尖偵測方法。在第一階段中，我們採用了區域深度差以及3D geodesic shortest path兩種特徵，訓練出可區別手指像素的分類器。在第二階段中，我們再加入了空間以及時間特徵，以便從手指像素群中區分出屬於指尖的像素。最後，我們利用K-means分群重新檢驗指尖代表點，並且限制指尖代表點的數量至5個。實驗結果顯示，我們所提出的指尖偵測方法能夠有效處理一些複雜的手勢。

Hand gesture is one of the most intuitive ways to interact with machine. However, traditional 2D hand gesture recognition is very sensitive to occlusions and changes in viewpoint. The 3D localization of fingertips and palm can be helpful for hand gesture recognition under different viewpoints. In this study, we propose a new fingertip detection algorithm using two-stage random decision forest (RDF). In the first stage, local depth difference pattern (LDDP) and 3D geodesic shortest path (GSP) are adopted for training a finger pixel classifier. Two spatial and temporal features are then added into RDF to further distinguish fingertip pixels from finger pixels in the second stage. Finally, we utilize K-means clustering to re-identify fingertip candidates and limit the number of candidates to five. Our experimental result demonstrates that the proposed fingertip detection method is effective in complex gesture.

摘要 I
Abstract II
誌謝 III
目錄 IV
圖目錄 VI
表目錄 VIII
第一章 緒論 1
1.1 研究動機 1
1.2 論文架構 2
第二章 相關文獻 3
第三章 研究方法 15
3.1 影像前處理 16
3.1.1膚色偵測 16
3.1.2基於深度之手部區域分割 18
3.1.3針對深度影像的破洞處裡 19
3.1.4掌心與掌根的定位 20
3.2 手部區域分類 22
3.2.1隨機決策森林 23
3.2.2特徵擷取 24
3.3 手指區域分類 26
3.4 指尖定位 28
3.4.1指尖區域代表點 28
3.4.2 K-means分群 28
3.4.3結合信心度來定位指尖 30
3.5指尖過濾 30
第四章 實驗結果與分析 32
4.1實驗環境與測試資料 32
4.2 指尖偵測結果 .33
4.2.1手掌張開下的指尖偵測錯誤例子 37
4.2.2手掌非張開下的指尖偵測錯誤例子 38
4.3 每種手勢下不同人的偵測結果 42
4.4 實驗結論 42
第五章 結論與未來研究方向 44
參考文獻 45

圖目錄
圖 1-1資料手套 (Data Glove)[4] 1
圖 1-2 Kinec 攝影機 [4] 2
圖 2-1 Kang 等人的偵測結果 [5] 5
圖 2-2 Dardas 與 Georganas的論文結果 [6 ] 6
圖 2-3 Keskin等人所使用的手部模型及標記方式[8] 7
圖 2-4 (a)深度影像 ;(b)RDF 分類結果 ;(c)關節點偵測結果;(d) 骨架結果[8] 7
圖 2-5 (a)歐幾里德距離 ; (b) 兩點的 geodesic distance; (c)以歐幾里得距離所產生的 LTM; (d) 以3D GD距離所產生的LTM[9] 8
圖 2-6 (a)傳統的疊代樹 ; (b)Latent Regression Tree[10] 9
圖 2-7 Tang等人的論文結果[10] 9
圖 2-8 (a)原圖 Ho；(b)手掌部分 Hp；(c)H o - Hd結果 [11] 10
圖 2-9 RahejaR等人的結果 [11] 10
圖 2-10 (a) Geodesic Shortest Path; (b) Rectangle Feature[13] 12
圖 2-11 Liang等人的論文結果 [13] 12
圖 2-12 Oikonomidis等人所使用的手部模型[15] 13
圖 2-13 Iason Oikonomidis等人的論文結果[15] 13
圖 3-1 系統流程圖 16
圖 3-2 HSV 色彩空間 17
圖 3-3 膚色偵測結果 Ch 18
圖 3-4 左邊影像為 Kinect的深度影像，右邊為手部區域分割結果 Dh 19
圖 3-5 Kinect獲得的深度影像 19
圖 3-6 利用膚色區域填補破洞結果圖 20
圖 3-7 手臂的輪廓點集合 Darm 21
圖 3-8 掌心與掌根偵測結果 22
圖 3-9 手腕產生洞的情形 22
圖 3-10 手部區域的 label影像 23
圖 3-11 11 隨機森林示意圖 23
圖 3-12 取樣示意圖 25
圖 3-13 第一次隨機決策森林的分類結果 26
圖 3-14 凸包特徵 27
圖 3-15 第二次隨機決策森林的分類結果 27
圖 3-16 指尖區域合併結果 . 28
圖 3-17 (a)手腕被分類成指的情形 ; (b) 手腕刪除結果 29
圖 3-18 (a)保留手根分群結果；(b) 刪除手根的分群結果 29
圖 3-19 (a) 分群結果 ; (b)信心度 ; (c)指尖點偵測結果 30
圖 3-20 (a) 手指內彎的結果; (b) 手指張開的結果 31
圖 4-1 六種手勢圖 32
圖 4-2 各個手勢的指尖偵測結果 34
圖 4-3 拇指遠離攝影機的情形 36
圖 4-4 (a)隨機決策森林分類結果; (b) K-means分群結果 ; (c) 指尖偵測結果 38
圖 4-5 (a))掌根點落在破洞下的指尖分類結果; (b) 指尖偵測結果 38
圖 4-6 (a) 錯誤的隨機決策森林分類結果; (b) 刪錯點的例子 39
圖 4-7 (a)錯誤的隨機森林指尖分類結果; (b) 錯誤的偵測結果 ; (c) K-means分群結果; (d) 信心度圖 40
圖 4-8 指尖位於破洞區域的偵測結果 41
圖 4-9 (a)失敗的 K-means分群結果 ; (b) 錯誤的偵測結果 41


表目錄
表 2-1 相關文獻方法比較 14
表 4-1 各種手勢的實驗結果 35
表 4-2 把手指破洞的影像去除後各種勢實驗結果 37
表 4-3 每種手勢下不同人的實驗結果 42

[1] M. V. Lamar, M. S. Bhuiyan, and A. Iwata. “Hand Gesture Recognition Analysis using Morphological Principal Component and An Improved CombNET-II,” In Proc. IEEE Int. Conf. on Systems, Man, and Cybernetics, vol. 4, pp. 57-62, 1999.
[2] R. Liang and M. Ouhyoung. “A Real-time Continuous Gesture Recognition System for Sign Language,” In Proc. 3rd IEEE Int. Conf. on Automatic Face and Gesture Recognition, pp. 558-567, 1998.
[3] G. R. S. Murthy, and R. S. Jadon. “A review of vision based hand gestures recognition,” International Journal of Information Technology and Knowledge Management, vol. 2, pp. 405-410, 2009.
[4] A.R. Sarkar, G. Sanyal, and S. Majumder. “Hand Gesture Recognition Systems: A Survey,” International Journal of Computer Applications, vol. 71, no.15, pp. 25-37, June 2013.
[5] S. K. Kang, M. Y. Nam, and P. K. Rhee. “Color based hand and finger detection technology for user interaction,” In International Conference on Convergence and Hybrid Information Technology, pp. 229-236, Aug 2008.
[6] N. H. Dardas and N. D. Georganas. “Real-time hand gesture detection and recognition using bag-of-features and support vector machine techniques,” IEEE Transactions on Instrumentation and Measurement, vol. 60, no. 11, pp. 3592–3607, 2011.
[7] P. Viola and M. Jones. “Rapid object detection using a boosted cascade of simple features,” in Proc. IEEE Conference on Computer Vision and Pattern Recognition, vol. 1, pp. 511-518, 2001.
[8] C. Keskin, F. Kirac, Y. E. Kara, and L. Akarun. “Real time hand pose estimation using depth sensors,” in Computer Vision Workshops (ICCV Workshops), pp. 1228-1234, 2011.
[9] M. J. Choi, V. Tan, A. Anandkumar, and A. Willsky. “Learning latent tree graphical models,” Journal of Machine Learning Research, vol. 12, pp. 1771–1812, 2011.
[10] D. Tang, H. J. Chang, A. Tejani, and T. K. Kim. “Latent regression forest: Structured estimation of 3d articulated hand posture,” In Proc. Computer Vision and Pattern Recognition (CVPR), pp. 3786-3793, 2014.
[11] J. L. Raheja, A. Chaudhary, and K. Singal. “Tracking of fingertips and centres of palm using kinect,” in Proc. of the 3rd Int’l Conf. on Computational Intelligence, Modelling and Simulation, pp. 248-252, 2011.
[12] P. Felzenszwalb, D. Hurrenlocher. “Distance transforms of sampled functions,” Technical Report, Cornell University, 2004.
[13] H. Liang, J. Yuan, and D. Thalmann. “3D fingertip and palm tracking in depth image sequences,” Proceedings of the 20th ACM international conference on Multimedia, pp. 785–788, 2012.
[14] M. K. Pitt and N. Shephard. “Filtering via Simulation: Auxiliary Particle Filter,” Journal of the American Statistical Association, vol. 94, no. 446, pp. 590-599, June 1999.
[15] I. Oikonomidis, N. Kyriazis and A . A. Argyros. “Efficient model-based 3D tracking of hand articulations using Kinect,” In British Machine Vision Conference, 2011.
[16] J. Kennedy and R. C. Eberhart. “Particle Swarm Optimization,” International Conference on Neural Networks, vol. 4, pp. 1942–1948, January 1995.
[17] L. Breiman, “Random forests,” Machine learning, vol. 45, no. 1, pp. 5-32, 2001.
[18] L. Breiman, J. Friedman, C. J. Stone, and R. A. Olshen , “Classification and regression tree,” CRC press, 1984.
[19] E.W. Dijkstra, “A note on two problems in connexion with graphs,” Numer-ische mathematik, vol. 1, no. 1, pp. 269-271, 1959.