臺灣博碩士論文加值系統

隨著 3D 攝影機技術的進步，在一般大眾生活當中已逐漸融入 3D 體感元素，人與機器間的非接觸式互動 (Human Computer Interaction) 變成熱門的研究重點。

本論文的研究在使用一台深度攝影機 Microsoft Kinect 進行影像拍攝，利用使用者的深度影像資料與彩色影像資料建立出使用者初始校正姿態的骨架模型並進行後續姿態追蹤。多數的人體骨架定位系統，使用者須要擺出一個特定校正姿態以套合事先建立好的模型，而本論文則提出一個非固定姿態的骨架關節點定位方法，讓使用者能更輕鬆的進行骨架套合，在骨架追蹤方面，本論文使用動態規劃法來進行最佳化的演算，藉由多階段的拓樸計算架構，考慮各關節候選點的輪廓邊緣特性及關節候選點間(即肢幹)的各項特徵，形成節點 (node) 與連線 (edge) 的成本函數，可成功地追蹤人體在合理姿態下的運動。

對於一般使用者來說，我們所提出的骨架校正定位方法相較於固定姿態校正能夠更快達到初始骨架校正的目的，在骨架追蹤方面也都能追蹤到使用者的基本動作，本系統的骨架追蹤處理速度約為 24 ~ 26 frame/sec。

隨著 3D 攝影機技術的進步，在一般大眾生活當中已逐漸融入 3D 體感元素，人與機器間的非接觸式互動 (Human Computer Interaction) 變成熱門的研究重點。

本論文的研究在使用一台深度攝影機 Microsoft Kinect 進行影像拍攝，利用使用者的深度影像資料與彩色影像資料建立出使用者初始校正姿態的骨架模型並進行後續姿態追蹤。多數的人體骨架定位系統，使用者須要擺出一個特定校正姿態以套合事先建立好的模型，而本論文則提出一個非固定姿態的骨架關節點定位方法，讓使用者能更輕鬆的進行骨架套合，在骨架追蹤方面，本論文使用動態規劃法來進行最佳化的演算，藉由多階段的拓樸計算架構，考慮各關節候選點的輪廓邊緣特性及關節候選點間(即肢幹)的各項特徵，形成節點 (node) 與連線 (edge) 的成本函數，可成功地追蹤人體在合理姿態下的運動。

對於一般使用者來說，我們所提出的骨架校正定位方法相較於固定姿態校正能夠更快達到初始骨架校正的目的，在骨架追蹤方面也都能追蹤到使用者的基本動作，本系統的骨架追蹤處理速度約為 24 ~ 26 frame/sec。

摘要 I
目錄 II
圖目錄 IV
表目錄 VI
第一章 緒論 1
1.1 研究背景與動機 1
1.2 相關文獻綜覽 2
1.3 本論文架構說明 5
第二章 本系統之軟體與硬體環境架構 8
2.1 Microsoft Kinect 深度攝影機介紹 8
2.2 中介軟體 OpenNI 簡介 10
2.3 前景擷取 11
第三章 初始校正姿態之參數計算 13
3.1 人臉偵測 13
3.2 人體骨架之校正姿態參數估測 15
3.2.1肩膀定位 16
3.2.2 肢體端點定位 17
3.2.3 手肘點定位 23
3.2.4 髖骨與膝蓋定位 27
第四章 三維人體姿態追蹤最佳化演算法 29
4.1 系統狀態估測 29
4.2 動態規劃化法概念 30
4.2.1 後推式遞迴 (Bottom - Up) 32
4.2.2 前推式遞迴 (Top - Down) 32
4.2.3 本論文的多階段動態規劃法 33
4.3動態規劃法使用之影像與深度特徵 34
4.3.1 節點成本 (node cost) 35
4.3.2 連線成本(edge cost) 40
第五章 實驗結果與分析 43
5.1 實驗一追蹤結果 43
5.2 實驗二追蹤結果 45
5.3 實驗三追蹤結果 48
5.4 實驗四追蹤結果 52
5.5實驗五追蹤結果 54
第六章 結論與未來研究方向 56
6.1 結論 56
6.2 未來研究方向 56
參考文獻 57

[1]http://www.vicon.com/.

[2]http://www.qualisys.com/.

[3]M. Andriluka, S. Roth, and B. Schiele, “People tracking by detection and people detection by tracking,” Proc. of IEEE Int’l Conf. on Computer Vision and Pattern Recognition, pp.1-8, Anchorage Alaska, 2008.
[4]M. Andriluka, S. Roth, and B. Schiele, “Pictorial structures revisited: People detection and articulated pose estimation,” Proc. of IEEE Int’l Conf. on Computer Vision and Pattern Recognition, volume 1, page 4, USA, June, 2009.
[5]L.A. Schwarz, A. Mkhitaryan, D. Mateus, N. Navab, “Estimating Human 3D Pose from Time-of-Flight Images Based on Geodesic Distances and Optical Flow,” Proc. of IEEE Int’l Conf. on Automatic Face & Gesture Recognition and Workshops, pp.700-706, March, 2011.
[6]M. Haker, M. Bohme, T. Martinetz, and E. Barth, “Self-Organizing Maps for Pose Estimation with a Time-of-Flight Camera,” Proc. of the DAGM. on Dynamic 3D Imaging, pp. 142-153, Jena, Germany, September 2009.
[7]J. Shotton, A. Fitzgibbon, M. Cook, T. Sharp, M. Finocchio, R. Moore, and A. Kipman, A. Blake, “Real-Time Human Pose Recognition in Parts from Single Depth Images,” Proc. of IEEE Int’l Conf. on Computer Vision and Pattern Recognition, pp.1297-1304, 2011
[8]Gu Junxia, Ding Xiaoqing, Wang Shengjin, Wu Youshou, “Full Body Tracking-Based Human Action Recognition,” Proc. of IEEE Int’l Conf. on Pattern Recognition, pp.1-4, Florida, December 2008.
[9]C. Menier, E. Boyer, B. Raffin, “3D skeleton-based body pose
recovery,” Proc. of International Symposium on 3D Data Processing,Visualization and Transmission (3DPVT-2006), University of North Carolina, Chapel Hill, USA, June 2006.
[10]S. Knoop, S. Vacek, R. Dillmann, “Fusion of 2d and 3d sensor data for articulated body tracking,” Proc. of IEEE Int’l Conf. on Robotics and Automation, pp.1686-1691, 2006.
[11]Weilan Luo, T. Yamasaki and K. Aizawa, “Marker-Less Human Pose Estimation and Surface Reconstruction Using a Segmented Model,” Proc. of IEEE Int’l Conf. on Image Processing, pp.885-888, Belguim, September, 2011
[12]http://www.icg.tugraz.at/publications/skeletal-graph-based-human-pose-estimation-in-real-time

[13]http://www.microsoft.com/en-us/kinectforwindows/

[14]OpenNI User Guide.
[15]P. Viola and M. Jones, “Rapid object detection using a boosted cascade of simple features,” Proc. of IEEE Int’l Conf. on Computer Vision and Pattern Recognition, Vol.1, pp.511-518, 2001.
[16]P. Peer, J. Kovace and F. Solina, “Human skin color clustering for face detection,” Proc. of EUROCON 2003 International Conference on Computer as a Tool, Vol.2, pp. 144- 148, 22-24 Sept. 2003.
[17]http://www.cmlab.csie.ntu.edu.tw/~cyy/learning/tutorials/PCAMissingData.pdf

[18]陳慶瀚，〝細線化與骨架抽取〞，國立中央大學, 2004
[19]K. I. Hodges, “Feature-Point Detection Using Distance Transforms: Application to Tracking Tropical Convective Complexes,” American Meteorological Society, March. 1998.
[20]Kourosh Khoshelham and Sander Oude Elberink, “Accuracy and Resolution of Kinect Depth Data for Indoor Mapping Applications,” Open Access Sensor ISSN 1424-8220, February. 2012
[21]劉英杰，〝可調適於任意光源與背景之影像式性別辨識與年齡估測〞，國立中正大學電機工程研究所碩士論文，中華民國 九十九 年 七 月
[22]徐鴻煒，〝基於深度攝影機之三維人體姿態追蹤〞，國立中正大學電機工程研究所碩士論文，中華民國 一百 年 七 月