臺灣博碩士論文加值系統

人機互動介面 Human Computer Interaction (HCI) 一直是非常熱門的研究領域，
這個領域專門在研究人類與電腦之間互動關係的學問，人機互動介面與我們的生
活是非常貼近的，我們不但可以從日常生活就發現很多常見的人機介面，也能夠
從許多科幻電影中看見很多未來的人機介面方式，例如近年的賣作科幻電影鋼鐵
人中，主角使用手進行三維模型建模的方式。

一般而言，以鍵盤和滑鼠與電腦溝通是最常見的方式，目前，也有多種透過
其他的硬體設備來做為人類與電腦溝通的介面。為了能夠讓人機介面更加的富有
彈性，本論文開發了一個基於視覺具關節的手部輪廓追蹤系統，能夠在即時處理
的限制下，進行使用者的手部追蹤，而正因本系統的手部輪廓包含了關節，也就
能夠提高手部動作的自由度，因此也能夠完成點擊、拖曳等事件的偵測。並且，
本系統對前人所提出的手部輪廓追蹤系統進行了演算法時間複雜度的改良，讓系
統複雜度降低，因而更能夠與其他的應用程式結合。最後，本論文也提出了一個
創新的 Windows 人機介面，讓使用者能夠在最短的手掌移動距離下完成所欲完成
的事件，並且自訂了一套介面切換流程，讓使用者能夠更自然與直覺的進行系統
操作。

Since the invention of computers, computer science and technology has made
huge progress. In recent years, the way to communicate with computer has
changed dramatically. There is an emerging research field, Human Computer
Interaction (HCI). In this field, people focus on how to communicate with
computer more conveniently, intuitively and naturally. 
In general, the way to communicate with computer is to use mouse and
keyboard. At present, there are various human computer interfaces through
different hardwares. In order to provide a more flexible interface for the human
computer interaction. In this thesis, we develop a visual-based tracking system
can trace a user’s articulated hand contour. Because we use articulated hand
contour template, so that a higher degree of freedom can be achieved, and our
system is capable of detecting clicking and draging events. We improve Tosas’s
system in terms of time complexity, and therefor our system is more suitable to
be combined with other application systems. Finally we develop a novel
Windows HCI interface and specific interface operation procedures, so that a
user can use our system more intuitively and naturally. 

目錄 
1  介紹 ................................................................................................................. 1 
1.1  電腦視覺手部追蹤 ........................................................................................ 2 
1.2  結合 Windows 作業系統的介面 ................................................................... 5 
1.3  貢獻 ................................................................................................................ 6 
1.4  論文架構 ........................................................................................................ 7 
2  文獻探討 ......................................................................................................... 8 
2.1  人機互動介面 ................................................................................................ 9 
2.2  以視覺為基礎的手部偵測方法 .................................................................. 11 
2.2.1  基於立體影像的手部偵測 ............................................................... 12 
2.2.2  基於膚色的手部偵測 ....................................................................... 13 
2.2.3  影像差的手部偵測 ........................................................................... 14 
2.2.4  機器學習的手部偵測 ....................................................................... 15 
2.2.4  輪廓追蹤的手部偵測 ....................................................................... 16 
2.3  結論 .............................................................................................................. 17 
3  基礎原理 ....................................................................................................... 18 
3.1  可變形模版 .................................................................................................. 18 
3.2  測量機率模型 .............................................................................................. 22 
3.3  將 Condensation  演算法應用在視覺輪廓追蹤 ......................................... 25 
3.4  有關節物件的追蹤 ...................................................................................... 30 
3.4.1  分區取樣 ........................................................................................... 31 
3.4.2 Sweep tracker ...................................................................................... 32 
4  實作與改良 .................................................................................................... 34 
4.1 有關節的手部輪廓模型 ............................................................................... 34 
4.2  動態模型 ...................................................................................................... 36 
4.3  測量模型 ...................................................................................................... 37 
4.3.1  測量線 ............................................................................................... 37 
4.3.2 線性容器膚色分類器 ........................................................................ 38 
4.3.3  以膚色進行輪廓可能性的測量 ....................................................... 42 
4.3.4  影像邊特徵偵測 ............................................................................... 44 
4.4  改良重新取樣機制 ...................................................................................... 46 
4.5  改良 Sweep tracker 演算法.......................................................................... 47 
4.6  改良手指長度偵測演算法 .......................................................................... 49 
4.7  動態雜訊機制修改 ...................................................................................... 53 
5  創新 Windows 人機介面 ............................................................................... 54 
5.1  虛擬觸控介面 .............................................................................................. 55 
5.2  實作介面方法 .............................................................................................. 55 
5.2.1  初始化程序 ....................................................................................... 58 
5.2.2  點擊偵測 ........................................................................................... 59 
5.2.3  手掌深度事件偵測 ........................................................................... 61 
5.2.4  減緩手部輪廓振動 ........................................................................... 62 
5.2.5  虛擬 Windows 介面 .......................................................................... 62 
5.2.6  系統環境 ........................................................................................... 64 
6  結論 ............................................................................................................... 65 
6.1  總結 .............................................................................................................. 65 
6.2  未來展望 ...................................................................................................... 66 
參考文獻 .............................................................................................................. 68 
 

[1] Blake, A. and Isard, M. (1998). Active contours. Springer. 
 
[2] Isard, M. and MacCormick, J. (2000). Hand tracking for vision‐based drawing. 
Technical report, Visual Dynamics Group, Dept. Eng. Science, University of 
Oxford. 
 
[3] Tosas, M., (2006). Visual Articulated Hand Tracking for Interactive Surfaces. PhD 
thesis, Nottingham University. 
 
[4] Rehg, J., (1995). Visual Analysis of High DOF Articulated Objects with Application 
to Hand Tracking. PhD thesis, Electrical and Computer Eng., Carnegie Mellon 
University. 
 
[5] Manresa, C., Varona, J., Mas, R. and Perales, F. J., (2005). Hand Tracking and 
Gesture Recognition for Human‐Computer Interaction. Electronic Letters on 
Computer Vision and Image Analysis, 5, 3, 96‐104. 
 
[6] Zaletelj, J., Perhavc, J. and Tasic, J. F., (2007). Vision‐based human‐computer 
interface using hand gestures. Eight International Workshop on Image Analysis 
for Multimedia Interactive Services. (WIAMIS’ 07) 
 
[7] Yuan, X. and Lu, J., (2005), Virtual Programming with Bare‐Hand‐Based 
Interaction. Proceedings of the IEEE International Conference on Mechatronics 
& Automation Niagara Falls, Canada. 
 
[8] Hardenberg, C. V. and Bérard, F. (2001) Bare‐Hand Human‐Computer Interacion. 
Proceedings of the ACM Workshop on Perceptive User Interfaces, Orlando, 
Florida, USA, Nov. 15‐16 2001. 
 
[9] Letessier, J. and Bérard, F. (2004). Visual Tracking of Bare Fingers for Interactive 
Surfaces. in: UIST ’04: 17th Annual ACM symposium on User Interface Software 
and Technology, ACM Press, New York, NY, USA, 2004, 119–122. 
 
[10] Rowley, H., Baluja, S. and Kanade. T., (1998), Neural network‐based face 
detection. In IEEE Patt. Anal. Mach. Intell., volume 20, 22–38, 1998. 
 
[11] Viola, P. and Jones, M, (2001), Robust real‐time face detection. In ICCV, volume 
20, 11, pages 1254–1259. 
 
[12] Wu, X., Xu, L., Zhung, B. and Ge, Q. (2003) Hand Detection Based on 
Self‐Organizing Map and Motion Information. IEEE Int. Conf. Neural Networks 8 
Signal Processing Nanjing, China, December 14‐17, 2003 
 
[13] C. S. Fahn and C. N. Yang, (2009), Two‐Hand Fingertip Identification and Gesture 
Recognition Techniques Applied for Human‐Computer Interaction Systems in 
Real Time.National Taiwan University of Science and Technology. 
 
[14] Isard, M. and Blake, A. (1998a). Condensation ‐ conditional density propagation 
for visual tracking. Int. J. Computer Vision, 28, 1, 5‐28. 
 
[15] MacCormick, J. and Blake. A. (1999). A probabilistic exclusion principle for 
tracking multiple objects. In Proc. 7th International Conf. Computer Vision, 
572‐578. 
 
[16] MacCormick, J. and Isard, M. (2000). Partitioned sampling, articulated objects, 
and interface‐quality hand tracking. In European Conf. Computer Vision.