臺灣博碩士論文加值系統

近年來，有越來越的研究專注在手勢動作的辨認上面，應用方面包涵了手語辨認、醫療模擬、虛擬實境等等，這些研究所使用的輸入裝置不盡相同，各有其優缺點，三軸加速度感測器的實做也是非常多人在研究的其中一塊領域。
在研究中，我們以之前的阿拉伯數字0到9辨識做為基礎，往上發展提高辨識率，並且將辨識目標能夠到連續的數字。和以往方法不同，我們將原有的一數字一模型的方法拿掉，取而代之的方法是由我們觀察阿拉伯數字以及英文字母所定義的基礎動作，基礎動作能夠涵蓋上述所提到的兩種辨識目標，而所有動作的辨識都是要先經過拆解成基礎動作的步驟。系統同樣的沿用訊號前處理的方式：平滑化以及正規化，再透過拆解基礎動作將全部的動作化為16種基礎動作模型拿去做訓練。
本研究定義的手勢動作為阿拉伯數字的0到9，資料數量為每個手勢動作各有10筆，全部的資料總共為100筆手勢動作資料。平均辨識率為97.78%。並且應用在分群後連續數字上與以前的一數字一模型方法比較，平均辨識率可以達到62.26%。

In this paper, we use the Nintendo Wiimote tri-axial accelerometer as an input device to make a gesture recognition system when using the Hidden Markov Model (HMM) as the recognition algorithm. We use a set of basic movements called “Fundamental Motions” as the synthesis of all the other complex motions. These Fundamental Motions are used as HMM modeling units. In our preliminary study, we use Arabic numerals '0 ' to '9' as the first recognition task. We analyze this task and find a set of 16 motions appropriate to be used as HMM
modeling units.

The second recognition task is Arabic numerals '10 ' to '99', we also use fundamental motion as main concept, but adding connection signal to represent the voice between models. We found the use of connection
signal can increase the recognition rate about 30%.

By using appropriate feature extraction and HMM topology, a HMM-Viterbi searching algorithm can achieve near 98% accuracy and
62.26% in average for making ten numbers in a set continuous gesture.

目錄
長庚大學博(碩)士學位論文指導教授推薦書
長庚大學博(碩)士學位論文口詴委員會審定書
國家圖書館博(碩)士論文電子檔案上網授權書
長庚大學博碩士論文著作授權書
誌謝 v
中文摘要 vi
Abstract vii
目錄 viii
圖目錄 xi
表目錄 xiv
第一章 緒論 - 1 -
1.1研究背景 - 1 -
1.2 研究動機 - 2 -
1.3 研究目的 - 5 -
第二章 相關研究介紹 - 8 -
2.1 研究裝置 - 8 -
2.2 加速度之定義 - 12 -
2.3 手勢動作辨認相關研究 - 13 -
2.3.1 Controlling Robots with Wii Gestures [10] - 13 -
2.3.2 A Gesture Recognition System with a Three-dimensional Acceleration Sensor[11] - 13 -
2.3.3 A Hidden Markov Model-Based Continuous Gesture Recognition System for Hand Motion Trajectory[12] - 13 -
2.3.4相關研究結論 - 13 -
2.4三軸之定義 - 24 -
第三章 研究方法 - 27 -
3.1 系統架構 - 28 -
3.2 訊號前置處理 - 29 -
3.2.1 平滑化（Smoothing） - 30 -
3.2.2 正規化（Normalization） - 31 -
3.2.3 位置時間差異度（Spatial-Time Variation） - 33 -
3.3 手勢合成與分解 - 35 -
3.4 建立模型（Modeling） - 38 -
3.4.1 隱藏式馬可夫模型[16] - 38 -
3.4.2 模型建立 - 40 -
3.5 資料比對 - 38 -
3.5.1維特比演算法（Viterbi algorithm） - 42 -
3.5.2 資料比對過程 - 44 -
第四章 實驗結果 - 27 -
4.1 單個阿拉伯數字(0~9)辨識 - 45 -
4.2 連續阿拉伯數字(10~99)辨識 - 50 -
4.3 系統介面 - 58 -
第五章 結論 - 59 -
參考文獻 - 61 -
附錄 - 64 -


圖目錄
圖 1-1 彩色 CCD 攝影機[8] - 3 -
圖 1-2 Kinect體感器[20] - 3 -
圖 1-3 資料手套設備[9] - 3 -
圖 1-4 Wii遊戲主機與把手Wiimote - 6 -
圖 1-5 內建三軸加速度感測器的遊戲手把Wiimote - 6 -
圖 2-1 三軸加速度感測器元件[12] - 8 -
圖 2-2 電容原理圖[13] - 9 -
圖 2-3 電極板放大圖 - 10 -
圖 2-4 揮動 Wiimote 裝置讓使用者有更真實的效果[13] - 11 -
圖 2-5 五種動作的定義[10] - 13 -
圖 2-6 系統流程 - 14 -
圖 2-7 KNN演算法[10] - 14 -
圖 2-8 SSD 演算法[10] - 15 -
圖 2-8 使用不同手勢組合進行辨識的結果 - 16 -
圖 2-8 三軸加速度感測器資料表示形式[11] - 17 -
圖 2-11 尚未處理(左)及平滑化後(右)手勢’0’加速度訊號[11] - 17 -
圖 2-12 一個過快的手勢’0’(左)和調整過的結果(右)[11] - 18 -
圖 2-13 取特徵向量的方法[11] - 18 -
圖 2-14 阿拉伯數字手勢影像辨識流程[12] - 19 -
圖 2-15 以角度畫分18個codewords的方式[12] - 20 -
圖 2-16 阿拉伯數字”4”以及codewords的組合[12] - 20 -
圖 2-17 阿拉伯數字手勢”32”以及手勢辨識方式[12] - 21 -
圖 2-18 比較3~10個狀態數下不同HMM topology辨識率[12] - 22 -
圖 2-19 三軸正負之定義圖[13] - 24 -
圖 2-20 X 軸向的加速度變化 - 25 -
圖 2-21 Y 軸向的加速度變化 - 25 -
圖 2-22 Z 軸向的加速度變化 - 26 -
圖 3-1 由系統架構圖 - 29 -
圖 3-1 3-2 系統流程圖 - 29 -
圖 3-1 由Wiimote接收到的加速度訊號 - 30 -
圖 3-4 用緩慢的速度揮出手勢動作0的波形 - 31 -
圖 3-5 用較快的速度揮出手勢動作0的波形 - 31 -
圖 3-6 用極快的速度揮出手勢動作0的波形 - 32 -
圖 3-7 取特徵向量的方法 - 34 -
圖 3-8 阿拉伯數字”6”，”0”，”9”在擷取特徵上被誤判的情況 - 35 -
圖 3-9 十六種基礎動作 - 36 -
圖 3-10 基礎動作對應至阿拉伯數字0~9的組合方式 - 36 -
圖 3-11 連續數字的拆解方式 - 37 -
圖 3-12 簡易的HMM示意圖[11] - 39 -
圖 3-13 以5個state以及3個mixture建立模型示意圖 - 41 -
圖 3-14 維特比演算法的最佳路徑[18] - 43 -
圖 3-15 資料比對過程 - 44 -
圖 4-1實驗的訓練資料以及比對資料形式 - 46 -
圖 4-2 阿拉伯數字”0~9”於五個實驗其辨識率比較 - 47 -
圖 4-3 阿拉伯數字”3”的基礎動作組合及在取特徵的對錯 - 48 -
圖 4-4 九個相同名稱但畫出來不同的基礎動作”Rightarc” - 49 -
圖 4-5 九個相同基礎動作(對應圖4-3)加入訓練後的辨識率 - 49 -
圖 4-6 實驗的訓練資料以及比對資料形式 - 50 -
圖 4-7 阿拉伯數字”10~19”於三種實驗其辨識率比較 - 51 -
圖 4-8 阿拉伯數字”20~99”於三種實驗其辨識率比較 - 52 -
圖 4-9 利用一個數字一個模型的方式[11]取出連接訊號 - 54 -
圖 4-10 實際上以[11]來取得的連接訊號(2)情形 - 55 -
圖 4-11 使用一數字一模型搭配連接訊號 - 56 -
圖 4-12 另外三種實驗之辨識率比較圖 - 57 -
圖 4-13 系統介面 - 58 -

表目錄
表格 2-1 User Independent實驗結果[11] - 22 -
表格 4-1實驗所使用的訓練資料及比對資料數 - 46 -
表格 4-2實驗二的Confusing Metrix - 48 -
表格 4-3實驗所使用的訓練資料及比對資料數 - 51 -
表格 4-4阿拉伯數字”10~99”分群組比較其辨識率 - 53 -
表格 4-5新訓練資料於阿拉伯數字”10~99”分群辨識率 - 53 -
表格 4-6用三種方式取得/代替連接訊號其訓練及比對資料數，辨識率 - 54 -
表格 4-7三種實驗的訓練資料及比對資料數 - 56 -
表格 4-8重新比較實驗二，三，四之辨識率 - 57 -

參考文獻

[1]. Y. Wu and T. S. Huang, “Hand modeling, analysis and recognition,” IEEE Signal Processing, vol.18, no.3, pp.51-60, May 2001
[2]. 辛柏陞，「虛擬實境手部功能訓練系統之設計開發與成效探討之研究」，國立中央大學機械工程研究所博士論文，民國九十四年一月。
[3]. J. Weissmann and R. Salomon, “Gesture recognition for virtual reality applications using data gloves and neural networks,” Proceeding of the International Joint Conference on Neural Networks, vol. 3, pp. 2043-2046, 1999.
[4]. 歐陽秉忠，”運用三軸加速度感測器辨識動作之指揮程式 ”，長庚大學資訊工程研究所碩士論文，民國九十七年七月。
[5]. J. J. Kuch and T. S. Huang, “Vision based hand modeling and tracking for virtual teleconference and telecollaboration,” ICCV, pp.666-671, 1995.
[6]. J. M. Rehg and T. Kanade, “DigitEyes：vision-based hand tracking for human-computer interaction,” IEEE Workshop on Motion of Non-Rigid and Articulated Objects, pp.16-22, Nov. 1994.
[7]. J. Davis and M. Shah, “Visual gesture recognition,” Proc. of IEE on Vision, Image and Signal Processing, Vol.141, pp.101-106, Apr. 1994.
[8]. W. Du and H. Li, “Vision based gesture recognition system with single camera,” Proc. of ICSP2000, vol.2, pp.1351-1357, 2000.
[9]. D. J. Sturman and D. Zeltzer, “A survey of glove-based input,” IEEE Computer Graphics and Appl., pp.30-39, 1994.
[10]. Aysun Bas¸c¸etinc¸elik, Department of Computer Science,
Brown University
“ WiiRobot: Controlling Robots with Wii Gestures”, 2009
[11]. 簡呈霖， 長庚大學資訊工程研究所碩士論文
”三軸加速度感測器之手勢動作辨識系統”，2009
[12]. Mahmoud Elmezain, Ayoub Al-Hamadi, J¨org Appenrodt, Bernd Michaelis
“ A Hidden Markov Model-Based Continuous Gesture Recognition System for Hand Motion Trajectory ”, 2008
[13]. TGBUS, Website：
http://wii.tgbus.com/
[14]. Matthias Rehm，Nikolaus Bee and Elisabeth André ”Wave Like an Egyption— Accelerometer Based Gesture Recognition for Culture Specific Interactions”
[15]. Aysun T Schlömer , B Poppinga, , N Henze , S Boll
“ Gesture recognition with a Wii controller”, 2008
[16]. LAWRENCE R. RABINER，”A toturial on Hidden Markov Models and Selected Applications in Speech Recognition” ，IEEE
[17]. HTK Website：
http://htk.eng.cam.ac.uk/
[18]. L.R Rabiner and B.H. Juang, Fundamentals of Speech Recognition, Prentice Hall,1993
[19]. “Wii-mote Guts”, Website： http://www.sparkfun.com/commerce/present.php?p=Wii-Internals
[20]. “XBOX360 Kinect”, Website:
http://www.xbox.com/zh-TW/kinect