臺灣博碩士論文加值系統

本文主要提出一個虛擬的打鼓訓練養成系統，其目的是幫助早期兒童治療機構中的兒童。多感官課程是兒童早期療育機構的其中一門課程，其中打鼓是多感官課程其中一門重要的學習課程。由於打鼓需要較大的空間，並且會產生相當大的音量，容易影響到附近鄰居的安寧。另外，在打鼓的過程中，有的小朋友沒有足夠力氣操作鼓棒，有的則會亂咬鼓棒，為了防止各種可能的狀況，老師必須抓緊小朋友的雙手，這也容易讓老師感到疲憊。為了減輕小朋友學習打鼓時遭遇到的各種困難，本論文希望開發一套虛擬打鼓系統，可以幫助兒童學習打鼓技巧，增強兒童的學習動機，同時也能減輕機構輔導員的教學負擔。該系統主要使用偵測設備Kinect V2，以及軟體Processing 3進行開發。目前系統提供三種操作模式：關卡模式、自由模式和測驗模式。關卡模式從最簡單的打鼓動作練習到更複雜的音樂合奏，依照兒童的程度給予適當的課程；自由模式主要為孩子們提供自由練習打鼓的功能，系統會識別打擊的部位並播放相應的提示；測驗模式則是幫助教師通過測試來了解孩子的學習效果。我們希望這個系統可以實際用來幫助機構的老師和小孩。

This thesis mainly proposes a virtual drum training system, the purpose is to help children in an early childhood treatment institution. The multi-sensory course is one of the courses in the institution. Among them, drumming is one of the important learning course. Because drumming requires a lot of space and produces a loud volume, it can easily affect the peace of nearby neighbors. In addition, during the drumming practice, some children do not have enough strength to operate the drum sticks, and some will bite the drum sticks randomly. In order to prevent various possible situations, the teacher must hold the children’s hands tightly, which can also make the teacher feel tired. In order to alleviate the various difficulties that children encounter when learning to play drums, this paper hopes to develop a virtual drumming system that can help children learn drumming skills, enhance children's learning motivation, and reduce the teaching burden of institutional teachers. The system mainly uses the detection equipment Kinect V2 and the software Processing 3 for development. The system currently provides three operating modes - level mode, free mode and test mode. The level mode ranges from the simplest drumming exercises to more complex musical ensemble, and appropriate lessons are given according to the children's level; the free mode mainly provides children with the function of free practice drumming, and the system will recognize the hit parts and play corresponding prompts; The test mode is to help teachers understand the children's learning effects through tests. We hope that this system can actually be used to help teachers and children in the institution.

目錄
摘要 I
Abstract II
致謝 III
目錄 V
圖目錄 VIII
表目錄 X
第一章 緒論 1
1.1 研究背景 1
1.2 研究動機與目的 3
1.3 文獻探討 3
1.4 早期療育 4
1.5 財團法人桃園市私立寶貝潛能發展中心 5
1.6 章節概述 5
第二章 背景技術介紹 6
2.1 Microsoft Kinect 6
2.1.1 Microsoft Kinect 三種不同版本 7
2.1.2 Microsoft Kinect 三種不同版本偵測到的人體關節 8
2.2 Processing 12
第三章 系統設計與架構 16
3.1 系統概述 16
3.2 系統操作與流程 17
3.2.1 關卡模式 17
3.2.2 自由模式 17
3.2.3 測驗模式 18
3.3 鼓的判別 19
3.4 鼓棒的判別 19
3.5 打鼓節奏提示 20
3.6 打鼓節奏位置判斷 21
3.6.1 單手敲擊鼓面或鼓邊 21
3.6.2 雙手同時敲擊鼓面或鼓邊 21
3.7 得分判斷 21
3.8 關卡設置 22
3.9 音樂與音效 22
3.10 打鼓節奏提示順序 23
3.11 回饋配置 24
3.12 語音提示 24
3.13 資料紀錄 24
第四章 結果與討論 25
4.1 使用者介面 25
4.2 主畫面 25
4.3 偵測畫面 26
4.4 關卡模式 27
4.4.1 目前進度 27
4.4.2 回顧進度 27
4.4.3 操作畫面 28
4.4.4 成功與失敗畫面 29
4.5 引導模式選擇介面 30
4.6 自由模式 31
4.7 測驗模式 32
4.8 遊戲介紹 33
4.9 操作流程圖 33
4.10 測試與討論 35
第五章 結論與未來展望 37
第六章 參考資料 38

圖目錄
圖 1 1 參訪桃園市寶貝潛能發展中心 2
圖 2 1 Kinect V1[5] 7
圖 2 2 Kinect V2[6] 7
圖 2 3 Azure Kinect DK[7] 7
圖 2 4 Kinect V1 人體關節圖[8] 8
圖 2 5 Kinect V2 人體關節[8] 9
圖 2 6 Azure Kinect DK 人體關節圖[9] 10
圖 2 7 深度影像 13
圖 2 8 人體追蹤影像 14
圖 2 9 紅外線影像 14
圖 2 10 人體關節與骨骼顯示圖 15
圖 3 1 關卡模式流程圖 17
圖 3 2 自由模式流程圖 18
圖 3 3 測驗模式流程圖 18
圖 3 4 鼓與鼓棒的位置 19
圖 3 5 右鼓面 20
圖 3 6 右鼓面 20
圖 3 7 左鼓面 20
圖 3 8 左鼓邊 20
圖 3 9 雙手鼓面 20
圖 3 10 雙手鼓邊 20
圖 3 11 單手鼓面或鼓邊的敲擊判定 21
圖 3 12 雙手鼓面或鼓邊的敲擊判定 21
圖 3 13 關卡設置圖 22
圖 3 14 節奏普檔內容，每行紀錄一個動作，包括敲擊時間及動作類型編號 23
圖 4 1 使用者選擇介面 25
圖 4 2 主畫面展示 25
圖 4 3 偵測提示畫面 26
圖 4 4 關卡模式畫面 27
圖 4 5 回顧進度畫面 27
圖 4 6 操作畫面展示 28
圖 4 7 關卡成功畫面展示 29
圖 4 8 關卡失敗畫面展示 29
圖 4 9 引導模式選擇介面 30
圖 4 10 自由模式畫面 31
圖 4 11 測驗模式畫面，右上灰色方形為打鼓符號提示 32
圖 4 12 遊戲介紹畫面 33
圖 4 13 完整的系統操作流程圖 34
圖 4 14 受試者測試遊戲畫面 36
圖 4 15 受試者測試實際畫面 36
 
表目錄
表 2 1 Kinect V1, Kinect V2與Azure Kinect比較圖表 6
表 2 2 Processing 套件介紹 12

[1].H. Kanke, Y. Takegawa, T. Terada, M. Tsukamoto, “Airstic Drum : A Drumstick for Integration of Real and Virtual Drums,” International Conference on dvances in Computer Entertainment Technology, ACE 2012: Advances in Computer Entertainment pp 57-69.
[2].K. Okada, F. Ishizawa, A. Kobayashi, A. Yoshii, M. Sakamoto and T.Nakajima, "Virtual Drum: Ubiquitous and playful drum playing," 2014 IEEE 3rd Global Conference on Consumer Electronics (GCCE),2014, pp.419-421.
[3].Shannon, R.F.B. and Famador, S.M.W. “Virtual drum Simulator Using Computer Vision” Proceedings of the 4th II IIAE International Conference on Intelligent Systems and Image Processing 2016.
[4].陳弘庭，民109，「以Kinect製作的虛擬打鼓訓練系統」，私立中原大學電機研究所碩士論文。
[5].Kinect V1示意圖.[Online]. Chinese.engadget.com/Chinese-2014-12-31-oroginal-kinect-discontinued.html.
[6].Kinect V2示意圖.[Online]. https://www.windowscentral.com/kinect-windows-v2-gets-updated-sdk-kinect-fusion-tool-kit.
[7].Azure Kinect DK示意圖.[Online]. https://zanrobot.com/shop/s60-azure-kinect-dk/.
[8].Kinect v1和Kinect V2的比較.[Online]. https://iter01.com/94475.html.
[9].Azure Kinect DK 關節圖.[Online]. https://docs.microsoft.com/zh-tw/azure/kinect-dk/body-joints