在慢性病中的腦中風(stroke)泛指腦血管病變 ( Cerebral Vascular Accident , CVA),患者於中風發病後,往往伴隨著不同程度的腦神經受損之後遺症,導致肢體功能的殘疾。肢體軀幹的對稱協調訓練成為復健一項重要課題,協調訓練是一種針對動作協調性的恢復與加強之復健運動,其動作是由簡單到複雜、單一到多重的肢體聯合協調運動。本研究是以同時回饋(concurrent feedback)結合擴增實境(Augmented Reality, AR)來開發動態3D復健訓練遊戲,提供中風患者進行軀幹對稱協調訓練。應用具有互動性的軀幹對稱協調遊戲活動,結合穿戴式感測模組、紅外線CCD影像式動作擷取等進行設計開發,整合規劃出相關軟、硬體設施的智能化復健器材。患者在物理治療師( Physical Therapist, PT)的指引導,穿戴本研究所設計放置(或黏貼)於受測軀幹的三軸感測單元,將肢體空間座標數值經由無線傳輸裝置回饋,並搭配即時紅外線CCD攝影機擷取骨架動作,以達到患者在具有趣味性的互動式情境遊戲中進行復健訓練的目標,以期改善軀幹對稱協調。互動式情境遊戲結合多媒體聲光效果與數位科技,使得在實際的訓練情境的呈現能夠更加的逼真,來提昇與吸引患者參與訓練的意願,期盼訓練活動的效果能夠更加的顯著。又在訓練過程所收集的大量數據資料可藉由後端的AI分析,讓整體訓練規劃的評估,反饋參數的調整等能夠呈現最佳化成效。本研究亦朝向IOT模組化,可攜式概念設計方向思考,讓居住在偏鄉、交通不便的患者,能利用家中的3C裝置即可自行在家中做復健訓練,透過線上的互動與回傳訓練過程的數據,供醫護人員了解訓練狀況,以加速肢體復原成效,達成偏鄉遠距醫療的一環。

關鍵詞:軀幹對稱、影像式動作擷取、擴增實境、三軸感測器、遠距醫療。

The chronic stroke (Stroke) disease, referred to (Cerebral Vascular Accident, CVA), usually accompanies various degrees of brain damage, eventually to cause the patient’s disability of limb function. Thus, bilateral upper extremity training on trunk performance is an important issue to recover for patients with stroke. It is a rehabilitation exercise focusing on coordination recovery and strengthening actions, of inclusion from simple to complex and from single- to multi- joint coordinated limb movements. The purpose of this essay was to develop some dynamic 3D rehabilitation training games for the Stroke, of which concept based on simultaneous feedback (or called concurrent feedback) with the technology Augmented Reality (AR) utilized. These dynamic 3D rehabilitation training games, we developed, combined interactive software for torso symmetric coordination with several instruments of hardware such as wearable sensing module and infrared CCD image-based motion capture. Thus it can be thought as a kind of a software/hardware integrated intelligent rehabilitation equipment. Patients followed the physical therapist (PT)’s instructions to put on the 3-axis accelerometer sensors placed at their trunks. The 3-axis accelerometer sensors will send patients’ Cartesian position coordinates of the body joints by wireless communication. Working together with the 3-axis accelerometer sensors, the instant infrared CCD camera was used to capture the patient’s skeleton motion for torso symmetric coordination. Our interactive games, which were the conjunction of multimedia sound-light effects and digital technology, were so realistic that more patients, we believe, would be willing to participate in these game-training activities when thinking being significantly recovered. With AI analyzing the big data collected from the patients’ training activities, the estimators of the feedback parameters in the AI training are finally adjusted to be the most efficient. Furthermore, we also attempted to make these games IOT module or portable device by some new designs. If these new designs come true, patients located in remote area can also use these 3C instruments to recover themselves, and send their big data in training activities to healthcare workers. Thus healthcare workers can understand better how much degree these patients recover themselves, and further accelerate these physical therapies, which are examples of telemedicine.

Keywords: trunk symmetrical, action-image capture, augmented reality the AR , three axis sensing device , telemedicine

目錄
中文摘要 i
Abstract ii
目錄 iii
表目錄 vi
圖目錄 vii
第一章 緒論 1
1-1 研究背景 1
1-2 研究動機 3
1-3 研究目的 5
第二章 原理探討與相關應用說明 7
2-1 Arduino 7
2-1-1 Arduino 介紹 7
2-1-2 Arduion開發板 8
2-1-3 Arduion開發應用 13
2-1-4其他系列開發板 14
2-2 三軸加速度計模組 16
2-2-1 原理簡介 16
2-2-2 常見的三軸加速度計模組 20
2-2-3 常見多軸姿態儀 21
2-2-4模組通信方式 25
2-3 藍牙無線傳輸模組 28
2-3-1 藍牙簡介 28
2-3-2 藍牙版本 28
2-3-3 HC-05模組Bluetooth V2.0+EDR 30
2-3-4 藍牙的延伸應用 31
2-4 RealSense景深攝像機 32
2-4-1 簡介 32
2-4-2 D435i 攝影機 33
2-4-3 D4視覺處理器 34
2-5 直流馬達(磁阻馬達)控制 34
2-5-1 L298N DC馬達驅動模組 35
2-5-2 旋轉編碼器 37
2-5-3 整合式驅動器與無碳刷馬達 38
2-6二維條碼掃瞄器(QR Code Scaner) 41
2-7 非接觸式讀卡機(NFC Reader) 43
2-8 人臉辨識 44
2-9 多點觸控式螢幕 45
2-9-1 電阻式 45
2-9-2 電容式 46
2-9-3 超音波與紅外線式 47
2-10 穿透式智慧眼鏡與VR/AR/MR 48
2-10-1 VR(Virtual Reality, 虛擬實境) 51
2-10-2 AR(Augmented Reality, 擴增實境) 51
2-10-3 MR(Mixed Reality, 混合實境) 52
第三章 材料與方法 53
3-1 硬體架構 53
3-1-1 硬體規格說明 53
3-1-2 硬體配置與應用說明 56
3-2 軟體流程架構 57
3-2-1 系統運作流程 57
3-2-2 登入畫面 59
3-2-3 主畫面 60
3-2-4 熱身活動-頸椎直立運動 61
3-2-5 熱身活動-肢體簡易運動 62
3-2-6 熱身活動-肩部平衡運動 64
3-2-7 復健訓練-軀幹不動 66
3-2-8 復健訓練-軀幹動 68
3-3 中風常見的評估量表 70
第四章 實測驗證與討論 73
4-1 實測方法 73
4-1-1 測試方法步驟 73
4-1-2 參與訓練者基本資料 75
4-1-3 實測數據資料 76
4-1-4 實測數據討論 82
第五章 結論與未來展望 85
5-1 結論 85
5-1 未來展望 85
參考文獻 87
附錄一 : 軟體架構流程 93
附錄二 : 穿戴式載具檢測單元 96
附錄三 : 穿戴式載具程式碼 97

 
表目錄
表1 ARDUINO開發板分類 8
表2 ARDUINO開發板規格表 9
表3 ARDUINO UNO規格表 10
表4 ARDUINO NANO規格表 11
表5 ARDUINO PRO MICRO規格表 12
表6 ADXL345規格表 20
表7 MPU6050 模組 23
表8 GY-86 模組 24
表9 GY-801 模組 24
表10 SPI接腳名稱及定義 27
表11 SPI腳位另一表示方式 28
表12藍牙版本差異 29
表13 HC-05藍牙模組規格 30
表14 HC-05 藍牙模組接腳定義 31
表15 2.4G無線定位技術比較 31
表16 L298N馬達驅動模組規格 36
表17 L298N馬達控制邏輯 37
表18計算拉繩長度 37
表19整合式驅動器與馬達基本規格 39
表20馬達驅動器規格表 40
表21 馬達規格 41
表22 FTD-200N固定式二維條碼掃瞄器規格 42
表23 感應式晶片讀卡機規格 43
表24 INTEL NUC PC規格 53
表25紅外線多點觸控螢幕規格 54
表26 INTEL RESLSENSE DEPTH CAMERA D435I規格 54
表27 穿戴式感測背帶規格 55
表28 參與訓練者的基本資料 76

 
圖目錄
圖1 軀幹 2
圖2 腦中風的二種類型 3
圖3 復健科常用訓練器材 4
圖4 動力式外骨骼手部復健機器手 5
圖5 本論文研究之復健平台示意圖 5
圖6 ARDUINO核心開發團隊 8
圖7 ARDUINO UNO 10
圖8 ARDUINO NANO 11
圖9 ARDUINO PRO MICRO 12
圖10 三軸加速器測試人偶 13
圖11 姿態傾斜量測穿戴載具 13
圖12 ARDUINO眾多感測模組 14
圖13 ARDUINO應用創意巧思 14
圖14 RASPBERRY PI系列 15
圖15 INTEL GALILEO系列 16
圖16 LINKIT ONE 16
圖17 1970年幾何塊狀晶格技術MEMS 17
圖18 1990年等離子刻蝕製程技術MEMS 17
圖19 微機電系統電容晶格等效電路 17
圖20 微機電系統電容晶格 18
圖21 三軸加速計感應軸線 18
圖22 輸出值與相對重力方向關係 18
圖23 ADXL345 19
圖24 ADXL345功能架構圖 19
圖25 ADXL-335 20
圖26 MMA7361 21
圖27 三種平移運動 21
圖28 三種旋轉運動 22
圖29 MPU6050 (6DOF) 23
圖30 GY-86 (10DOF) 23
圖31 GY-801 (10DOF) 24
圖32 UART晶片介接方式 25
圖33 I2C晶片介接方式 26
圖34 SPI晶片的介接方式 27
圖35 HC-05藍牙模組 30
圖36 INTEL REALSENSE SDK手掌偵測 32
圖37 INTEL REALSENSE 硬體架構 33
圖38 INTEL REALSENSE D435I硬體架構 33
圖39 直流馬達機基本構造 35
圖40 ST L298N 馬達驅動IC 36
圖41 L298N馬達驅動模組 36
圖42 旋轉編碼器 37
圖43 整合式驅動器與無碳刷馬達 38
圖44 馬達驅動器EVDR-N045CQE 40
圖45 馬達EVM6N75030EA 40
圖46 FTD-200N固定式二維條碼掃瞄器 41
圖47 EZ710BU NFC 43
圖48 人臉辨識 44
圖49 電阻式 46
圖50 電容式 47
圖51 波動式觸控螢幕 47
圖52 表面光波觸控技術 48
圖53 HTC VIVE VR虛擬實境眼鏡 51
圖54 EPSON BT-300 AR虛擬實境眼鏡 52
圖55 HOLOLENS2 MR虛擬實境眼鏡 52
圖56 復健輔助平台機構圖 56
圖57 復健機台硬體配置圖 56
圖58 穿戴式載具硬體配置圖 57
圖59 系統運作流程圖 58
圖60 選單MENU 58
圖61 人臉辨識登入畫面 59
圖62 身分證號ID登入畫面 60
圖63 復健輔助系統 登入畫面 60
圖64 頸椎直立運動 設定頁面 61
圖65 頸椎直立運動 操作說明 61
圖66 頸椎直立運動 運動開始 62
圖67 肢體簡易運動 設定頁面 63
圖68 肢體簡易運動 操作說明 63
圖69 肢體簡易運動 運動開始 64
圖70 肩部平衡運動 設定頁面 64
圖71 肩部平衡運動 操作說明 65
圖72 肩部平衡運動 運動開始 66
圖73 軀幹不動訓練 設定頁面 66
圖74 軀幹不動訓練 操作說明 67
圖75 軀幹不動訓練 運動開始 68
圖76 軀幹動 設定頁面 68
圖77 軀幹動 操作說明 69
圖78 軀幹動 運動開始 70
圖79 復健訓練實景 75
圖80 四位參與訓練者的頸椎直立運動的表現 76
圖81 肢體簡易動作(虛擬球由左肩側上方落下)的表現情形 77
圖82 肢體簡易動作(虛擬球由右肩側上方落下)的表現情形 77
圖83 肩部平衡運動的表現情形 78
圖84 軀幹不動,以右手碰觸虛擬球的表現情形 79
圖85 軀幹不動,以左手碰觸虛擬球的表現情形 79
圖86 軀幹不動,以對應側的手碰觸虛擬球的表現情形 80
圖87 軀幹前引,以右手碰觸虛擬球的表現情形 81
圖88 軀幹前引,以左手碰觸虛擬球的表現情形 81
圖89 軀幹前引,以雙手碰觸虛擬球的表現情形 82
圖90 系統設定流程 93
圖91 資料庫設定流程 94
圖92 歷史資料查詢流程 95
圖93 感測模組接線 96
 

[1]多蘭(Dorland＇s)醫學插圖詞典 軀幹
https://google-info.cn/1755564/1/%E8%BB%80%E5%B9%B9.html (2019.04.02查)
國家教育研究院
https://pedia.cloud.edu.tw/Entry/Detail/?title=%E5%BE%9E%E8%BB%80%E5%B9%B9%E5%88%B0%E5%9B%9B%E8%82%A2%E7%9A%84%E7%99%BC%E5%B1%95(2019.04.02查)
[2]台北市骨節整復職業工會全球資訊網
http://xn--fiqt30bz6aqzmc5bnzs2yzy5a275a9qv.com/taipei101/products_detial.php?p_id=&p_id=70 (2019.04.02查)
[3]Michael, K.M., J.K. Allen, and R.F. Macko, Reduced ambulatory activity after stroke: the role of balance, gait, and cardiovascular fitness. Arch Phys Med Rehabil, 2005. 86(8): p. 1552-6.
[4]Jorgensen, H.S., et al., Recovery of walking function in stroke patients: the Copenhagen Stroke Study. Arch Phys Med Rehabil, 1995. 76(1): p. 27-32.
[5] Paolucci, S., et al., Quantification of the probability of reaching mobility independence at discharge from a rehabilitation hospital in nonwalking early ischemic stroke patients: a multivariate study. Cerebrovascular Diseases,2008. 26(1): p. 16-22.
[6] Y. Lazorthes and A. R. M. Upton, Neurostimulation: an overview: Futura Pub. Co., 1985.
[7] C.-H. Chou, et al., FES for abnormal movement of upper limb during walking in post-stroke subjects, Technology and Health Care, 2014. 22, p.751–758.
[8]復健工程研究在長庚生根 八十六年九月長庚醫訊
http://mmrl.cgu.edu.tw/a2-1.htm (2019.04.02查)
[9] Wang, X.-Q., et al., Cognitive motor intervention for gait and balance in Parkinson’s disease: systematic review and meta-analysis. Clinical Rehabilitation, 2016. 30(2): p. 134-144.
[10]Wei-Min Hsieh, et al., Application of the Blobo bluetooth Ball in wrist rehabilitation training, The Journal of Physical Therapy Science, 2016.28: p. 27–32.
[11]C.C. Chen, et al., Interactive Technology for the Elderly in the Hand-Eye Coordination Training, Applied Mechanics and Materials, 2015. 696: p. 281-286,
[12] W-M Hsieh, et al., Virtual Reality System based on Kinect for the elderly in Fall Prevention, Technology and Health Care, 2014. 22: p. 27–36.,
[13]楊文傑、盧大為…林光華。虛擬實境平衡訓練應用於巴金森症患者:文獻回顧。物理治療,2015. 40(3): p.121-128。
[14]朱育秀、陳綉儀…林宜錚。Wii虛擬實境遊戲於失智症患者認知與平衡及步態之療效:系統性20回顧。物理治療,2015. 40(3): p. 129-135。
[15]Laufer, Y., G. Dar, and E. Kodesh, Does a Wii-based exercise program enhance balance control of independently functioning older adults? A systematic review. Clinical interventions in aging, 2014. 9.
[16]Hondori, H.M., et al. A spatial augmented reality rehab system for post-stroke hand rehabilitation. in MMVR. 2013.
[17]Barry, G., B. Galna, and L. Rochester, The role of exergaming in Parkinson’s disease rehabilitation: a systematic review of the evidence. Journal of neuroengineering and rehabilitation, 2014. 11(1): p. 1.
[18]http://www.brain.com.tw/news/articlecontent?ID=43353&sort= (2018.12.05 查)
[19]張烘釗。五十肩緩和運動輔助器設計:中原大學電機工程研究所,2017。
[20]曹榮仁。應用加速度感測器於冷凍肩復健之研究 :國立台北護理學院 資訊管理研究所,2010。
[21]方學濬。結合體感遊戲的中風患者之居家復健系統:淡江大學電機工程學系碩士班,2012。
[22] C. Neuper, R. Scherer, M. Reiner, G. Pfurtscheller. Imagery of motor actions: differential effects of kinesthetic and visual-motor mode of imagery in single-trial EEG. Brain Res Cogn Brain Res 2005; 668–677.
[23] P. Hlustik, M. Mayer. Paretic hand in stroke: from motor cortical plasticity research to rehabilitation. Cogn Behav Neurol 2006; 19: 34–40.
[24] M. G. Lacourse, E. L. Orr, S. C. Cramer, M. J. Cohen. Brain activation during execution and motor imagery of novel and skilled sequential hand movements. Neuroimage 2005; 27: 505–519.
[25] N. David, B. H. Bewernick, M. X. Cohen, A. Newen, S. Lux, G. R. Fink, et al. Neural representations of self versus other: visual-spatial perspective taking and agency in a virtual ball-tossing game. J Cogn Neurosci 2006; 18: 898–910.
[26]G. Buccino, A. Solodkin, S. L. Small. Functions of the mirror neuron system: implications for neurorehabilitation. Cogn Behav Neurol 2006; 19: 55–63.
[27]G. Rizzolatti. The mirror neuron system and imitation. In: S. Hurley, N. Chater, eds. Perspectives on imitation: from cognitive neuro science to social science. Cambridge, MA: MIT Press; 2005, p. 55–77.
[28]N. S. Ward. Plasticity and the functional reorganization of the human brain. Int J Psychophysiol 2005; 58:158–161.
[29]Schmidt RA..Champaign ,IL: Human Kinetics, Motor control and learning, 2nd ed. 1988.
[30]Chen, C.-C., et al., Interactive Technology for the Elderly in the Hand-Eye Coordination Training. Aplied Mechanics & Materials, 2014.
[31] 阿玉MAKER研究區,認識arduino
https://sites.google.com/site/wenyumaker3/03-arduino-guo-xiao-ke-cheng/01ren-shiarduino(2019.04.05查)
[32]Arduino官網
https://www.arduino.cc/en/Products/Compare (2019.04.06查)
[33] Arduino官網 UNO - TECH SPECS
https://store.arduino.cc/usa/arduino-uno-rev3 (2020.05.12查)
[34] Arduino官網 NANO - TECH SPECS
https://store.arduino.cc/usa/arduino-nano (2020.05.12查)
[35] sparkfun 官網 Pro Micro Hookup Guide
https://learn.sparkfun.com/tutorials/pro-micro--fio-v3-hookup-guide/hardware-overview-pro-micro (2020.05.12查)
[36]樹莓派Raspberry Pi https://www.raspberrypi.org/ (2020.05.12查)
[37] Intel Galileo官網 Galileo 開發板的資源
https://www.intel.com.tw/content/www/tw/zh/support/articles/000006615/boards-and-kits/intel-galileo-boards.html (2020.05.12查)
[38] 聯發科 LinkIt ONE 官網 LinkI ONE 入門
https://labs.mediatek.com/zh-tw/platform/linkit-one (2020.05.12查)
[39] kionix 官網 Accelerometers
http://www.kionix.com/ (2020.05.12查)
[40] Lu 的開發紀事 三軸重力加速計 Accelerometer
https://han-ya.blogspot.com/2015/12/accelerometer.html (2020.05.12查)
[41] analog 官網 ADXL-345
https://www.analog.com/media/en/technical-documentation/data-sheets/ADXL345.pdf (2020.05.12查)
[42]映維網 何為3DoF、6DoF、9DoF 原文網址:
https://itw01.com/2KDIEIU.html (2020.05.12查)
[43] 維基百科 加速規 accelerometer
https://zh.wikipedia.org/wiki/%E5%8A%A0%E9%80%9F%E8%A6%8F (2020.05.12查)
[44]中華民國數位通路發展協會 陀螺儀 gyroscope
https://www.ecda.org.tw/post/%E9%99%80%E8%9E%BA%E5%84%80-gyroscope-%E5%8E%9F%E7%90%86%E7%9F%A5%E5%A4%9A%E5%B0%91 (2020.05.12查)
[45]物理雙周刊 搞定陀螺儀-從傳統到現代http://ntour.ntou.edu.tw:8080/ir/bitstream/987654321/41392/2/228.pdf (2020.05.12查)
[46] UART詳解
https://blog.csdn.net/sternlycore/article/details/85244515 (2020.05.13查)
[47] I2C bus 簡介Inter-Integrated Circuit Bus
https://magicjackting.pixnet.net/blog/post/173061691-i2c-bus-%E7%B0%A1%E4%BB%8B-(inter-integrated-circuit-bus (2020.05.13查)
[48] Maker進階 認識UART、I2C、SPI三介面特性
https://makerpro.cc/2016/07/learning-interfaces-about-uart-i2c-spi/ (2020.05.13查)
[49]藍牙版本有哪些 淺談藍牙5.0
https://tel3c.tw/blog/post/%E8%97%8D%E7%89%99%E7%89%88%E6%9C%AC%E6%9C%89%E5%93%AA%E4%BA%9B-%E6%B7%BA%E8%AB%87%E8%97%8D%E7%89%995-0 (2020.05.13查)
[50]淺談Intel RealSense 3D攝影機之應用與開發
https://www.computerdiy.com.tw/intel-realsense-3d/ (2020.05.13查)
[51]Intel D435i 官網 英特爾 實感深度攝像頭D435i
https://www.intelrealsense.com/depth-camera-d435i/ (2020.05.13查)
[52] Intel RealSense Depth Camera D400 Series
https://www.mouser.tw/new/Intel/intel-realsense-camera-400/(2020.05.13查)
[53]磁阻電機
https://kknews.cc/news/appmqpg.html(2020.05.13查)
[54]偉盟電子EV系列驅動器與無刷馬達規格
https://www.trumman.com.tw/2016products/EV.html
[55] 81個特徵點覆蓋全臉,面部特徵點檢測更精準
https://kknews.cc/zh-tw/news/gangg58.html(2020.05.13查)
[56]三大觸控螢幕主流技術圖解科技新報
https://technews.tw/2014/05/05/indie-technology-touch-screen/ (2020.04.13查)
[57]工研院資通所 AR/VR與MR的技術探索
https://ictjournal.itri.org.tw/Content/Messagess/contents.aspx?&MmmID=654304432061644411&MSID=745170540670271640
[58]從人體舒適度討論Unity對於VR體驗的方向
http://unitytaiwan.blogspot.com/2015/09/unityvr.html
[59]中風患者的成效測量
https://www.stroke.org.tw/GoWeb2/include/index.php?Page=5-1&paper02=18243431265bc96f0da53a9
[60]國家發展委員會 中華民國人口推估查詢系統
https://www.ndc.gov.tw/Content_List.aspx?n=84223C65B6F94D72(2020.05.13查)