跳到主要內容

臺灣博碩士論文加值系統

(44.212.99.208) 您好!臺灣時間:2024/04/17 19:33
字體大小: 字級放大   字級縮小   預設字形  
回查詢結果 :::

詳目顯示

: 
twitterline
研究生:周承緯
研究生(外文):Cheng-Wei Chou
論文名稱:多自由度機器人身體開發及人體姿態辨識之人機連動
論文名稱(外文):Multi-Degree-of-Freedom Robot Body Development and Human-Computer Interaction with Human Pose Recognition
指導教授:劉智誠
指導教授(外文):Chih-Cheng Liu
口試委員:吳建鋒陳慶逸
口試日期:2023-06-29
學位類別:碩士
校院名稱:淡江大學
系所名稱:電機工程學系人工智慧機器人碩士班
學門:工程學門
學類:其他工程學類
論文種類:學術論文
論文出版年:2023
畢業學年度:111
語文別:中文
論文頁數:65
中文關鍵詞:人形機器人Mediapipe人體姿態辨識虛擬骨骼結構CG動作生成
外文關鍵詞:Humanoid robotMediapipeHuman pose recognitionVirtual skeletal structureCG motion generation
DOI:10.6846/tku202300537
相關次數:
  • 被引用被引用:0
  • 點閱點閱:46
  • 評分評分:
  • 下載下載:13
  • 收藏至我的研究室書目清單書目收藏:0
本論文旨在開發一款模擬人類可動域的人形機器人身體,並利用攝影機辨識人體姿態,實現與機器人的連動技術。所設計的機器人具有可調節高度的身體,以腰部yaw轉軸區分上下半身,重量分別為上半身4公斤和下半身11公斤。論文的機構設計包括機構設計概念、自由度和關節配置,以及關節旋轉速度和角度規格制定。透過使用SolidWorks軟體進行機構設計和計算,並進行靜態應力分析和安全性能評估,以確保機構的安全性能。根據人類可動域的特性,設計了符合人體活動需求的11維自由度和三段式可調機構,以滿足不同身高需求。為實現與人類相似的動作,設定了每個關節需要的扭矩和轉速。同時,使用MediaPipe進行人體姿態辨識,該系統利用深度學習技術分析和推斷人體姿態,並實現高效、準確的人體姿態辨識和動作識別。實驗結果上,本論文辨識人體姿態,並讓機器人可以做出相應的動作,實現人機交互控制等應用。
This thesis aims to develop a humanoid robot body that simulates the range of motion of a human, utilizing camera-based recognition of human body postures to achieve interactive synchronization with the robot. The designed robot features an adjustable height body with a waist yaw axis that distinguishes the upper and lower halves, weighing 4 kilograms and 11 kilograms for the upper and lower body, respectively. The mechanical design of this thesis includes concepts for mechanism design, degrees of freedom, joint configurations, as well as specifications for joint rotation speed and angles. SolidWorks software is used for mechanism design and calculation, and to analyze static stress and evaluate safety performance to ensure the safety performance of the mechanism. Based on the characteristics of human range of motion, an 11-degree-of-freedom and three-segment adjustable mechanism are designed to fulfill various height requirements for human activities. To achieve human-like motions, torque and rotational speed requirements are established for each joint. Simultaneously, MediaPipe is employed to recognize human body posture. This system employs deep learning techniques to analyze and infer human body postures and achieve efficient and accurate recognition of body postures and motions. In experimental results, this thesis demonstrates the recognition of human body postures, which enables the robot to perform corresponding actions, and achieves applications such as human-robot interactive control.
目錄
中文摘要 I
英文摘要 II
目錄 IV
圖目錄 VII
表目錄 XII
第一章 緒論 1
1.1 研究背景 1
1.2 研究目的 2
1.3 相關研究之情況 3
第二章 實體骨架設計 5
2.1 前言 5
2.2 設計理念 7
2.3 設計方法 11
2.4 SolidWorks Simulation 結構分析 19
2.5 Fusion 360 Section Analysis 截面分析 25
2.6 實體骨架各部位統綱 27
2.6.1 實體骨架肩膀機構設計 27
2.6.2 實體骨架胸腔機構設計 30
2.6.3 實體骨架腰髖部機構設計 34
2.6.4 實體骨架大腿機構設計 37
第三章 CAN通信與控制馬達系統 41
3.1 前言 41
3.2 系統架構圖 41
3.3 CAN(Controller Area Network) 42
3.3.1 ESD Electronics – NTCAN 43
3.3.2 CAN總線終端電阻 44
3.4 Unity馬達控制系統 45
第四章 Mediapipe關節角度偵測 48
4.1 前言 48
4.2 關鍵點偵測 49
4.3 估測各關節角度 50
第五章 實驗結果 52
5.1 前言 52
5.2 預期實驗結果 52
5.3 實際活動度驗證 53
5.4 全身動作驗證 58
5.5 人機互動之實際操作一:單關節馬達連動 59
5.6 人機互動之實際操作二:上半身人機互動 60
第六章 結論與未來展望 62
6.1 結論 62
6.2 未來展望 62
參考文獻 63


圖目錄
圖1.1、MIT mini cheetah[19](左)、Boston Dynamics[20](右) 2
圖1.2、TWENDY-ONE[2] (左)、Kojiro[3] (中)、WABIAN-2 [4](右) 3
圖 2.1、硬體設計流程 6
圖2.2、全身骨架的馬達維度配置 8
圖2.3、實體骨架設計範圍 8
圖2.4、關節自由度規範 9
圖2.5、關節間三段可調 10
圖2.6、馬達分布配置圖 16
圖2.7、AK10-9/2.0規格表 17
圖2.8、AK10-9/2.0 17
圖2.9、AK80-64規格表 18
圖2.10、AK80-64 18
圖2.11、結構分析步驟 20
圖2.12、模型網格化:(左) 機構模型圖、(右) 機構網格圖 20
圖2.13、元素與節點 21
圖2.14、楊式模數 23
圖2.15、應力分析 23
圖2.16、安全係數分析圖 24
圖2.17、探查結果 24
圖2.18、外殼掃描圖 25
圖2.19、外殼與骨架之截面分析 26
圖2.20、脖關節機構 27
圖2.21、馬達架機構 27
圖2.22、肩部底板 28
圖2.23、脖關節三段可調 28
圖2.24、馬達架三段可調 29
圖2.25、左右肩共用零件 29
圖2.26、肩部底板三段鎖孔 30
圖2.27、肩膀整體 30
圖2.28、胸腔機構 31
圖2.29、連桿設計 32
圖2.30、旋轉迴避設計 32
圖2.31、墊高設計 33
圖2.32、左右側屈幅度展示 33
圖2.33、前後屈幅度展示 34
圖2.34、腰部機構 35
圖2.35、髖關節機構 35
圖2.36、滑軌設計 35
圖2.37、旋轉迴避設計 36
圖2.38、前後屈幅度展示 37
圖2.39、左右側屈幅度展示 37
圖2.40、大腿機構(正反面) 38
圖2.41、連桿設計 38
圖2.42、旋轉迴避設計 39
圖2.43、雙馬達兼容設計 39
圖2.44、大腿內外活動幅度展示 40
圖3.1、系統架構圖 42
圖3.2、ESD-NTCAN 43
圖3.3、終端電阻 44
圖3.4、控制介面 45
圖3.5、進入(左)、退出(右)電機控制模式訊號 47
圖3.6、重置零點訊號 47
圖3.7、拉動滾動條訊號 47
圖4.1、人體關鍵點的分布 48
圖4.2人體姿態區域 49
圖4.3、關鍵點偵測流程 50
圖5.1、關節自由度規範 53
圖5.2、馬達三組件 53
圖5.3、上半身前屈展示 54
圖5.4、上半身後屈展示 54
圖5.5、上半身左側屈 54
圖5.6、上半身右側屈 55
圖5.7、上半身右旋 55
圖5.8、上半身左旋 55
圖5.9、下半身前屈展示 56
圖5.10、下半身後屈展示 56
圖5.11、下半身左側屈 56
圖5.12下半身右側屈 57
圖5.13大腿前後旋 57
5.14大腿內外旋 57
圖5.14、腰畫圓動作 58
圖5.15、腰畫圓動作(續) 58
圖5.16、手尚未抬起時估測之結果 59
圖5.17、手抬起後估測之結果 59
圖5.18、反應轉動幅度之結果 59
圖5.19、無狀態 60
圖5.20、腰左右旋 60
圖5.21、上半身前後屈 61
圖5.22、上半身左右側屈 61

表目錄
表2.1、「関節可動域表示ならびに測定法」[13] 9
表2.2、鋁板材料A.A分類編號表 12
表2.3、A.A規格6061鋁板之性質 14
表3.1、封包0-3位定義 46
表3.2、封包4-7位定義 46
[1]X. B. Peng, P. Abbeel, S. Levine, and M. Panne, "DeepMimic: example-guided deep reinforcement learning of physics-based character skills," ACM Trans. Graph. Article 143, vol. 37, no. 4, pp. 14, August 2018. https://doi.org/10.1145/3197517.3201311.
[2]S. Starke, H. Zhang, T. Komura, J. Saito, H. Iwata, and S. Sugano, "Design of human symbiotic robot TWENDY-ONE," IEEE International Conference on Robotics and Automation, Kobe, Japan, May. 12-17, 2009, pp. 580-586. doi: 10.1109/ROBOT.2009.5152702.
[3]I. Mizuuchi, Y. Nakanishi, Y. Sodeyama, Y. Namiki, T. Nishino, N. Muramatsu, J. Urata, K. Hongo, T. Yoshikai, and M. Inaba, "An advanced musculoskeletal humanoid Kojiro," 7th IEEE-RAS International Conference on Humanoid Robots, Pittsburgh, PA, USA, Nov. 28-Dec. 1, 2007, pp. 294-299. doi: 10.1109/ICHR.2007.4813883.
[4]Y. Ogura, H. Aikawa, K. Shimomura, H. Kondo, A. Morishima, H, -o. Lim, and A. Takanishi, "Development of a new humanoid robot WABIAN-2," IEEE International Conference on Robotics and Automation, 2006. ICRA 2006., Orlando, FL, USA, May. 15-19, 2006, pp. 76-81. doi: 10.1109/ROBOT.2006.1641164.
[5]P. -C. Yang, S. Funabashi, M. Al-Sada, and T. Ogata, "Generating humanoid robot motions based on a procedural animation IK rig method," IEEE/SICE International Symposium on System Integration, Narvik, Norway, Jan. 9-12, 2022, pp. 491-498. doi: 10.1109/SII52469.2022.9708820.
[6]K. Kase, K. Suzuki, P. -C. Yang, H. Mori, and T. Ogata, "Put-in-box task generated from multiple discrete tasks by a humanoid robot using deep learning, "IEEE International Conference on Robotics and Automation, Brisbane, QLD, Australia, May. 21-25, 2018, pp. 6447-6452. doi: 10.1109/ICRA.2018.8460623.
[7]P. -C. Yang, K. Sasaki, K. Suzuki, K. Kase, S. Sugano, and T. Ogata, "Repeatable folding task by humanoid robot worker using deep learning, "IEEE Robotics and Automation Letters, vol. 2, no. 2, pp. 397-403, April 2017. doi: 10.1109/LRA.2016.2633383.
[8]G. A. Garcia Ricardez, S. Okada, N. Koganti, A. Yasuda, P. M. Uriguen Eljuri, T. Sano, P.-C. Yang, L. El Hafi, M. Yamamoto, J. Takamatsu, and T. Ogasawara, "Restock and straightening system for retail automation using compliant and mobile manipulation, "Advanced Robotics, vol. 34, no. 3-4, pp. 235-249, February 2020. doi:10.1080/01691864.2019.1698460.
[9]G. A. Garcia Ricardez, N. Koganti, P.-C. Yang, S. Okada, P. M. Uriguen Eljuri, A. Yasuda, L. El Hafi, M. Yamamoto, J. Takamatsu, and T. Ogasawara, "Adaptive motion generation using imitation learning and highly compliant end effector for autonomous cleaning, "Advanced Robotics, vol. 34, no. 3-4, pp. 189-201, February 2020. doi: 10.1080/01691864.2019.1698461.
[10]P. -C. Yang, N. Koganti, G. A. Garcia Ricardez, M. Yamamoto, J. Takamatsu, and T. Ogasawara, "Context dependent trajectory generation using sequence-to-sequence models for robotic toilet cleaning," 29th IEEE International Conference on Robot and Human Interactive Communication, Naples, Italy, Aug. 31-Sept. 4, 2020, pp. 932-937. doi: 10.1109/RO-MAN47096.2020.9223341.
[11]P. -C. Yang, M. Al-Sada, C. C. Chiu, K. Kuo, T. P. Tomo, K. Suzuki, N. Yalta, K. -H. Shu, and T. Ogata, "HATSUKI: an anime character like robot figure platform with anime-style expressions and imitation learning
based action generation," 9th IEEE International Conference on Robot and Human Interactive Communication, Naples, Italy, Aug. 31-Sept. 4, 2020, pp. 384-391. doi: 10.1109/RO-MAN47096.2020.9223558.
[12]M. Al-Sada, P. -C. Yang, C. C. Chiu, T. P. Tomo, M. Y. Saraiji, T. Ogata, and T. Nakajima, "From anime to reality: embodying an anime character as a humanoid robot," Association for Computing Machinery, New York, NY, USA, Article, no. 176, pp. 1-5, 2020. https://doi.org/10.1145/3411763.3451543.
[13]https://www.jarm.or.jp/member/kadou03.html
[14]詹祥閔,人形機器人機構設計與應用,淡江大學電機工程學系碩士論文(指導教授:翁慶昌),2008。
[15]https://zhuanlan.zhihu.com/p/496688145
[16]S. Zhang, W. Chen, C. Chen, and Y. Liu, "Human deep squat detection method based on MediaPipe combined with Yolov5 network," 41st Chinese Control Conference, Hefei, China, 2022, pp. 6404-6409. doi: 10.23919/CCC55666.2022.9902631.
[17]https://www.youtube.com/watch?v=06TE_U21FK4
[18]https://www.youtube.com/watch?v=RQ-2JWzNc6k&t=1622s
[19]W. Bosworth, S. Kim, and N. Hogan, "The MIT super mini cheetah: A small, low-cost quadrupedal robot for dynamic locomotion," IEEE International Symposium on Safety, Security, and Rescue Robotics, West Lafayette, IN, USA, Oct. 18-20, 2015, pp. 1-8. doi: 10.1109/SSRR.2015.7443018.
[20]https://www.bostondynamics.com/products/spot
[21]https://www.plexpert.ca/zh/glossary/%E6%9D%A8%E6%B0%8F%E6%A8%A1%E9%87%8F%EF%BC%88youngs-modulus%EF%BC%89/
連結至畢業學校之論文網頁點我開啟連結
註: 此連結為研究生畢業學校所提供,不一定有電子全文可供下載,若連結有誤,請點選上方之〝勘誤回報〞功能,我們會盡快修正,謝謝!
QRCODE
 
 
 
 
 
                                                                                                                                                                                                                                                                                                                                                                                                               
第一頁 上一頁 下一頁 最後一頁 top