(3.235.139.152) 您好!臺灣時間:2021/05/11 06:31
字體大小: 字級放大   字級縮小   預設字形  
回查詢結果

詳目顯示:::

: 
twitterline
研究生:王聖達
研究生(外文):Sheng Ta Wang
論文名稱:結合擴增實境技術之手術導引系統
論文名稱(外文):An Image Guided Surgery System with Augmented Reality
指導教授:李建德李建德引用關係
指導教授(外文):J. D. Lee
學位類別:碩士
校院名稱:長庚大學
系所名稱:電機工程學研究所
學門:工程學門
學類:電資工程學類
論文種類:學術論文
論文出版年:2008
畢業學年度:96
論文頁數:78
中文關鍵詞:擴增實境立體視覺斷層掃描影像對位加速型表面對位演算法
外文關鍵詞:augmented realitystereo visionCT imagesregisteredFast Marker-added ICP
相關次數:
  • 被引用被引用:20
  • 點閱點閱:1672
  • 評分評分:系統版面圖檔系統版面圖檔系統版面圖檔系統版面圖檔系統版面圖檔
  • 下載下載:278
  • 收藏至我的研究室書目清單書目收藏:3
本論文中,我們提出了一套完整結合擴增實境技術之手術導引系統。首先利用校正後的兩部攝影機以雙攝影機立體視覺技術,配合投影機的投影細線,擷取出患者顱顏表面的點座標資料,以獲得的點資料與該患者術前拍攝之斷層掃描影像所擷取出的表面資料進行對位,其對位方法是利用所開發的以ICP對位演算法為基礎之加速型表面對位演算法進行對位,其運算時間為Marker-added ICP [11] 之1/9到1/10,在準確性上也維持在1~2mm。對位後得以獲得進一步即時術中導引的功能。此外,本系統更利用以投影為基底的擴增實境顯影方式,將斷層掃描影像所呈現的內部組織資訊以及醫生術前規劃的入刀點投影顯示在該患者身上,已達到輔助外科醫生進行腦部手術的功能。
In this study, an image-guided surgery system with augmented reality has been proposed. First, a patient’s facial data is captured by using stereo vision, whose accuracy is improved by projecting parallel-line patterns by a LCD projector. Meanwhile, another facial data extracted from the patient’s pre-stored CT images is imported. Two facial data are then registered by a proposed ICP-based algorithm named Fast Marker-added ICP (FM-ICP) in order to map the anatomical information from CT to the real world in an operation room. FM-ICP utilizes Harris corner detection algorithm to extract feature points, and only the feature points are involved in the further registration. For Comparing to M-ICP [11], the computing time of FM-ICP is only 1/9 to 1/10 but the accuracy is almost the same, approximately 1~2 mm. In addition, the digital patient’s anatomical information obtained from CT can be projected to the patient’s head in the real world by the projector, providing doctors an immersive augmented-reality environment for surgical operations.
目錄

指導教授推薦書 i
口試委員審定書 ii
長庚大學博碩士紙本論文著作授權書 iii
國家圖書館博碩士論文電子檔上網授權書 iv
誌謝 v
中文摘要 vi
英文摘要 vii
目錄 viii
圖目錄 x
表目錄 xiii
第一章 緒論 1
1.1 研究背景與動機 1
1.2 研究目的 2
1.3 系統流程 3
1.4 論文架構 4
第二章 系統對位演算法 5
2.1 相關演算法探討 5
2.1.1 Harris Corner Detector演算法 6
2.1.2 Marker對位演算法 7
2.1.3 Iterative closest point (ICP) 對位演算法 9
2.1.4 Marker-added ICP對位演算法 14
2.2 Fast Marker-added ICP對位演算法 15
第三章 導引器具整合及擴增實境顯影 19
3.1 空間導引器具 19
3.1.1 機械式空間位置追蹤儀器 20
3.1.2 光學式空間位置追蹤儀器 21
3.1.3 電磁式空間位置追蹤儀器 23
3.2 導引器具整合 25
3.3 擴增實境顯示 31
3.4 擴增實境顯示所遇到之問題討論 33
第四章 實驗結果與分析 35
4.1 手術導引系統開發成果 35
4.1.1 硬體設備與系統流程 35
4.1.2 操作環境與操作流程 36
4.2 手術導引器具穩定度及準確度實驗 38
4.3 整體對位導引準確度實驗 40
4.3.1 對位前處理 42
4.3.2 Fast Maker-added ICP演算法準確度實驗 46
4.4 擴增實境投影及入刀點準確性量測實驗 51
4.5 系統功能操作 53
第五章 結論與未來展望 61
參考文獻 62

圖目錄

圖1-1 立體定位框架式手術 2
圖1-2 標記物式手術 2
圖1-3 以投影機為基礎的擴增實境顯示硬體架構圖 3
圖1-4 系統流程 4
圖2-1 座標系統轉換的關係示意圖 9
圖2-2 ICP流程圖 10
圖2-3 ICP收斂示意圖 13
圖2-4 非重疊區對於搜尋點的影響 14
圖2-5 M-ICP演算法流程圖 15
圖2-6 Fast Marker-added ICP演算法流程圖 16
圖3-1 MicroScribe G2 Digitizer機械式空間位置追蹤儀器 21
圖3-2 POLARISTM 系統 22
圖3-3 電磁式空間位置追蹤儀器 24
圖3-4 傳統導引設備整合為導航設備方式 25
圖3-5 利用立體視覺方式將導引設備整合為導航設備 26
圖3-6 間接導航模式流程圖 26
圖3-7 間接導航模式示意圖 27
圖3-8 間接導航座標系轉換 29
圖3-9 棋盤格計算參考點座標系 30
圖3-10 棋盤格排序與定義 30
圖3-11 座標轉換幾何示意圖 30
圖3-12 以投影機式為基底的擴增實境顯影會先在病人身上貼上標記物,再去拍攝CT或MRI影像 31
圖3-13 以投影機式為基礎的擴增實境顯影方式流程圖 32
圖3-14 投影縮放比示意圖 34
圖4-1 腦部手術對位導航系統流程圖 37
圖4-2 導航系統操作環境 37
圖4-3 準確度評估之校正塊 39
圖4-4 腦部手術導引系統之對位演算法流程圖 40
圖4-5 霍夫圓偵測之結果:(a)左攝影機影像 ; (b)右攝影機影像 41
圖4-6 色彩偵測之結果:(a)左攝影機影像 ; (b)右攝影機影像 41
圖4-7 參考資料 (a) 假體人頭;(b)選取感興趣的2D影像切片;(c)假體人頭臉部的三維點資料 43
圖4-8 左右攝影機擷取顱顏表面的細線 43
圖4-9 深度計算示意圖 44
圖4-10 臉部掃描立體視覺資料 44
圖4-11 假體上之5個標記物點 45
圖4-12 特徵點數多寡與FM-ICP對位演算法強健性評估 47
圖4-13 介面上選取一入刀點 51
圖4-14 擴增實境投影顯示入刀點及CT剖面圖 52
圖4-15 (a)結合導引器具將入刀點及CT剖面資訊投影至假體上;(b)結合導引器具將入刀點投影至實際真人上 52
圖4-16 系統主視窗介面圖 54
圖4-17 立體視覺操作區 55
圖4-18 立體點群座標 56
圖4-19 選取2D特徵點介面 56
圖4-20 重建出3D特徵點 57
圖4-21 特徵點進行初對位完後結果 57
圖4-22 排除雜訊點 58
圖4-23 FM-ICP對位演算法對位後結果圖 58
圖4-24 初始化導引儀器 59
圖4-25 導引儀器初始化後出現之功能 60
圖4-26 導引儀器空間整合視窗 60

表目錄

表3-1 各類空間導引追蹤系統比較表 19
表3-2 機械式 MicroScribe G2 Digitizer 硬體規格表 21
表3-3 光學式POLARISTM 系統硬體規格表 22
表3-4 電磁式空間位置追蹤儀器硬體規格表 24
表4-1 單一點靜態測試誤差評估表 38
表4-2 點與點之間靜態測試誤差評估表 39
表4-3 特徵點數多寡與FM-ICP對位演算法強健性評估(mm) 46
表4-4 初始對位誤差評估表 48
表4-5 FM-ICP與M-ICP誤差及運算時間評估表 49
表4-6 FM-ICP演算法對位後結合導引器具準確度誤差評估表 50
表4-7 投影入刀點誤差分析表 53
參考文獻

[1] J. Zhang, M. F. Levesque and C. L. Wilson, “Multimodality Imaging of Brain Structures for Stereotactic Surgery,” Radiology, vol. 175, no. 2, pp. 435-441, 1990.
[2] D. J. Hawkes , D. L. G. Hill and E. D. Lehmann, “Computer-aided interpretation of SPECT images of the brain using an MRI-derived 3D neuro-anatomical atlas,” Medical Informatics, vol. 16, no. 2, pp. 151-166, 1991.
[3] J. D. Lee, S. S. Hsieh, C. H. Huang, L. C. Liu, C. T. Wu, S. T. Lee and J. F. Chen, “An Adaptive ICP Registration For Facial Point Data,” In Proceedings of the International Conference on Pattern Recognition, vol. 4, pp. 20-24, 2006.
[4] K. H. Strobl and G. Hirzinger, “Optimal hand-eye calibration,” In Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2006), pp. 4647-4653, 2006.
[5] J. P. Tardie, S. Roy and J. Meunier, “Projector-Based Augmented Reality in Surgery withLout Calibration,” In Proceedings of the 25TH Annual lntemational Conference of the IEEE EMBS, pp. 17-21, Mexico, 2003.
[6] P. J. Besl and N. D. McKay, “A method for registration of 3D shapes,” IEEE Transactions on Pattern Analysis and Machine Intelligence , vol. 14, no. 2, pp. 239-256, 1992.
[7] J. L. Bentley, “Multi-dimensional binary search trees used for associative searching,” Communications of the Association for Computing Machinery, vol. 18, no. 9, pp. 509-517, 1975.
[8] M. Greenspan and M. Yurick, “Approximate K-D tree search for efficient ICP,” In Proceedings of the Fourth International Conference on 3-D Digital Imaging and Modeling, pp. 442-448, 2003.
[9] J. D. Lee, S. S. Hsieh, C. H. Huang, L. C. Liu, C. T. Wu, J. F. Chen, and S. T. Lee,“ Double AKD-Tree search method for ICP methods,” In Proceedings of Biomedical Engineering Society 2005 Annual Symposium, vol. 3, pp. 3, 2005.
[10] J. D. Lee, S. S. Hsieh, C. H. Huang, L. C. Liu, C. T. Wu, J. F. Chen, and S. T. Lee, “Adaptive dual AKD-Tree search algorithm for ICP registration applications,” In Proceedings of International Conference on Multimedia and Expo, pp. 177-180, 2006.
[11] J. D. Lee, T. Y. Lan, and C. H. Huang, “A Coarse-to-fine Surface Registration Algorithm for Frameless Brain Surgery,” In Proceedings of International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), pp. 836-839, 2007.
[12] C. Harris and M. Stephens, “A Combined Corner and Edge Detector,” 4th Alvey Vision Conference, pp.147-151, 1988.
[13] D. G. Lowe, “Distinctive Image Features from Scale-Invariant Keypoints,” International Journal of Computer Vision, vol. 60, no. 2, pp.91-110, 2004.
[14] POLARIS Instruction Manual.
[15] F. J. Ferrin “Survey of helmet tracking technologies,” Large Screen Projection, Avionic, and Helmet-Mounted Displays, SPIE, vol. 1456, pp. 86-94, 1991.
[16] Northern Digital Inc. http://www .ndigital.com/
[17] D. J. Hawkes , D. L. G. Hill and E. D. Lehmann, “Computer-aided interpretation of SPECT images of the brain using an MRI-derived 3D neuro-anatomical atlas,” Medical Informatics, vol. 16, no. 2, pp. 151-166, 1991.
[18] J. Yang, J. Qian, J. Yang, Z. Fu, “Research on Computer Aided Surgical Navigation Based on Binocular Stereovision,” IEEE International Conference on Mechatronics and Automation(ICMA2006), art. no. 4026317, pp. 1532-1536, 2006.
[19] H. Delingette, X. Pennec, L. Soler, J. Marescaux and N. Ayache, “Computational Models for Image-Guided Robot-Assisted and Simulated Medical Interventions,” Proceedings of the IEEE, vol. 94,no. 9, pp. 1678-1688 ,2006.
[20] C. Paloc, E. Carrasco, I. Macia, R. Gomez, I. Barandiaran, J. M. Jimenez et al,” Computer-Aided Surgery based on Auto-Stereoscopic Augmented Reality,” In Proceedings of the Eighth International Conference on Information Visualisation (IV’04), pp. 189-193 ,2004.
[21] 林長慶,”人體掃瞄機之研發與其點資料處理之研究,”國立成功大學機械工程研究所碩士論文,2003.
[22] Visualization ToolKit Inc.http://www.vtk.org/
[23] Matrox Inc.http://www.matrox.com/imaging/products/mil/home.cfm/
[24] OpenCV Inc.http://www.opencv.org.cn/index.php/
[25] 林仲偉,”電腦視覺技術於腦部手術導航系統之應用,”長庚大學醫療機電工程研究所碩士論文,2007.
[26] 藍智彥,”具多種類影像對位功能之腦部手術定位系統,”長庚大學電機工程研究所碩士論文,2007.
QRCODE
 
 
 
 
 
                                                                                                                                                                                                                                                                                                                                                                                                               
第一頁 上一頁 下一頁 最後一頁 top
無相關期刊
 
系統版面圖檔 系統版面圖檔