臺灣博碩士論文加值系統

三維世界中的物體，能讓使用者藉由輸入裝置控制，進行物體的翻轉、縮放動作，利於觀察各種不同角度下所隱藏的細節或不容易看見的部分，但仍有文獻指出，使用觸控來控制三維物件還是有許多問題，尤其是在螢幕較小的智慧型移動平台上。本研究整理出目前多點觸控手勢的問題，希望並結合語音辨識與觸控手勢設計出一個多模式的三維控制系統，以解決目前三維控制的使用問題。研究方法採用使用性量表與績效測量，並以傳統單模式多點觸控手勢系統作為實驗對照組，借此比較此多模式系統之使用性是否比傳統單模式系統更佳。實驗結果發現，本研究之多模式系統較單模式系統更能減少點擊螢幕次數。在使用性評估方面，受測者給予本研究多模式系統較高的滿意度。

Manipulating 3D objects is a challenging task on smart mobile devices with multi-touch screen. This study explores and evaluates how touch input and intuitive speech recognition can be combined in a multimodal interface for 3D object manipulation. In this study, the analysis compares usability data (ease of use, ease of learning, frustration and ease of performed task), and quantitative data (time and number of touch) collected during implementations of multimodal systems and conventional multi-touch interfaces. Researches show that the proposed multimodal system has less operations performed on the touch screen than that of multi-touch interface. For usability testing, users show higher degree of satisfaction in our system.

目錄

摘要 i
Abstract ii
目錄 iii
表目錄 v
圖目錄 vi
第一章 緒論 1
第一節 研究背景與動機 1
第二節 研究目的與問題 3
一. 研究目的 3
二. 研究問題 3
第三節 研究範圍與限制 4
第二章 文獻探討 5
第一節 互動設計與使用者介面 5
一. 人機互動 5
二. 自然使用者介面 7
三. 多模式互動 8
四. 人機介面之使用性 9
五. 使用性評估方法 10
六. 使用性量表 11
第二節 觸控手勢 14
一. 觸控螢幕技術 14
二. 觸控手勢型態 15
三. 觸控介面議題 16
第三節 語音辨識 18
一. 技術的分類 18
第四節 三維物件控制 20
一. 控制技術 20
二. 體感互動與三維物件控制的發展 25
第五節 小結 26
第三章 研究方法與系統設計 27
第一節 研究架構 27
一. 分析規劃階段 27
二. 系統開發階段 27
三. 修正評鑑階段 27
第二節 研究方法 29
一. 績效測量任務 29
二. 問卷調查 29
第三節 多模式系統設計 30
一. 系統架構 30
二. 設計理念 31
三. 開發環境與研究工具 32
四. 介面設計與操作方式 32
五. 任務流程 37
六. 實驗任務設計 39
第四節 實驗設計與實施 44
一. 實驗對象 44
二. 實驗裝置與環境 44
三. 實驗流程 45
第四章 實驗分析與討論 47
第一節 受測背景資料統計 47
一. 基本資料分佈 47
二. 使用經驗分析 48
第二節 實驗資料分析 50
一. 操作任務績效分析 50
二. 使用性尺度量表分析 64
三. 使用者互動滿意度量表分析 65
四. 工作負荷指標量表分析 69
第三節 實驗觀察 75
一. 多模式系統 75
二. 單模式系統 76
第五章 結論與建議 77
第一節 結論 77
第二節 後續研究建議 79
參考文獻 81
附錄一 實驗問卷 87

表目錄
表 2 1 觸控的優點與缺點 14
表 3 1 多模式系統操作描述 35
表 3 2 多模式系統與單模式系統手指操作對照表 36
表 3 3 任務內容說明表 39
表 4 1 受測者性別分布表 47
表 4 2 受測者年齡分布表 48
表 4 3 觸控裝置使用經驗分佈表 48
表 4 4 三維操作軟體使用經驗分佈表 49
表 4 5 任務一完成時間敘述統計表 51
表 4 6 任務一手勢使用次數敘述統計表 51
表 4 7 任務二完成時間敘述統計表 52
表 4 8 任務二手勢使用次數敘述統計表 52
表 4 9 任務三完成時間敘述統計表 54
表 4 10 任務三手勢使用次數敘述統計表 54
表 4 11 任務四完成時間敘述統計表 56
表 4 12 任務四手勢使用次數敘述統計表 56
表 4 13 任務五完成時間敘述統計表 58
表 4 14 任務五手勢使用次數敘述統計表 58
表 4 15 任務六完成時間敘述統計表 60
表 4 16 任務六手勢使用次數敘述統計表 60
表 4 17 任務七完成時間敘述統計表 62
表 4 18 任務七手勢使用次數敘述統計表 62
表 4 19 使用性尺度敘述統計表 64
表 4 20 系統整體看法敘述統計表 65
表 4 21 系統效能敘述統計表 66
表 4 22 學習敘述統計表 67
表 4 23 介面呈現敘述統計表 68
表 4 24 心智負荷敘述統計表 69
表 4 25 身體負荷敘述統計表 70
表 4 26 時間負荷敘述統計表 71
表 4 27 精神耗費敘述統計表 72
表 4 28 表現績效敘述統計表 73
表 4 29 挫折程度敘述統計表 74

圖目錄
圖 2 1 心智模式與設計模式的關係 6
圖 2 2 多模式互動關係 8
圖 2 3 觸控螢幕上常用手勢 15
圖 2 4 三維物件對應二維螢幕之軸向示意圖 20
圖 2 5 視覺基礎介面 21
圖 2 6 控制器基礎介面 22
圖 2 7 六軸控制器 23
圖 2 8 多角度控制器 23
圖 2 9 虛擬球映射到螢幕上 24
圖 2 10 虛擬球點選示意圖 24
圖 3 1 研究架構圖 28
圖 3 2 系統設計圖 30
圖 3 3 控制功能說明 33
圖 3 4 手指點擊位置決定軸向 34
圖 3 5 手指滑動距離轉換數值 34
圖 3 6 任務執行環境圖 37
圖 3 7 任務操作流程圖 38
圖 3 8 任務一：測試旋轉示意圖 40
圖 3 9 任務二：測試移動示意圖 40
圖 3 10 任務三：測試縮放示意圖 41
圖 3 11 任務四：測試旋轉與移動示意圖 41
圖 3 12 任務五：測試移動與縮放示意圖 42
圖 3 13 任務六：測試縮放與旋轉示意圖 42
圖 3 14 任務七：測試旋轉、移動與縮放示意圖 43
圖 3 15 實驗使用裝置 44
圖 3 16 實驗流程 46
圖 4 - 1 任務一：平均完成時間比較 51
圖 4 - 2 任務二：平均手勢使用次數比較 51
圖 4 - 3 任務二：平均完成時間比較 53
圖 4 - 4 任務二：平均手勢使用次數比較 53
圖 4 - 5 任務三：平均完成時間比較 55
圖 4 - 6 任務三：平均手勢使用次數比較 55
圖 4 - 7 任務四：平均完成時間比較 57
圖 4 - 8 任務四：平均手勢使用次數比較 57
圖 4 - 9 任務五：平均完成時間比較 59
圖 4 - 10 任務五：平均手勢使用次數比較 59
圖 4 - 11 任務六：平均完成時間比較 61
圖 4 - 12 任務六：平均手勢使用次數比較 61
圖 4 - 13 任務七：平均完成時間比較 63
圖 4 - 14 任務七：平均手勢使用次數比較 63
圖 4 - 15 系統整體看法比較 65
圖 4 - 16 系統效能比較 66
圖 4 - 17 學習比較 67
圖 4 - 18 介面呈現比較 68
圖 4 - 19 心智負荷比較 69
圖 4 - 20 身體負荷比較 70
圖 4 - 21 時間負荷比較 71
圖 4 - 22 精神負荷比較 72
圖 4 - 23 表現績效比較 73
圖 4 - 24 挫折程度比較 74

中文文獻：
王怡萱、楊叔卿、張智星(2010)。可觸式學習同伴融入國小英語口說練習學習效益探討。數位學習科技期刊，2(1)，33-44。
陳建雄（譯）(2006)。互動設計 (原作者：Preece, J., Rogers, Y. & Sharp , H.)。台北市：全華科技圖書股份有限公司。

英文文獻：
Brooke, J. (1996). SUS: A quick and dirty usability scale. In P. Jordan, B. Thomas, B. Weerdmeester, & I. McClelland (Eds.), Usability evaluation in industry (pp. 189-194). London: Taylor & Francis.
Catanese, P.(2001).Director's third dimension: Fundamentals of 3D programming in Director 8.5.Indiana:Que.
Choi, M., & Kim, G. J. (2009, April). TouchBall: a design and evaluation of a hand-held trackball based touch-haptic interface. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (pp. 1535-1538). ACM.
Chen, M., Mountford, S. J., & Sellen, A. (1988, June). A study in interactive 3-D rotation using 2-D control devices. In ACM SIGGRAPH Computer Graphics(Vol. 22, No. 4, pp. 121-129). ACM.
Decle, F., & Hachet, M. (2009, September). A study of direct versus planned 3d camera manipulation on touch-based mobile phones. In Proceedings of the 11th International Conference on Human-Computer Interaction with Mobile Devices and Services (p. 32). ACM.
Dang, N. T., Tavanti, M., Rankin, I., & Cooper, M. (2009). A comparison of different nput devices for a 3D environment. International Journal of Industrial Ergonomics, 39(3), 554-563.
Foley, J. D. (1987). Interfaces for Advanced Computing. Scientific American, 257(4), 126-135.
Fu, C. W., Goh, W. B., & Ng, J. A. (2010, April). Multi-touch techniques for exploring large-scale 3D astrophysical simulations. In Proceedings of the 28th international conference on Human factors in computing systems (pp. 2213-2222). ACM.
Froehlich, B., Hochstrate, J., Skuk, V., & Huckauf, A. (2006, April). The globefish and the globemouse: two new six degree of freedom input devices for graphics applications. In Proceedings of the SIGCHI conference on Human Factors in computing systems (pp. 191-199). ACM.
Fiorella, D., Sanna, A., & Lamberti, F. (2010). Multi-touch user interface evaluation for 3D object manipulation on mobile devices. Journal on Multimodal User Interfaces, 4(1), 3-10.
Henneman, R. L. (1999). Design for usability: process, skills, and tools.Information, Knowledge, Systems Management, 1(2), 133-144.
Hoc, J. M. (2000). From human–machine interaction to human–machine cooperation. Ergonomics, 43(7), 833-843.
Hancock, M., Carpendale, S., & Cockburn, A. (2007, April). Shallow-depth 3d interaction: design and evaluation of one-, two-and three-touch techniques. Proceedings of the SIGCHI conference on Human factors in computing systems (pp. 1147-1156). ACM.
Hachet, M., Decle, F., Knödel, S., & Guitton, P. (2009). Navidget for 3D interaction: Camera positioning and further uses. International Journal of Human-Computer Studies, 67(3), 225-236.
Herrlich, M., Walther-Franks, B., & Malaka, R. (2011, January). Integrated rotation and translation for 3d manipulation on multi-touch interactive surfaces. In Smart Graphics (pp. 146-154). Springer Berlin Heidelberg.
Hart, S. G., & Staveland, L. E. (1988). Development of NASA-TLX (Task Load Index): Results of empirical and theoretical research. Human mental workload,1(3), 139-183.
Henriksen, K., Sporring, J., & Hornbæk, K. (2004). Virtual trackballs revisited.Visualization and Computer Graphics, IEEE Transactions on, 10(2), 206-216.
Hancock, M., Ten Cate, T., & Carpendale, S. (2009). Sticky Tools: Full 6DOF Force-Based Interaction for Multi-Touch Tables. Proceedings of the ACM International Conference on Interactive Tabletops and Surfaces, 11(6), 133–140.
Jaimes, A., & Sebe, N. (2007). Multimodal human–computer interaction: A survey. Computer Vision and Image Understanding,108, 116-134.
Katzakis, N., & Hori, M. (2010, March). Mobile devices as multi-DOF controllers. In 3D User Interfaces (3DUI), 2010 IEEE Symposium on (pp. 139-140). IEEE.
Kwon, S., Lee, D., & Chung, M. K. (2009). Effect of key size and activation area on the performance of a regional error correction method in a touch-screen QWERTY keyboard. International Journal of Industrial Ergonomics, 39(5), 888-893.
Liu, J., Au, O. K. C., Fu, H., & Tai, C. L. (2012, September). Two‐Finger Gestures for 6DOF Manipulation of 3D Objects. In Computer Graphics Forum(Vol. 31, No. 7pt1, pp. 2047-2055). Blackwell Publishing Ltd.
Liang, H.-N., Williams, C., Semegen, M., Stuerzlinger, W., & Irani, P. (2012). User-defined surface+motion gestures for 3d manipulation of objects at a distance through a mobile device. Proceedings of the 10th asia pacific conference on Computer human interaction (pp. 299–308). New York, NY, USA: ACM. doi:10.1145/2350046.2350098
Lindberg, T., & Näsänen, R. (2003). The effect of icon spacing and size on the speed of icon processing in the human visual system. Displays, 24(3), 111-120.
Martinet, A., Casiez, G., & Grisoni, L. (2010, March). The design and evaluation of 3d positioning techniques for multi-touch displays. In 3D User Interfaces (3DUI), 2010 IEEE Symposium on (pp. 115-118).
Norman, D. A. (1990). The design of every day things. New York: Basic Books Inc.
Nielsen, J. (1993). Usability Engineering. San Francisco: Morgan Kaufmann.
Näsänen, R., & Ojanpää, H. (2003). Effect of image contrast and sharpness on visual search for computer icons. Displays, 24(3), 137-144.
Oviatt, S. (1999). Ten myths of multimodal interaction. Communications of the ACM, 42(11), 74-81.
Pentland, A. (2008). Understanding ‘honest signals’ in business. MIT’s Journal of Management Research and Ideas, 50, 70-75.
Preece, J., Careey, T., Rogers, Y., Holland, S., Sharp, H. & Benyon, D. (1994). Human-Computer Interaction, New Jersey: Addison-Wesley.
Rafaeli, S. (1988). Interactivity: From new media to communication. In R.P. Hawkins, J. M. Wiemann, & S. Pingree (Eds.),Sage annual review of communication research: Advancing communication science, Volume 16, (pp. 110-134). Beverly Hills, CA:Sage.
Reisman, J. L., Davidson, P. L., & Han, J. Y. (2009, October). A screen-space formulation for 2D and 3D direct manipulation. In Proceedings of the 22nd annual ACM symposium on User interface software and technology (pp. 69-78). ACM.
Saffer, D. (2009). Designing gestural interfaces.Sebastopol, CA: O’Reilly Media.
Sharma, A., Madhvanath, S., Shekhawat, A., & Billinghurst, M. (2011). MozArt: a multimodal interface for conceptual 3D modeling. Proceedings of the 13th international conference on multimodal interfaces (pp. 307–310). New York, NY, USA: ACM. doi:10.1145/2070481.2070538
Sears, A., Revis, D., Swatski, J., Crittenden, R., & Shneiderman, B. (1993). Investigating touchscreen typing: the effect of keyboard size on typing speed.Behaviour & Information Technology, 12(1), 17-22.
Sears, A., & Shneiderman, B. (1991). High precision touchscreens: design strategies and comparisons with a mouse. International Journal of Man-Machine Studies, 34(4), 593-613.
Schmidt, R., Singh, K., & Balakrishnan, R. (2008, April). Sketching and composing widgets for 3d manipulation. In Computer Graphics Forum (Vol. 27, No. 2, pp. 301-310). Blackwell Publishing Ltd.
Vogel, D., Cudmore, M., Casiez, G., Balakrishnan, R., & Keliher, L. (2009, April). Hand occlusion with tablet-sized direct pen input. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (pp. 557-566). ACM.
Vogel, D., & Casiez, G. (2012, May). Hand occlusion on a multi-touch tabletop. In Proceedings of the 2012 ACM annual conference on Human Factors in Computing Systems (pp. 2307-2316). ACM.
Valkov, D., Steinicke, F., Bruder, G., & Hinrichs, K. (2010, March). A multi-touch enabled human-transporter metaphor for virtual 3D traveling. In 3D User Interfaces (3DUI), 2010 IEEE Symposium on (pp. 79-82). IEEE.
Yu, L., Svetachov, P., Isenberg, P., Everts, M. H., & Isenberg, T. (2010). FI3D: Direct-touch interaction for the exploration of 3D scientific visualization spaces.Visualization and Computer Graphics, IEEE Transactions on, 16(6), 1613-1622.

網路文獻:
QUIS (2006). About the QUIS, version 7.0. College Park, MD: Cooliris. Retrieved October 31, 2009, from the World Wide Web:http://lap.umd.edu/quis/