(3.237.97.64) 您好!臺灣時間:2021/03/03 01:54
字體大小: 字級放大   字級縮小   預設字形  
回查詢結果

詳目顯示:::

我願授權國圖
: 
twitterline
研究生:廖副志
研究生(外文):Fu-Chih Liao
論文名稱:具舌位與唇形資訊之虛擬人臉研究
論文名稱(外文):A Study of an AudioVisual Virtual Talking Head: 3D Articulatory Modeling of Tongue and Lips
指導教授:陳有圳
指導教授(外文):Yeou-Jiunn Chen
學位類別:碩士
校院名稱:南台科技大學
系所名稱:電機工程系
學門:工程學門
學類:電資工程學類
論文種類:學術論文
論文出版年:2008
畢業學年度:96
語文別:中文
論文頁數:49
中文關鍵詞:三維虛擬人臉動畫多媒體電腦輔助介面聽覺障礙
外文關鍵詞:3D virtual facial animationmultimedia computer assisted interfacehearing impairment
相關次數:
  • 被引用被引用:2
  • 點閱點閱:186
  • 評分評分:系統版面圖檔系統版面圖檔系統版面圖檔系統版面圖檔系統版面圖檔
  • 下載下載:35
  • 收藏至我的研究室書目清單書目收藏:6
近年來3D虛擬人臉動畫(3D Virtual Facial Animation)之應用日漸廣泛,諸如娛樂、網路資訊與教育學習之電腦多媒體介面設計與應用方面,應用電腦多媒體技術之輔助介面能有效教育學習品質與學習效率,尤其在於聽語障兒童之溝通教育學習方面。本論文應用3D虛擬臉部動畫之回饋介面,給予聽障兒在語言與學習上之輔助;首先利用語音長度模組於兩階段語音切割技術以協助3D合成動畫各基本單元之語音長度資料標記;應用逐次前饋式搜尋法演算法於語音斷點切割,採用賀德臨t檢定於子音接母音或者母音接子音之語音斷點決定準則,應用貝氏訊息準則於母音接母音之語音斷點決定準則,透過決策樹建構最佳化之語音長度模組,整合語音長度模組於兩階段語音切割以提升系統效能。在3D動畫之建構與合成方面,整合語言學知識與2D發音口腔動畫分別對於舌位與唇形模型之建置與針對華語發音動畫之虛擬合成輸出;利用B-spline曲線進行動畫之合成單元的串接平滑化處理。經由初步實驗結果顯示本系統整合語音切割與回饋動畫之滿意度與實用性,並可應用於溝通教育學習。
3D virtual facial animation had been widely used in many applications and is very helpful to learning, especially hearing impaired children. It can be used to improve their language learning and communication abilities. In this paper, a 3D virtual facial animation including lip and tongue information is proposed to provide multi-model feedback such as speech signal, lip motion, and tongue motion. First, a two-stage speech segmentation is applied to estimate the duration of synthesis units for 3D facial animation in a synthesized speech. In two-stage speech segmentation, a sequential forward selection algorithm is applied to detect the boundaries of synthesis units form speech signal. Then, the boundaries for consonant following vowel and vowel following vowel are identified by Hotelling’s T2 test and Bayesian information criterion, respectively. Finally, the duration model based on decision trees is integrated to improve the performance of segmentation. Secondary, integrating linguistic knowledge and 2D articulation animation, the tongue and lip parameter units can be developed. Moreover, parametric 3D tongue and lip movement models smoothed and interpolated by B-spline to eliminate the jerkiness. Integrating boundaries information, the speech-synching can be easily accomplished. The experimental results for speech segmentation and 3D virtual facial animation feedback show that the system is feasible.
目錄
摘要 ii
誌謝 iv
目錄 v
表目錄 vii
圖目錄 viii
第1章 緒論 1
1.1 研究背景與動機 1
1.2 研究目的 2
第2章 文獻回顧 4
2.1 聽覺障礙之影響 4
2.2 3D虛擬合成臉部動畫 5
2.3 舌位分析相關研究 8
2.4 電腦輔助教學對於學習之幫助 9
2.5 電腦多媒體之回饋介面 10
第3章 研究架構與方法 14
3.1 整合長度模型之兩階段語音切割 15
3.2 3D動畫合成建立 22
3.2.1 動畫模型定義 22
3.2.2 動畫合成 27
第4章 實驗結果與討論 30
4.1 華語語音訊號切割實驗 30
4.1.1 IF邊界切割實驗 30
4.1.2 語音段落邊界切割實驗 31
4.1.3 決策樹於語音長度模組實驗 33
4.2 動畫回饋介面與效果評估 35
第5章 結論與未來方向 39
5.1 結論 39
5.2 未來方向 39
參考文獻 41
附錄一 47
附錄二 49
參考文獻
【1】林寶貴,聽覺障礙較育與復健,五南圖書出版社,民83年。
【2】林玉霞,聽覺障礙,國立彰化師範大學特殊教育研究所,未出版,民89年。
【3】林寶貴,聽覺障礙較育理論與實務,五南圖書出版社,民95年。
【4】M. L. Hsiao, P. T. Li and P. Y. Lin, “A Computer Based Software for Hearing Impaired Children’s Speech Training and Learning Between Teacher and Parents in Taiwan, ” IEEE Trans. Engineering in Medicine and Biology Society, Vol. 2, pp. 1457-1459, 2001.
【5】黃景威,構音異常評估及構音教學活動平台設計之研究,碩士論文,南台科技大學電機工程研究所,民96年。
【6】臺大華語,http://chinese.ntu.edu.tw/。
【7】H. N. Ting, J. Yunus, S.Vandort and L. C. Wong, “Computer-based Articulation Training for Malay Plosives at Isolated, Syllable and Word Level, ” IEEE Trans. Information, Communications and Signal Processing, Vol. 3, pp. 1423-1426, 2003.
【8】O. Balter, O. Engwall, A.M. Oster, and H. Kjellstrom, “Wizard-of-Oz Test of ARTUR – a Computer-Based Speech Training Sysytem with Articulation Correction, ” ACM SIGACCESS Conference on Assistive Technologies, pp. 36-43, 2005.
【9】D. Ling, “Speech and The Hearing Impaired Child: Theory and Practice, ” Washington, DC: Alexander Graham Bell Association, 1976.
【10】林寶貴、李真賢,聽覺障礙學生語文能力之研究,教育學院學報,12期,1-27頁,國立台灣教育學院,民76年。
【11】林寶貴、錡寶香,高職階段聽覺障礙學生國語文與數學能力之研究,特殊教育研究學刊,7期,109-127頁,國立台灣師範大學特殊教育中心,民80年。
【12】林寶貴、黃玉枝,聽障學生國語文能力及錯誤類型之分析,特殊教育研究學刊,15期,109-129頁,民86年。
【13】A. Geers, J. Moog, “Factors Predictive of the Development of Literacy in Profoundly Hearing-impaired Adolescents, ” Volta Review, Vol. 91, pp. 69-86, 1989.
【14】J. A. Holt, “Stanford Achievement Test – 8th Edition: Reading Comprehension Subgroup Results, ” American Annals of the Deaf, Vol. 138, pp. 172-175, 1993.
【15】張蓓莉,聽覺障礙學生之語言能力研究,特殊教育研究學刊,5期,165-204頁,民78年。
【16】錡寶香,聽覺障礙學生閱讀理解能力之分析,特殊教育學報,14期,155-187頁,民89年。
【17】錡寶香,聽覺障礙學生的閱讀教學,特教園丁,11(4),6-11頁,民85年。
【18】G. W. Ladd, H. L. Munson, and J. K. Miller, “Social Integration of Deaf Adolescents in Secondary-level Mainstreamed Programs, ” Exceptional Children, Vol. 50, pp. 420-428, 1984.
【19】R. Loeb, P. Sarigani, “The Impact of Hearing Impairment on Self-perceptions of Children, ” The Volta Review, Vol. 88, pp. 89-100, 1986.
【20】J. Ostermann , A. Weissenfeld, “Talking Faces - Technologies and Applications, ” IEEE Trans. Pattern Recognition, Vol. 3, pp. 826-833, 2004.
【21】Y. C. Lee, D. Terzopoulos, and K. Waters, “Realistic Modeling for Facial Animation, ” In Computer Graphics, Annual Conference Series, pp. 55-62, 1995.
【22】Y. C. Lee, D. Terzopoulos, and K. Waters, “Constructing Physics-based Facial Models of Individuals, ” In Proceeding of Graphics Interface, pp. 1-8, 1993.
【23】J. Bloomenthal, “Interactive Techniques for Implicit Modeling, ” Symposium on Interactive 3D Graphics, pp.109-116, 1990.
【24】N. Magnenat-Thalmann, H. Minh, M. deAngelis, and D. Thalmann, “Design, Transformation and Animation of Human Face, ” The Visual Computer, Vol. 5, pp. 32-39, 1988.
【25】W. T. Reeves, “Simple and Complex Facial Animation: Case Studies. In State of the Art in Facial Animation, ” SIGGRAPH ’90 Course Note ACM, pp.88-106, 1990.
【26】Y.S. Akgul, C. Kambhamettu and M. Stone, “Automatic Motion Analysis of the Tongue Surface from Ultrasound Image Sequences, ” IEEE Trans. on Biomedical Image Analysis, pp.126-132, 1998.
【27】J.R. Westbury, “X-Ray Microbeam Speech Production Database User’s Handbook, ” WI: University of Wisconsin Waisman Center, 1994.
【28】S. Masaki, A.Y. Reiko, M.K. Tiede, Y.Shimada and I. Fujimoto, “An MRI-Based Analysis of The English /r/ and /l/ Articulations, ” IEEE Trans. on Spoken Language, vol 3,pp.1581-1584, 1996.
【29】鐘樹橡,電腦輔助教學程式設計,台北:師大書苑,民84年。
【30】陳守仁,電腦輔助教學在啟智教育上的應用,台灣教育,505期,48-50頁,民82年。
【31】張再明、陳政見,特殊教育實施點腦輔助教學之相關問題探討,嘉義師院學報,12期,73-93頁,民87年。
【32】陳政見,電腦在特殊教育上的應用,國立彰化特殊教育中心編印,載於周台傑(主編),特殊兒童教學原理,183-200頁,民82年。
【33】朱經明,閱讀障礙與電腦輔助教學,特殊教育與復健學報,4期,153-161頁,民84年。
【34】張志民,頻譜分析應用於語障者發音訓練器之製作,碩士論文,國立成功大學電機工程學系,民91年。
【35】鄭智仁,中文轉譯手語及手語影像合成之研究,碩士論文,國立成功大學資訊工程學系,民92年。
【36】A. Whitney, “A Direct Method of Nonparametric Measurement Selection, ” IEEE Trans. on Computers, Vol. 20, pp. 1100-1103, 1971.
【37】G. Schwarz, “Estimating The Dimension of A Model, ” Ann. Math Statist, pp.461-464, 1978.
【38】H. Hotelling, “The Selection of Variates for Use in Prediction, with Some Comments on the General Problem of Nuisance Parameters, ” Annals of Mathematical Statistics, Vol. 11, pp. 271-283, 1940.
【39】Z. J. Chuang and C. H. Wu, “Text-to-Visual Speech Synthesus for General Objects Using Parameter-Based Lip Models, ” Lecture Notes in Computer Science Series, Vol. 2532, pp. 589-597, 2002.
【40】莊則敬,針對聽語障人士之語音及手與處理技術之研究,博士論文,國立成功大學資訊工程學系,民95年。
【41】湯士民,應用錯誤型態分析於英語發音輔助學習,碩士論文,國立成功大學資訊工程學系,民93年。
【42】Phonetics: The Sounds of American English, http://www.uiowa.edu/~acadtech /phonetics/english/frameset.html
【43】王理嘉、林燾,語言學教程,五南圖書出版社,民84年。
【44】王小川,語音訊號處理,全華科技,民94年。
【45】O. Engwall, O. Balter, “Pronunciation Feedback from Real and Virtual Language Teachers, ” Computer Assisted Language Learning, Vol. 20, Issue 3, pp. 235-262, 2007.
連結至畢業學校之論文網頁點我開啟連結
註: 此連結為研究生畢業學校所提供,不一定有電子全文可供下載,若連結有誤,請點選上方之〝勘誤回報〞功能,我們會盡快修正,謝謝!
QRCODE
 
 
 
 
 
                                                                                                                                                                                                                                                                                                                                                                                                               
第一頁 上一頁 下一頁 最後一頁 top
系統版面圖檔 系統版面圖檔