(3.238.174.50) 您好!臺灣時間:2021/04/11 11:41
字體大小: 字級放大   字級縮小   預設字形  
回查詢結果

詳目顯示:::

我願授權國圖
: 
twitterline
研究生:陳偉升
研究生(外文):Wei-Sheng Chen
論文名稱:應用主成份分析及影像疊加之臺灣手語合成系統
論文名稱(外文):Taiwanese Sign Video Synthesis Based on Eigen Hand and Image Overlapping
指導教授:吳宗憲吳宗憲引用關係
指導教授(外文):Chung-Hsien Wu
學位類別:碩士
校院名稱:國立成功大學
系所名稱:資訊工程學系碩博士班
學門:工程學門
學類:電資工程學類
論文種類:學術論文
論文出版年:2004
畢業學年度:92
語文別:中文
論文頁數:72
中文關鍵詞:影像疊加主成份分析
外文關鍵詞:Image OverlappingPCA(principle component analysis)
相關次數:
  • 被引用被引用:0
  • 點閱點閱:262
  • 評分評分:系統版面圖檔系統版面圖檔系統版面圖檔系統版面圖檔系統版面圖檔
  • 下載下載:54
  • 收藏至我的研究室書目清單書目收藏:0
  聾人與聽人存在著語言溝通的差異,倘若能發展多媒體化之電腦輔助教學軟體,以手語型態及真人影像呈現,對於聽人與聾人而言,將會是最親切、自然的學習模式。因此,本研究之目的為發展自動化手語句影帶串接生成系統,期以最自然、順暢的方式,將手語影帶串接合成為動作連續之手語句,實現以真人影像的自然比劃動作,來達成對聽人與聾人的手語教學目標。
  本研究之架構,主要包含:1).手語影帶前處理:針對已拍攝之手語影帶進行顏色亮度、色度與遠近大小的正規化處理,並標記手形位置資訊、去雜訊取出乾淨之手形影像,進而建置手形與軌跡轉移資訊之手語真人影像資料庫;2.)最佳影帶路徑選取:提出具同時估算串接生成路徑之移動方向差異及手部位置的串接生成演算法,以呈現連續且平順之手語動作;3.)手形影像分析:針對手形影像進行分析,以提供手形轉移資訊;4.)影帶合成處理:針對已拍攝之影帶資料庫裡,挑選出最適合的串接影像區塊(身體、手形、臉部),進而,利用影像疊加技術來串接生成連續動作;5.)手語影帶後處理:針對串接合成之影帶區段,進行平滑化處理,以增加整個合成手語動作之連續性6.)系統整合與個案實測評估。
  實驗中,在串接軌跡的比較部分,對原始拍攝手語句挑選出實驗對照影帶,利用本研究提出之串接機制來估算出串接合成軌跡,進行原始軌跡與估算軌跡比對,經比對可發現生成區段的軌跡走勢相當符合;在串接效果的比較部分,選取十名正常人與五名聾生進行個案效果實測,分別來評量影像前處理動作與串接生成之效果,以本文所提之串接方法之總體表現為最佳。本文提出一套手語影像生成之手語教學輔助系統,透過相關之實驗探討,顯現本研發系統之實用性與前瞻性。
  Individuals with hearing/speech impairment generally have problems in communication skill learning. The hearing-impaired people can learn Sign language with several kinds of assistance, such as books, photographs, and videotapes. But none of them can provide a flexible and realistic access of sign language. Accordingly, computerized assistive learning system is proposed for sign language learning. In this thesis, a video synthesis system for Taiwanese Sign Language (TSL) is proposed. With the system, the hearing-impaired people can learn sign language by a more familiar and natural way than the traditional approaches.
  Our study focuses on 1) Constructing a standard sign language video database by calibrating the luminance, distances, sizes and shadows of original sign videos, 2) Proposing a video concatenation mechanism to select appropriate sign videos from sign video database. The mechanism consists of several components, such as trajectory estimation, cut point selection, and trajectory scoring by simultaneously considering the distance and directions of concatenation trajectories, 3) analyzing hand shape images to provide the information for hand image concatenation, 4) Proposing a video clip concatenation mechanism using hand image analysis and image component overlapping, 5) Smoothing and refining the concatenated video, and 6) Integrating the above approaches into an image-based sign language learning system.
  In order to evaluate the proposed approaches, we select the original and synthesized sign videos for evaluation. In the trajectory similarity test, the synthesis trajectory is very similar to the original trajectory. In MOS test, ten hearing-normal and five hearing-impaired people were asked to evaluate our system. The evaluation results demonstrate the stability and reality of our system.
目錄
中文摘要
英文摘要
誌謝
目錄
表目錄
圖目錄
第一章 序論 1
第一節 研究背景與動機 1
第二節 文獻回顧與探討 4
第三節 研究目的 8
第四節 研究方法簡介 9
第五節 章節概要 10
第二章 系統架構 11
第三章 研究方法 13
第一節 手語構成要素之簡介 13
第二節 手語手形碼標記 14
3.2.1 手語動作空間定義 15
3.2.2 手語動作/方向標記 15
第三節 影像資料庫前處理 16
3.3.1 影帶顏色校正 17
3.3.2 影帶陰影消除 19
3.3.3 影帶遠近/位置校正 22
3.3.4 手形影像雜訊過濾 23
3.3.5 手形影像資料庫建立 24
第四節 最佳影帶路徑選取 25
3.4.1 手語影像之手部位置偵測 26
3.4.2 串接銜接點之決策 27
3.4.3 最佳影帶串接路徑之決策 32
3.4.4 手臂影像串接軌跡生成標準 33
3.4.5 影帶串接合成個數計算 36
3.4.5 手形影像分析 37
3.4.6 影像元件合成 39
3.4.7 串接影帶後處理 42
第四章 實驗結果與討論 47
4.1 系統簡介 47
4.2 實驗項目簡介 48
4.3 標準化之影像資料庫 49
4.3.1 影帶顏色校正前後影像資訊統計 49
4.3.2影帶陰影校正前後影像資訊統計 51
4.3.3 手語詞彙位置標定資訊統計 52
4.3.4 手語詞彙手型標定資訊統計 53
4.3.5 手語詞彙涵蓋量 54
4.4手語影像串接軌跡實驗 55
4.4.1整句式串接比較 55
4.4.2串接考量軌跡比較 64
4.5手語影像串接效果實驗 65
4.5.1相似度評分 65
4.5.2理解度評分 66
4.5.3流暢性評分 66
第五章 結論與未來研究方向 68
5.1結論 68
5.2未來研究方向 68
附錄
[1].行政院主計處,內政統計通報。民93年。
[2].陳勝良,語言溝通障礙者數位溝通輔具系統之研發,國立成功大學醫學工程研究所碩士論文,民90年。
[3].林寶貴,語言障礙者就學、就業之科技支援,台灣師範大學特殊教育學系,1997.
[4].Clayton Valli and Cell Lucas, Linguistics of American Sign Language: An Introduction. Gallaudet University Press, 1995.
[5].Mu-Chun Su, Yu-Xiang Zhao, Hai Huang, and Hsuan-Fan Chen, “A fuzzy rule-based approach to recognizing 3-D Arm Movements,” IEEE Trans. On Neural System and Rehab. Eng., vol. 9, no. 2, 2001.
[6].C. Vogler and D. Metzxas, “Adapting Hidden Markov Models for ASL recognition by using three-dimensional computer vision methods,” in Proc. Of the IEEE international Conf. on System, Man and Cybernetics, pp.156-161, 1997.
[7].Chih-Ming Fu, Chung-Lin Huang and Jyh-Woei Tsi, “A Real-Time Hand Gesture Tracking For Human Computer Interface,” 15th IPPR Conf. on Computer Vision, Graphics and Image Processing, 2002.
[8].郭啟祥,應用自然語言處理於台灣手語轉語音系統之研究,民國88年。
[9].鄭功偉,具容錯之手語檢索機制於手語至中文翻譯之應用,民國91年。
[10].鄭智仁,中文轉譯手語及手語影像合成之研究,民國92年。
[11].趙玉平,手語大師系列,現代經典出版。
[12].教育部特殊教育工作小組,2001年手語教學與應用研討會論文集,民90年。
[13].Heitou ZEN, Tameharu HASEGAWA, Shinji OZAWA, “Moving Object Detection From Mpeg Coded Picture,” Proceeding of IEEE International Conference on Image Processing, 28AS1, vol. IV, pp.25-29, Oct. 1999
[14].Franc Solina, Slavko K. “Multimedia Dictionary and Synthesis of Sign Language,” Idea Group Publishing , Hershey PA, p268-281, 2001.
[15].Slavko K., Franc Solina, “Synthesis of the Sign Language of the Deaf from the Sign Video Clips,” Electrotechnical Conf, Ljubljana, Slovenija, 1999.
[16].Richard Kennaway, “Synthetic Animation of Deaf Signing Guestures,”Lecture notes in Computer Science, 4th International Workshop on Gesture and Sign Language Based Human-Computer Interaction, London (2001). Lecture Notes in Artificial Intelligence vol. 2298.
[17].Dawn MacLaughlin, Carol Meidle, “SignStream User’s Guide ,”Version 1.5, Report No.8. October 1999.
[18].ASL 3D Animation, http://www.vcom3d.com/SignSmithDemo.htm
[19].http://www.handspeak.com/
[20].Tony Ezzat, Gadi Geiger, Tomaso Poggio “Trainable Videorealistic Speech Animation”. Of the IEEE international Conf. on Automatic Face and Gesture Recognition, May 2004.Murase H., Nayar S. K., : Visual learning and recognition of 3D objects from appearance. Int. J. of Computer Vision, 14, 5-24.
[22].D. M. Manoranjan, J A. Ro:binson, "Practical, low-cost visual communication using binary images for deaf sign language", IEEE Transactions on Rehabilitation Engineering, Vol 8, No 1, March 2000, pp 81-88
[23].J. Hou and Y. Aoki, "A real-time interactive nonverbal communication system through semantic feature extraction as an interlingua," IEEE Trans. Syst., Man, Cybern. A, vol. 34, no. 1, pp. 148-154, Jan. 2004
[24].Ming-Hsuan Yang; Ahuja, N.; ”Extracting gestural motion trajectories”. Automatic Face and Gesture Recognition, 1998. Proceedings. Third IEEE International Conference on , 14-16 April 1998
[25].Gupta, L.; Suwei Ma; “Gesture-based interaction and communication: automated classification of hand gesture contours,” Systems, Man and Cybernetics, Part C, IEEE Transactions on , Volume: 31 Issue: 1 , Feb. 2001
[26].Jaklic, A.; Vodopivec, D.; Komac, V.; “Learning sign language through multimedia”. Multimedia Computing and Systems, 1995., Proceedings of the International Conference on , 15-18 May 1995
連結至畢業學校之論文網頁點我開啟連結
註: 此連結為研究生畢業學校所提供,不一定有電子全文可供下載,若連結有誤,請點選上方之〝勘誤回報〞功能,我們會盡快修正,謝謝!
QRCODE
 
 
 
 
 
                                                                                                                                                                                                                                                                                                                                                                                                               
第一頁 上一頁 下一頁 最後一頁 top
系統版面圖檔 系統版面圖檔