跳到主要內容

臺灣博碩士論文加值系統

(44.200.86.95) 您好!臺灣時間:2024/05/30 06:04
字體大小: 字級放大   字級縮小   預設字形  
回查詢結果 :::

詳目顯示

: 
twitterline
研究生:曾坤川
研究生(外文):TSENG, KUN-CHUAN
論文名稱:聽語障人士電腦輔助口語訓練之研究
論文名稱(外文):Computer-Aided Speech Training for the Hard of Hearing
指導教授:何慶祥
指導教授(外文):HO, CHING-HSIANG
口試委員:王坤卿何慶祥王美蓉
口試委員(外文):WANG, KUN-CHINGHO, CHING-HSIANGWANG, MEI-JUNG
口試日期:2020-07-10
學位類別:碩士
校院名稱:和春技術學院
系所名稱:電機工程研究所
學門:工程學門
學類:電資工程學類
論文種類:學術論文
論文出版年:2021
畢業學年度:108
語文別:中文
論文頁數:90
中文關鍵詞:聽語障人士構音子語音特徵電腦輔助視覺化聲學空間口語訓練
外文關鍵詞:hard of hearingcomputer-aidedspeech trainingvoice characteristicsvisual feedbackacoustic spacearticulator
相關次數:
  • 被引用被引用:0
  • 點閱點閱:76
  • 評分評分:
  • 下載下載:7
  • 收藏至我的研究室書目清單書目收藏:0
本論文以作者自身學習口語發音的經驗為例,運用電腦語音處理與分析技術,參考專家訓練說話的方式,驗證過往對聽障人士語言學習的研究結論,有系統地歸納、整理與驗證,提出電腦輔助口語訓練的方法與評估基準的建議。

作者患有先天聽力損失且屬於重度聽力障礙,國小國中時期雖有經歷語言特殊教育,然而聽力的缺陷使得聲音回饋不足,難以有效且持續的維持語言學習成效。因此,除了使用助聽器等輔助器材外,作者期望藉著電腦處理及分析語音的技術,為聽覺障人士找出更多有效的語音回饋機制,提供發聲訓練使用,以提高構音的清晰度及可辨識度。

本研究的實驗對象,以作者為聽障受試者,聽力正常的同事為參考語者,進行聽障人士電腦輔助口語訓練之研究。國語語音的音節,通常為一個國字,其發音由聲母、韻母以及聲調組成,發聲過程由喉部聲帶振動或出氣通過聲道共鳴產生語音。對聽障人士而言,相對困難的部分多肇因於缺乏聽覺與視覺回饋,其中以聲調、鼻腔共鳴及舌位變化尤為困難。

本論文使用電腦輔助系統及發音分析工具,採用多種視覺化回饋方式,如聲學空間的2D或3D圖等,並以音節為單位呈現聲波圖與頻譜圖,分析聲音強度(intensity)、基頻(baseband)以及共振峰(formant),產生語音特徵的位置圖與軌跡圖。依據韻母音的第一共振峰與口腔形狀、第二共振峰與舌頭前後及高低位置,以及基頻頻率及強度與聲調高低及強弱等關係具有高度相關性;聲母音的頻譜分佈及變化與產生音源的構音子位置及變化高度相關。針對聲母、韻母與聲調的發聲訓練,歸納整理提出適合聽障者持續自我訓練的方案;並有系統地進行聽障者與正常人發聲的對照實驗,聽障者可藉電腦輔助聲音回饋資訊,找出異常構音進行改善。

實驗結果顯示,受試者有效的改善韻母構音子的發聲位置與聲學空間面積,以及聲母發聲位置與發聲方式的舌位與出氣時序,聲調是最困難部分,經過基頻軌跡的視覺化回饋,作者已能控制聲調高低起伏發出可辨識的四個聲調,聽覺效果顯示語音的清晰度與可辨識度獲得顯著的改善。

關鍵字:聽語障人士、構音子、語音特徵、電腦輔助、視覺化、聲學空間、口語訓練。

This thesis takes the author's own experience of learning spoken Chinese as an example. Computer-aided speech processing and analysis technologies are used as the assistive techniques. The way how experts train the spoken language disorder to speak are referred. The conclusions of the past studies on the language learning for the hard of hearing are collected and evaluated. Through systematic summarization and verification, the computer-assisted speech training and evaluation benchmarks are proposed.

The author suffers from congenital hearing loss and is severely hearing impaired. Although he experienced special language education in the elementary school and the junior high school, hearing impairment makes it difficult to get sound and voice feedback. It is hard to maintain the effectiveness of language learning effectively and continuously. In addition to the use of hearing aids, more effective voice feedback mechanism could be found through computer processing and analysis of speech voice. Therefore, the developed speech training process would improve the clarity and recognition of voice.

The experimental subjects studied in this thesis are in two categories. The author is the subject of the hard of hearing and the normal hearing colleagues are the reference speakers. The computer-assisted oral training is carried out for hearing-impaired people. In Chinese language, a character is usually composed of one syllable. The pronunciation of one syllable consists of three parts, i.e., the consonant, vowel, and tone. The articulation of vocal process is initiated by the vibration of the vocal cords or the exhalation via the vocal tract constrictions. Then, sound source radiates through the vocal tract and/or the nasal tract. For the hard of hearing, the relatively difficult part is due to the lack of auditory and visual feedback, especially with tone, nasal resonance, and tongue changes.

The computer-aided system is used with the pronunciation analysis tools. Multiple visual feedbacks are employed such as the 2D or 3D diagrams of the acoustic space. The waveform graph and the spectrogram are present for each syllable. Voice intensity, fundamental frequency, and formant, etc., are analyzed as speech features for both location and trajectory in the acoustic space. According to the vowel sound, the relationship between the first resonance peak and oral shape, the second resonance peak and the front/back and high/low position of the tongue, as well as the relationship between the baseband frequency and intensity versus pitch level, are highly correlated. The characteristics of consonant could be shown in the variation of energy across both frequency and time. The energy distribution in the spectrogram is highly correlated with the positions and changes of the voice source articulators. Appropriate speech training program for vowel, consonant and tone of voice are proposed. It could be used as the self-training program for the hard of hearing. Systematic comparison of the voice characteristics with normal speakers would be used for the correction of the articulation disorder.

The experimental results show that the test subject can effectively improve the vocal position and acoustic space area of the vowel sound. It could also improve the tongue position and exhalation airflow during the articulation of the consonant. To control the level and change of the tone in a syllable should be the most difficult part. Employing the visual feedback of the base frequency trajectory, the test subject has been able to control the pitch high or low and up or down to produce recognizable four tones. The auditory effect, the clarity and recognition of speech, has been significantly improved.

Keywords: hard of hearing, computer-aided, speech training, voice characteristics, visual feedback, acoustic space, articulator.

誌謝
摘要
Abstract
目錄
第一章 緒論
1.1研究背景與動機
1.1.1聽障者的發音學習流程
1.1.2聽障者的口語溝通
1.2研究目標
1.3研究方法
1.4論文架構
第二章 文獻探討
2.1 聽力障礙與口語障礙的原因
2.1.1聽障者的聽力問題
2.1.2助聽器原理與功能
2.1.3口語發聲的問題
2.1.4聽語障人士的口語問題
2.1.5聽語障人士的聽覺感受
2.2 人體發聲構造與聲學原理
2.2.1人類發聲的原理
2.2.2國語發聲規則
2.2.3音源與聲調規則
2.2.4語言規則
第三章 語音分析
3.1語音訊號
3.1.1語音訊號特徵
3.1.2語音訊號收集
3.2語音訊號分析工具與方法
3.2.1 Praat語音學軟體工具
3.3.2 GNU Octave
3.2.3時域/頻域分析
3.3語音強度
3.4語音基頻
3.4.1基頻的時域分析
3.4.2基頻的頻域分析
3.5共振峰分析
3.6頻譜圖
3.7母音聲學空間面積
3.8 複元音韻母聲學空間圖
第四章 聽障人士口語訓練平台
4.1發聲訓練方法
4.1.1基礎發聲訓練
4.1.2韻母發聲訓練
4.1.3聲母發聲訓練
4.1.4聲調發聲訓練
4.2韻母發聲訓練實驗及比較分析
4.2.1單韻母實驗
4.2.2捲舌與空韻母實驗
4.2.3複韻母實驗
4.2.4鼻韻母實驗
4.2.5介音+韻母實驗
4.2.6韻母實驗分析討論
4.3聲母發聲訓練實驗及比較分析
4.3.1塞音實驗
4.3.2塞擦音實驗
4.3.3擦音實驗
4.3.4鼻音實驗
4.3.5邊音實驗
4.3.6聲母發聲方式參數分析
4.4聲調發聲訓練實驗及比較分析
4.4.1先期實驗
4.4.2先期實驗聲調分析及改善
4.4.3訓練後實驗與分析
4.4.4聲調數據分析與結果
第五章 結論與討論
參考文獻
[1]世界衛生組識(World Health Organization)。檢自網址:https://www.who.int/news-room/fact-sheets/detail/deafness-and-hearing-loss
[2]衛生福利部統計處(Ministry of Health and Welfare)。檢自網址:https://dep.mohw.gov.tw/DOS/cp-2976-13823-113.html
[3]聽力損失程度。檢自網址:http://www.smarthearing.com.tw/article.php?act=view&id=39
[4]聽力損失原因。檢自網址:https://www.beltone.com/zh-tw/hearing-loss/types-and-causes-of-hearing-loss
[5]謝國平(2019)。人類的語言,頁數 1-7。語言學概論(三版八刷),新北 (關於語言學的參考書本)。
[6]謝國平(2019)。情緒呼叫理論,頁數 26。語言學概論(三版八刷),新北 (關於語言學的參考書本)。
[7]李宗憲、羅意琪(2018)、陳小娟(總校閱)。聽覺異常,頁數2-2。聽覺障礙(初版),台北 (關於語言學的參考書本)。
[8]助聽器構造。檢自網址:https://www.songring.com.tw/knowledge.php
[9]助聽器耳模的種類。檢自網址:http://www.drhearing.com.tw/content/product/list/?PID=654062736744044504
[10]Carole T.Ferrand (2006)。構音系統,頁數 232~245。言語科學 初版,台北。
[11]注音符號。檢自網址:https://zh.wikipedia.org/wiki/%E6%B3%A8%E9%9F%B3%E7%AC%A6%E8%99%9F
[12]元音。維基百科。檢自網址:https://zh.wikipedia.org/wiki/%E5%85%83%E9%9F%B3圖片來源:https://www.xuehua.tw/a/5ec80f541875f89f6c4021a7?lang=zh-cn
[13]聲母。檢自網址:https://zh.wikipedia.org/wiki/%E5%A3%B0%E6%AF%8D
[14]Carole T.Ferrand (2006)。母音與子音的構音問題,頁數 255~256。言語科學,初版,台北 (關於語言學的參考書本)。
[15]人體發聲系統結構圖。醫術百科。檢自網址:http://www.ling.fju.edu.tw/hearing/immobile.htm
[16]聲帶構造。檢自網址:http://news.pchome.com.tw/magazine/print/sh/DrBeauty/11576/145460160082400074004.htm
[17]共鳴器官原理。醫術百科。檢自網址:http://www.ling.fju.edu.tw/hearing/resonance.html
[18]共振峰。維基百科。檢自網址:https://zh.wikipedia.org/zh-tw/%E5%85%B1%E6%8C%AF%E5%B3%B0
[19]五度標記法。維基百科。檢自網址:https://zh.wikipedia.org/wiki/%E4%BA%94%E5%BA%A6%E6%A0%87%E8%AE%B0%E6%B3%95
[20]語音處理。維基百科。檢自網址:https://zh.wikipedia.org/wiki/%E8%AF%AD%E9%9F%B3%E5%A4%84%E7%90%86
[21]音節。檢自網址:https://zh.wikipedia.org/wiki/%E9%9F%B3%E8%8A%82
[22]語素。檢自網址:https://zh.wikipedia.org/wiki/%E8%AA%9E%E7%B4%A0
[23]語素與詞。檢自網址:https://wenku.baidu.com/view/483c2606eff9aef8941e060e.html
[24]詞的聲音。檢自網址:http://club.ntu.edu.tw/~davidhsu/New-Character-Lecture/wwwboard/board/messages/611.htm
[25]句法。檢自網址:https://zh.wikipedia.org/wiki/%E5%8F%A5%E6%B3%95
[26]戴浩一(2007)。華語文教學研究4.1:1-30。中文構詞與句法的概念結構。
[27]鄧育仁、孫式文 (2011)。在可數與不可數名詞之外,語言與認知;戴浩一先生七秩壽慶論文集。中央研究院歐美研究所,國立政治大學新聞學系(2011)。
[28]李子瑄;曹逢甫(2009)。聲調,頁數 46~47。漢語語言學,初版,新北 (關於語言學的參考書本)
[29]Harvey Dillon(2019)。聽覺輔具,頁數1-3~1-7。聽力障礙者面臨的問題,初版;台北(關於語言學的參考書本)。
[30]邵慧綺 (2007);聽障者心理與社會適應,台北。檢自網址:https://www.mdnkids.com/specialeducation/detail.asp?sn=672
[31]鍾玉梅 (2005)。聽覺障礙兒童的語言問題與治療,台北;榮總復健醫學部。檢自網址:file:///C:/Users/Administrator/Desktop/%E8%81%BD%E9%9A%9C%E8%AC%9B%E7%BE%A9941029-%E9%8D%BE%E7%8E%89%E6%A2%85%E8%80%81%E5%B8%AB.pdf
[32]Carole T.Ferrand (2006)。母音與子音的構音問題,頁數 255~256。言語科學,初版,台北。
[33]Carole T.Ferrand (2006)。言語產生之相關理論,頁數 336~353。言語科學,初版,台北。
[34]韻母簡化。檢自網址:https://yamol.tw/tfulltext-%E9%9F%BB%E6%AF%8D%E7%B0%A1%E5%8C%96.htm
[35]趙惠範 (2016)。認識語言障礙的 種類與治療,台南;楠梓特殊學校。檢自網址:https://health.tainan.gov.tw/tnhealth/manasystem/FCK/FckFiles/file/hp/pewen/105/%E8%AA%8D%E8%AD%98%E8%AA%9E%E8%A8%80%E9%9A%9C%E7%A4%99.pdf
[36]五度標記法。圖解大全。檢自網址:https://j.17qq.com/article/ghkpkmnwy.html
[37]Carole T.Ferrand (2006)。人類聽力範圍,頁數 36。言語科學,初版,台北。
[38]鄭靜宜(2011)。取樣理論,頁數058~061。語音聲學-說話聲音的科學,初版,台北(關於語言學的參考書本)。
[39]Praat。維基百科。檢自網址: https://zh.wikipedia.org/wiki/Praat%E8%AF%AD%E9%9F%B3%E5%AD%A6%E8%BD%AF%E4%BB%B6
[40]Praat首頁。檢自網址:https://www.fon.hum.uva.nl/praat/
[41]GNU Octave。維基百科。檢自網址https://zh.wikipedia.org/wiki/GNU_Octavex


QRCODE
 
 
 
 
 
                                                                                                                                                                                                                                                                                                                                                                                                               
第一頁 上一頁 下一頁 最後一頁 top