臺灣博碩士論文加值系統

在此論文中，我們提出一套基於自動產生合成單元的台語語音合成系統。此系統主要可分為3個模組：文句分析模組、韻律產生模組和語音合成模組。
由於台語文字表示方式的不統一，所以本系統必須能接受以全漢字、全羅馬字或漢羅並用等方式所輸入的台語文章。輸入的台語文句經過文句分析模組做正規化，斷詞，並以音頻的資訊來解決破音詞的問題後，轉換成對應的注音。系統再將所得到的對應注音輸入韻律產生模組以處理台語的變調以及腔調不同的問題。
語音合成模組的合成單元來源有二：(1)事先個別預錄好的4521個帶調音節；(2)由系統從設計好的語料庫內自動產生。我們利用以隱藏式馬可夫模型為基礎的台語語音辨識核心來做語音單位的強制性對位（forced alignment）。為了增進系統自動切音的準確率，我們加入『短暫停』（short pause）的辨識。最後，所有得到的合成單元依音節間音素耦合（coarticulation）的程度來決定接合方式，並經過能量的正規化，成為輸出的合成語音。
本系統的自動切音準確率約為85.17%，平均誤差為13.02ms。目前此套系統我們已實作於MS-windows 9X/NT/2000 平台上。

In this thesis, we’ll demonstrate a Taiwanese (Min-nan) text-to-speech (TTS) system based on automatically generated synthetic units. It can read out any modern Taiwanese articles rather naturally. This TTS system is composed of 3 functional modules, namely a text analysis module, a prosody module, and a waveform synthesis module.
Modern Taiwanese texts consist of Chinese characters and English alphabets simultaneously. For this reason, the text analysis module should be able to deal with the Chinese-English mixed texts first of all. In this module, text normalization, words segmentation, letter-to-phonemes and word frequency are used to deal with the multi-pronunciation. The prosody module process tone sandhi appearance and phonetic variation in Taiwanese.
The synthetic units in the waveform synthesis module come from 2 sources: (1) the isolated-uttered tonal syllables including all possible tonal variations in Taiwanese, totally about 4521 in numbers, (2) the automatically generated synthetic units from a designated speech corpus. We employ a HMM-based large vocabulary Taiwanese speech recognition system to do the forced alignment for the speech corpus. The short pause recognition was proposed in the recognition system. After the synthesis units string has been extracted, the inter-syllable coarticulation information will be applied to decide how to concatenation these units. After the energy normalization, the output speech was generated.
We evaluate our system on automatically segmented speech. Comparing with the human segmentation, about 85% correct rate can be achieved. The system was already implemented on a PC running MS-windows 9x/NT/2000.

目 錄
論文指導教授推薦書…………………………………………………..
論文口試委員會審定書………………………………………………..
授權書…………………………………………………………………..iii
誌謝……………………………………………………………………...iv
目錄………………………………………………………………………v
圖目錄………………………………………………………………….viii
表目錄…………………………………………………………………...ix
中文摘要………………………………………………………………...xi
英文摘要………………………………………………………………..xii
第一章緒論……………………………………………………………1
1.1 研究動機……………………………………………………….1
1.2 台語簡介……………………………………………………….2
1.3 研究方向及系統簡介………………………………………….7
1.4 論文章節架構………………………………………………….8
第二章文句分析…………………………………………..…………10
2.1 文句正規化…………………………………………………...10
2.2 文句的斷詞…………………………………………………...12
2.2.1 台語詞典簡介……………………………………………12
2.2.2 台語文字的表示…………………………………………13
2.2.3 斷詞………………………………………………………14
2.2.4 效能評析與討論…………………………………………17
2.3 字轉音………………………………………………………...19
2.3.1 一詞多音…………………………………………………19
2.3.2 效能評析與討論…………………………………………20
第三章韻律處理模組………………………………………………..21
3.1 變調…………………………………………………………...21
3.1.1 一般變調規則……………………………………………23
3.1.2 三疊形容詞變調規則……………………………………25
3.1.3 仔前變調規則……………………………………………26
3.1.4 輕聲變調規則……………………………………………27
3.2 各地方腔調不一….…………………………………………...27
第四章合成單元的自動產生………………………………………..29
4.1 語料庫的設計與處理………………………………………...31
4.2 自動標音切音………………………………………………...32
4.2.1 台語語音辨識系統簡介…………………………………32
4.2.2 forced alignment辨識…………………………………….37
4.2.3 短暫停的辨識……………………………………………38
4.3 實驗結果與討論……………………………………………...39
4.3.1 切音程式…………………………………………………39
4.3.2 實驗結果…………………………………………………42
4.3.3 總結與討論………………………………………………43
第五章語音合成模組………………………………………………..45
5.1 合成單元來源的選擇與取得………………………………...45
5.2 依音節間右相關決定接合方式……………………………...46
5.3 語音能量的正規化與輸出…………………………………...49
5.4 總結與討論…………………………………………………...50
第六章結論與未來展望……………………………………………..51
6.1 研究成果……………………………………………………...51
6.2 未來展望……………………………………………………..53
參考文獻………………………………………………………………..56
附錄……………………………………………………………………..59
圖目錄
圖1.1 基於自動產生合成單元的台語語音合成系統架構圖………...9
圖2.1 循序最長詞匹配法原則示意圖……………………………….15
圖3.1 一般變調規則………………………………………………….24
圖4.1 辨識核心系統架構圖………………………………………….33
圖4.2 語音信號的短時間處理……………………………………….33
圖4.3 特徵參數的擷取……………………………………………….34
圖4.4 特徵向量的擷取……………………………………………….34
圖4.5 長庚大學DSP實驗室---切音程式V2.0………………………39
圖4.6 先以強制性對位辨識結果輔助人工切音……….……………41
圖4.7 切音程式V2.0描繪pitch的結果…………………………….41
圖5.1 合成單元來源的選擇與取得的流程圖……………………….46
圖5.2 音節間相接的情形…………………………………………….47
圖5.3 依音節右相關決定接合方式之流程圖……………………….49
圖6.1 基於自動產生合成單元的台語語音合成系統介面圖……….52
圖6.2 Bypass功能選項……………………………………………….53
表目錄
表1.1 台語音節表示法………………………………………………...3
表1.2 台語聲母表……………………………………………………...4
表1.3 台語單音韻母表………………………………………………...4
表1.4 台語輔音韻母表………………………………………………...4
表1.5 台語韻母表……………………………………………………...5
表1.6 台語聲調說明圖………………………………………………...7
表2.1 數詞的文讀音與白讀音……………………………………….11
表2.2 數詞以數量的讀法在各個位數時的讀法…………………….12
表2.3 清大江永進教授蒐集的詞典的詞數統計…………………….12
表2.4 本系統所使用的詞庫其詞數統計…………………………….13
表2.5 台語文句表示形式對照表…………………………………….13
表2.6 【青春路途】28篇文章的統計資料…………………………17
表3.1 三疊形容詞首字變調規則…………………………………….26
表4.1 平衡帶調音節統計表………………………………………….32
表4.2 訓練用的語料庫……………………………………………….35
表4.3 測試用的語料庫……………………………………………….36
表4.4 訓練用及測試用語料庫統計表……………………………….36
表4.5 系統效能總計………………………………………………….37
表4.6 切音節端點實驗結果統計表………………………………….42
表5.1 文章庫裡Balance inter-syllable RCD統計表…………………48
表5.2 聲／韻母組合的方式影響跨音節間連接的情形統計表…….48

[1]林川傑, ”國語─閩南語機器翻譯系統之研究”,台灣大學資工所碩士論文,1999
[2]楊鈺清, ”台語文句翻語音系統之製作”,交通大學電信所碩士論文,1999
[3]佘永吉等, ”台語多聲調音節合成單元資料庫暨文字轉語音雛形系統之發展”,第十二屆計算語言研討會,1999
[4]王駿發等, ”國語文句翻台語語音系統之研究”,第十二屆計算語言研討會,1999
[5]Ren-Yuan Lyu, Yuang-jin Chiang, wen-ping Hsieh, “A Large-Vocabulary Taiwanese (MIN NAN) Multi-syllabic Word Recognition System Based Upon Right-Context-Dependent Phones With State Clustering by Acoustic Decision Tree”, ICSLP, 1998
[6] Chiang Yuang-chin, Fang Ren-Zhou, ”A New Hybrid Duration Hidden Markov Model with Application to Large Vocabulary Taiwanese(MIN-NAN) Speech Recognition(ASR-A5)”, ISCSLP,1998
[7]楊智祥, ”台語連續語音辨認之初步研究”,長庚大學電機所碩士論文,1999
[8]周長楫等, ”台灣閩南語教程”,
[9] http://www.cuhk.edu.hk/cgi-custom/ilc/ipa/index.cgi
[10] 余伯泉 (1999a) 跨越甲式與乙式拼音的鴻溝：論「通用」拼音。翻譯學研究集刊(台北)，第4期。
[11]鄭良偉, ”台語的語音與調法”,遠流出版社,1997
[12]江永進, ”台音式調記順序e選擇理由”,台灣研究通訊,第十期
[13]許世楷等,江永進執筆, ”口與調gah自然調形”,台灣世界,第十二期
[14]張春凰,”青春e路途”,前衛出版社,2000
[15] L. Rabiner and B.H. Jung, ”Fundamental of Speech Recognition”, Prentice-Hall
[16]劉惠玫, “用TTS輔助台語語料之處理”, 清華大學統計所碩士論文,2000
[17]楊青矗, “國台語雙與辭典”, 敦理出版社,1992
[18]楊秀芳, “台灣閩南語語法稿”, 大安出版社,1991
[19]周福強, “以語料庫為基礎之新一代中文文句翻語音合成技術”, 台灣大學電機所博士論文,1999
[20] H. Hon…etc, “Automatic Generation of Synthesis Units for Trainable Text-to-Speech System”, Acoustic Speech and Signal Processing 1998. Proceedings of the 1998 IEEE International
Conference.
[21] F. Charpentier, and E. Moulines, “Pitch-Synchronous Waveform Processing Techniques for Text-to-Speech Synthesis Using Diphones”, Proceedings of the EUROSPEECH, 1989
[22] Xuedong Hung…etc, “WHISTLER: A Trainable Text-To-Speech System”, International Conference on Spoken Language Processing.
Philadelphia, Oct, 1996
[23] Steven Young, “The HTK Book version 2.1”, Cambridge University, 1996
[24]林威伯,”使用簡易音高週期浮現演算法及類神經網路並應用於台語大詞彙辨認之多語者台語聲調辨識 “, 長庚大學電機所碩士論文,2000
[25] Jau-Hang Chen…etc, “Automatic Selection of Synthesis Units from a Large Speech Database”,