臺灣博碩士論文加值系統

本論文針對中文詞彙中的定量複合詞、人名、綴詞，利用此三類所具有的規則特性將之拆解，以較少數量的構詞單元來涵蓋全部的三類詞彙，可以降低此三種詞類的OOV問題。有別於傳統上以"字"為單元來評估辨認率(character error rate)為主，本研究希望以較長且具有意義的詞彙或者詞組(Word Chunk)來作為語音辨認效能的評估；透過詞彙的行為特性，藉由語法與語意資訊為此三種詞類建立可更精細的描述它們的語言模型，重新配置語言模型分數來找出最佳的辨識結果，以提升辨識效能。
由結果所分析，本研究之方法確實能運用此三類詞之語言模型，全面性的描述該詞類的特性，藉此辨識出包含更多語意之詞彙甚至是詞組；往後將再利用詞組本身所具有的結構、語意及語法來得到更多的資訊，建構更有系統且豐富之方法來輔助辨認。

It’s difficult to list all words in recognizer’s vocabulary for large-vocabulary speech recognition, so we present an approach for modeling out of vocabulary (OOV) words. In this thesis, we choose three types of word in Mandarin such as determinative-measure compound word, person name and affixation to deal with this OOV problem. Words are converted to the sub-word units and searched for in the hypotheses to cover more new words through the use of flexible sub-word units.
The main focus of this study is to use the grammar and semantic information to construct a hierarchical language model for these three types of word. The language model will be added to promote the recognition performance and hope to recognize more meaningful long-term units such as word and word-chunk.

第一章 緒論 1
1.1研究動機 1
1.2研究方向 2
1.3相關研究 2
1.4章節概要 3
第二章 傳統語言模型 4
2.1語言模型的基本介紹 4
2.1.1N連語言模型 4
2.1.2 N連類別模型 6
2.1.3觸發對模型 6
2.1.4語言模型平滑化 6
2.1.5語言模型評估─混淆度(Perplexity) 7
2.2文字資料庫 8
2.2.1文字資料庫介紹 8
2.2.2文章斷詞 8
2.2.3文字資料庫處理 10
2.2.3.1標點符號處理 10
2.2.3.2英文串處理 11
2.2.3.3文字正規化 11
2.3建立辨認詞典 12
2.3.1OOV處理 13
2.4傳統語言模型之探討 13
第三章 階層式語言模型 14
3.1 大詞彙語言模型之分析 14
3.1.1三類詞之統計 15
3.1.2定量複合詞 15
3.1.3人名 18
3.1.4綴詞 20
3.1.5大詞彙語言模型之辨認詞典分析 20
3. 2階層式詞組語言模型 23
3.2.1綴詞 23
3.2.2中文人名 24
3.2.3 DM詞組 24
3.3詞組語言模型機率 28
3.4使用兩階段架構實踐階層式語言模型辨認器 31
第四章 實驗結果與分析 32
4.1 實驗目的 32
4.2辨識語料 32
4.3語言模型評估 33
4.4三類詞於word lattice上之涵蓋率 33
4.5辨識結果分析 36
4.5.1辨識效能結果 36
4.5.2辨識結果之三類詞分析 37
4.5.2.1定量複合詞 37
4.5.2.2中文人名 40
4.5.2.3綴詞 41
第五章結論與未來展望 42
5.1結論 42
5.2未來展望 42
參考文獻 44
附錄一：量詞表 46
附錄二：數詞單元集合表 48
附錄三：定量複合詞之類別 49

【1】 O. Scharenborg, S. Seneff, L. Boves, “A two-pass approach for handling out-of-vocabulary words in a large vocabulary recognition task”, Computer Speech and Language 21 (2007) 206-218.
【2】 Y. C. Pan, L. S. Lee, “Lexicon Adaptation with Reduced Character Error (LARCE) — A New Direction in Chinese Language Modeling”, Interspeech, Antwerp, Belgium, August 2007, pp.610-613.
【3】 S Lee, K Hirose, and N Minematsu, ”Incorporation of prosodic modules for large vocabulary continuous speech recognition, ” in Proc. ISCA Workshop on Prosody in Speech Recognition and Understanding, 2001.
【4】 F Gallwitz, A Batliner, J Buckow, R Huber, H Niemann, and E Noth, “Integrated recognition of words and phrase boundaries”, ICSLP1998.
【5】 D. Vergyri, A. Stolcke,VRR. Gadde, L. Ferrer, E. Shriberg, “Prosodic knowledge sources for automatic speech recognition, ” ICASSP 2003.
【6】 J. T. Huang, L. S. Lee, “Improved Large Vocabulary Mandarin Speech Recognition Using Prosodic Features,” Speech Prosody 2006, Dresden, Germany.
【7】 X. Huang, F. Alleva, H.W. Hon, M.Y. Hwang, K.F. Lee, and R. Rosenfeld, “The SPHINX-II speech recognition system: An overview,” Computer, Speech, and Language, vol. 2. pp. 137–148, 1993.
【8】 Peter F. Brown, Vincent J. DellaPietra, Peter V. deSouza, Jennifer C. Lai, and Robert L. Mercer. “Class-based N-gram models of natural language,” Computational Linguistics, vol. 18, no. 4, pp. 467–479, 1992.
【9】 J. R. Bellegarda, “A multispan language modeling framework for large vocabulary speech recognition,“ IEEE Transactions on Acoustic, Speech and Signal Processing, vol. 6, no. 5, pp.456-467, 1998.
【10】中央研究院的中文斷詞系統，http://ckipsvr.iis.sinica.edu.tw/。
【11】J. Lafferty, A. McCallum, and F. Pereira. “ Conditional random fields: Probabilistic models for segmenting and labeling sequence data”, In Proc. of ICML, pp.282-289, 2001.
【12】中研院詞庫小組出版物，http://godel.iis.sinica.edu.tw/CKIP/publication.htm#t2。
【13】中央研究院詞庫小組，中央研究院平衡語料庫的內容與說明，詞庫小組技術報告 # 93-02，台北，1995。
【14】S. Onishi, H. Yamamoto, and Y. Sagisaka, “Structured language model for class identification of out-of-vocabulary words arising from multiple word-classes,” Eurospeech 2001.