臺灣博碩士論文加值系統

本篇論文是運用語音辨識中的音文對齊技術，來建立有聲書之音文同步的功能。在語音技術的部分我們使用HTK來做為基底技術，HTK是英國劍橋大學所研發出的一套用於語音辨識的免費軟體，但HTK有語音時間長短的限制，無法處理長篇文章的語音。我們又發現了另一技術SailAlign，其為南加州大學在2011年所開發出的一套軟體，強調可以處理長篇文章，達到音文對齊的效果。我們將SailAlign稍做修改，並從LibriVox上取得Tom Sawyer全集，處理了6個多小時的語音資料，其中將近有96%的文字其對應語音的時間點可以被切出。我們除了使用SailAlign來處理英文的語音以外，還嘗試處理華語以及台語語音，我們發現SailAlign在處理不同語言時，需要將字典以及聲學模型與語言模型做大幅度的修改，對語音技術資源相對不足的語言如台語等，未必適合。
於是我們自己寫了一隻程式CguAlign，使用到語音辨識中force alignment的方式來處理音文對齊的問題。CguAlign可以處理多國語言的語音，且不需使用到字典以及事先準備好的聲學模型與語言模型，即可達到音文對齊的效果，但前提需要將文章切成句的層級。目前使用CguAlign在英文資料中同樣處理Tom Sawyer全集，得到與SailAlign相近的91%的成效，在台語部分，我們使用台灣教育部所提供的閩南語朗讀文章共140篇，處理了約11個小時的語音，將近有83%的文字之對應語音的時間點可被切出。在華語部分，我們從LibriVox上取得老殘遊記全集，只處理了老殘遊記第一篇20分鐘的語音，將近有96%的文字其對應語音的時間點可被切出。最後我們將Tom Sawyer全集、教育部閩南語朗讀語料以及老殘遊記第一篇所處理完之帶有時間點的文字放到YouTube與自己架設的網站上來呈現音文同步的效果。

This thesis is the use of speech-text alignment within the speech recognition technology to establish speech-text synchronized with audio books function. To handle part of the use of speech technology to HTK. HTK is a Cambridge University of developed a set of free software for speech recognition and speech training, but the HTK still has a restriction on duration of speech. Can not handle the speech of a long article, so we found a SailAlign. SailAlign is Southern California University in January 2011 to develop a set of software. Stressed that it would deal with a long article speech of the speech-text alignment effect. We will SailAlign slightly modified and download the entire novel of Tom Sawyer from LibriVox. Handled more than 6 hours of speech data. To get nearly 96% of the text cut out corresponding to the time point of the speech. Except for English speech data using SailAlign, we also try to deal with the Taiwanese speech data and Mandarin speech data. We found that SailAlign deal with different language data need substantial changes to the dictionary and acoustic models and language models. So we wrote a program called CguAlign. Used to force alignment in speech recognition to deal with the problem of speech-text alignment. CguAlign stressed that can handle multilingual speech data, and without the use of a large number of dictionaries and acoustic models and language models prepared in advance. It can achieve the effect of audio and text alignment, but only need to cut into the article the sentence level. Currently in use in English Data CguAlign same deal with the entire novel of Tom Sawyer. Get the same 91% of the effectiveness with SailAlign. In speech data portion of the Taiwanese, we use provided by the Ministry of Education the Ministry of Education Minnan read 140 articles. Handled over 11 hours of speech data. To get nearly 83% of the text cut out corresponding to the time point of the speech. In speech data portion of the Mandarin and download the entire novel of Laocanyouji from LibriVox. Handled more than eight hours of speech Data. To get nearly 96% of the text cut out corresponding to the time point of the speech. Finally, we will be Tom Sawyer 、Ministry of Education Minnan read and Laocanyouji processed data to set up YouTube and own web showing the effect of speech-text synchronization.

指導教授推薦書
口試委員會審定書
國家圖書館授權書
長庚大學授權書
致謝 v
中文摘要 vi
Abstract viii
目錄 x
圖目錄 xii
表目錄 xvi
第一章 緒論 - 1 -
1.1. 研究背景與動機 - 1 -
1.2. 研究動機 - 6 -
1.3. 章節說明 - 7 -
第二章 相關研究與文獻探討 - 8 -
2.1前端處理 - 8 -
2.2.1. HTK - 8 -
2.2.2. SailAlign - 9 -
2.2後端瀏覽器系統 - 10 -
2.2.1. Youtube - 10 -
第三章 研究方法及安裝步驟 - 14 -
3.1. 音文對齊達到音文同步的效果 - 14 -
3.1.1. 使用SailAlign達到音文同步的效果 - 14 -
3.1.2. 使用CguAlign程式自動切音 - 26 -
第四章 實驗結果與後端系統呈現 - 39 -
4.1. 實驗結果 - 39 -
4.2. Youtube呈現 - 42 -
4.1.1. 原文字幕上傳 - 43 -
4.3. CguTASync(CguTextAudioSynchronization)呈現 - 45 -
第五章 結論 - 48 -
參考文獻 - 50 -
附錄 - 52 -
圖2.1. SailAlign架構圖 - 9 -
圖2.2. CaptionTube首頁 - 11 -
圖2.3. sbv檔格式 - 12 -
圖3.1. 使用SailAlign的運作流程 - 14 -
圖3.2. .lab檔 - 16 -
圖3.3. wjTurn.py主程式碼 - 17 -
圖3.4. 處理標點符號 - 18 -
圖3.5. 以空白切割 - 19 -
圖3.6. 尚未處理字與字間標點符號無空白分開的狀況 - 19 -
圖3.7. 處理字與字間標點符號無空白分開的狀況 - 20 -
圖3.8. 以空白分割 - 20 -
圖3.9. 加入時間與原文做對齊 - 21 -
圖3.10. trs檔 - 22 -
圖3.11. js檔 - 23 -
圖3.12. lrc檔 - 24 -
圖3.13. sbv檔 - 24 -
圖3.14. srt檔 - 25 -
圖3.15. 使用CguAlign切音流程圖 - 26 -
圖3.16. CguAlign.py主程式碼 - 28 -
圖3.17. Youtube下載的sbv檔轉成切到句的trs與srt檔 - 29 -
圖3.18. 將trs檔的時間與對應字串轉成多個lab檔 - 30 -
圖3.19. 長語音檔依照lab檔所對應的時間來切割成多個短語音檔 - 31 -
圖3.20. 7個參數檔的內容 - 31 -
圖3.21. 語音標籤(lab)之處理過程 - 32 -
圖3.22. mlf- phone - 33 -
圖3.23. hcopy處理過程 - 34 -
圖3.24. HCompV處理過程 - 35 -
圖3.25. HERest處理過程 - 36 -
圖3.26. HVite處理過程 - 37 -
圖3.27. 整個處理過程 - 37 -
圖3.28. 對齊原文格式並轉成切到字的lrc與sbv檔 - 38 -
圖4.1. SailAlign未切出之問題一 - 40 -
圖4.1. SailAlign未切出之問題二 - 41 -
圖4.2. CguAlign未切出之問題一 - 41 -
圖4.3. Youtube CC功能 - 42 -
圖4.4. 新增原文字幕 - 43 -
圖4.5. 選擇原文字幕 - 44 -
圖4.6. 原文字幕內容 - 44 -
圖4.7. CguTASync首頁 - 45 -
圖4.8. CguTASync點選章節 - 46 -
圖4.9. CguTASync音文同步效果 - 47 -
附圖 1. VMware Player step1 - 52 -
附圖 2. VMware Player step2 - 53 -
附圖 3. VMware Player step3 - 53 -
附圖 4. VMware Player step4 - 54 -
附圖 5. VMware Player step5 - 54 -
附圖 6. VMware Player step6 - 55 -
附圖 7. VMware Player step7 - 55 -
附圖 8. VMware Player step8 - 56 -
附圖 9. VMware Player step9 - 56 -
附圖 10. VMware Player step10 - 57 -
附圖 11. VMware Player step11 - 57 -
附圖 12. VMware Player step12 - 58 -
附圖 13. VMware Player step13 - 59 -
附圖 14. VMware Player step14 - 59 -
附圖 15. VMware Player step15 - 60 -
附圖 16. VMware Player step16 - 61 -
附圖 17. VMware Player step17 - 61 -
附圖 18. VMware Player step18 - 62 -
附圖 19. VMware Player step19 - 63 -
附圖 20. VMware Player step20 - 63 -
附圖 21. Ubuntu11.10 step1 - 64 -
附圖 22. Ubuntu11.10 step2 - 64 -
附圖 23. Ubuntu11.10 step3 - 65 -
附圖 24. Ubuntu11.10 step4 - 65 -
附圖 25. Ubuntu11.10 step5 - 66 -
附圖 26. Ubuntu11.10 step6 - 66 -
附圖 27. Ubuntu11.10 step7 - 67 -
附圖 28. Ubuntu11.10 step8 - 67 -
附圖 29. Ubuntu11.10 step9 - 68 -
附圖 30. Ubuntu11.10 step10 - 68 -
附圖 31. Ubuntu11.10 step11 - 69 -
附圖 32. Ubuntu11.10 step12 - 69 -
附圖 33. Ubuntu11.10 step12 - 70 -
附圖 34. Ubuntu11.10 step13 - 70 -
附圖 35. Ubuntu11.10 step14 - 71 -
附圖 36. Ubuntu11.10 step15 - 71 -
附圖 37. Ubuntu11.10 step16 - 72 -
附圖 38. Ubuntu11.10 step17 - 72 -
附圖 39. Ubuntu11.10 step17 - 73 -
附圖 40. 安裝HTK step1 - 73 -
附圖 41. 安裝HTK step2 - 74 -
附圖 42. 安裝HTK step3 - 74 -
附圖 43. 安裝HTK step4 - 75 -
附圖 44. 安裝HTK step5 - 75 -
附圖 45. 安裝HTK step5 - 76 -
附圖 46. 安裝HTK step9 - 77 -
附圖 47. 安裝HTK step11 - 77 -
附圖 48. 安裝HTK step15 - 78 -
附圖 49. 安裝HDecode step1 - 79 -
附圖 50. 安裝HDecode step2 - 79 -
附圖 51. 安裝HDecode step4 - 80 -
附圖 52. 安裝SailAlign step4 - 81 -
表3.1. SailAlign的指令 - 16 -
表4.1. SailAlign與CguAlign計算Tom Sawyer全集的切出率 - 39 -
表4.2. CguAlign計算教育部閩南語朗讀與老殘遊記第一篇的切出率 - 40 -

[1]S. Young, G. Evermann, D. Kershaw, G. Moore, J. Odell, D. Ollason,D. Povey, V. Valtchev, and P. Woodland, “The HTK book(for HTK version 3.4.1)” ,Cambridge University Engineering Department,Tech. Rep., March. 2009.
[2]A. Katsamanis, M. P. Black, P. G. Georgiou, L. Goldstein, S. Narayanan“SailAlign: Robust long speech-text alignment” University of Southern California, Los Angeles, CA, USA , Jan. 28-31, 2011
[3]廖子宇，台語文字處理應用於混合語音之語言辨識，長庚大學，碩士論文，民國99年
[4]林志柔，〈台語朗讀資料庫之自動切音〉，長庚大學，碩士論文，民國100年
[5]陳至瑩，基於HTK連續語音辨識的台語朗讀語音資料庫之自動標音，長庚大學，碩士論文，民國100年
[6]江永進(2011). 〈讓格書寫Python工具箱〉。 新竹：清華大學統計所。(程式檔案LGO.py)
[7]全國語文競賽臺灣閩南語朗讀參考資料使用說明http://140.111.34.54/MANDR/minna/first.html
[8]LibriVox，http://librivox.org/
[9]Youtube，http://www.youtube.com/
[10]CaptionTube，http://captiontube.appspot.com/
[11]CCProse，http://www.ccprose.com/
[12]Windows Movie Maker http://www.microsoft.com/taiwan/windowsxp/using/moviemaker/default.mspx/
[13]Transcriber，http://trans.sourceforge.net/en/presentation.php
[14]Audacity，http://audacity.sourceforge.net/