跳到主要內容

臺灣博碩士論文加值系統

(3.236.110.106) 您好!臺灣時間:2021/07/25 08:17
字體大小: 字級放大   字級縮小   預設字形  
回查詢結果 :::

詳目顯示

: 
twitterline
研究生:楊德倫
研究生(外文):Yang, Te-Lun
論文名稱:建立和應用具有幽默風格的生成對話系統
論文名稱(外文):Building and applying a generative dialogue system with humorous styles
指導教授:曾元顯曾元顯引用關係
指導教授(外文):Tseng, Yuen-Hsien
學位類別:碩士
校院名稱:國立臺灣師範大學
系所名稱:圖書資訊學研究所圖書資訊學數位學習碩士在職專班
學門:教育學門
學類:教育科技學類
論文出版年:2021
畢業學年度:109
語文別:中文
論文頁數:72
中文關鍵詞:對話系統文字生成文意理解深度學習人工智慧
外文關鍵詞:Conversational systemText generationText understandingDeep learningArtificial intelligence
相關次數:
  • 被引用被引用:0
  • 點閱點閱:133
  • 評分評分:
  • 下載下載:4
  • 收藏至我的研究室書目清單書目收藏:0
本研究旨在建置與應用一個具有幽默風格之對話系統。藉由2019 年CECG(Chinese Emotional Conversation Generation)評估任務所使用的170萬則對話語料,整合 GPT-2 與 BERT 等工具與技術進行實作,建立與應用一個具備情感對話的系統;而後結合LCCC(Large-scale Cleaned Chinese Conversation)base版本680萬則對話語料,讓對話系統擁有更豐富的對話內容;最後加上 156 句具有幽默風格的少量撩妹語料進行微調(fine-tuning),同時透過前導文句調整(prefix-tuning)來控制文字的生成。
系統成效評估是基於以下準則:(一)建立兩個對話系統,一個經由CECG 和 LCCC-base 語料庫進行訓練,並用撩妹幽默語料進行微調,另一個僅由CECG 和 LCCC-base 語料庫進行訓練。(二)在第一輪當中,使用帶有調情性質的自訂文句作為會話的開始,並測試50次。(三)評估每次對話是否連貫流暢,同時,最後一輪的結束對話是否具有如同調情般的幽默風格。(四)測試最多3輪。
過程由四位人工判斷,沒有使用撩妹語料進行微調的對話系統,其生成回應具有撩妹效果的有29%,而使用撩妹語料進行微調的對話系統,其生成回應具有撩妹效果的有62%。
本研究的主要貢獻如下:(一)將情感融入發文字串,作為條件求機率,以便簡潔地依原方式訓練,並使用 GPT-2。(二)運用 BERT 來預測回應文句的連貫性,以作為排序的依據。(三)透過少量的語料來微調預訓練模型,改變模型的文字生成風格。(四)透過前導文句的調整,來實作出具有幽默風格的多輪對話系統。
The purpose of this study is to build and apply a generative dialogue system with humorous styles. Based on the corpora provided by the 2019 Chinese Emotional Conversation Generation (CECG) evaluation task, Large-scale Cleaned Chinese Conversation base version (LCCC-base) and flirting conversation retrieved from the Internet, an emotional conversation system is implemented in this paper using GPT-2 and BERT. Meanwhile, the generation of response from this system is refined via prefix-tuning. The effectiveness of this system is evaluated based on the steps as shown below: (1) Build two dialogue systems one is trained by the corpora of CECG and LCCC-base and fine-tuned with flirting corpus; the other is only trained by the corpora of CECG and LCCC-base. (2) Use a customized sentence with flirting words in the initial conversation and test this kind of conversation 50 times. (3) Evaluate whether every conversation is coherent and fluent; meanwhile, evaluate whether the ending dialogue of the final round is with humorous style like flirting. (4) Converse with the system at most 3 rounds in each conversation. Following these steps, four human annotators converse with the system. The results show that the effectiveness of the dialogue system which is only trained by the corpora of CECG and LCCC-base is 29%, and the effectiveness of the other which is trained by the corpora of CECG and LCCC-base and fine-tuned with flirting corpus is 62%. The main contributions of this study are: (1) Integrating emotions into the post string as a condition for computing probability, without changing the way to train and apply GPT-2; (2) Applying BERT to predict the coherence of response sentences as a basis for response ranking; (3) Fine-tuning a language model with few-shot to change the styles of the response generated from a dialogue system; (4) Implementing a multi-turn dialogue system with humorous styles via prefix-tuning.
第一章 緒論 1
第一節 研究動機 1
第二節 研究目的與問題 2
第二章 文獻探討 3
第一節 對話生成 3
第二節 語言理解 4
第三節 語料庫 5
第四節 評估 6
第五節 幽默對話系統 7
第三章 研究方法 9
第一節 研究架構 9
一、語料蒐集 9
二、語言模型訓練 9
三、對話生成應用與評估 9
四、觀察與結論 9
第二節 研究工具 10
一、GPT-2 10
二、GPT2-Chinese 11
三、bert-as-service 13
四、Elasticsearch 14
五、Simple Transformers 14
六、Short Text Conversation Task(STC-3) 15
七、Large-scale Cleaned Chinese Conversation(LCCC) 16
第三節 研究實施與步驟 17
一、以資訊檢索來回應文字 17
二、以相似度排序來回應生成文字 17
三、以迴歸進行預測來回應生成文字 18
第四章 實驗結果與評估 21
第一節 系統架構 21
第二節 資料前處理 21
一、STC-3 CECG 語料的資料前處理 21
二、建立對話回應連貫性判斷之訓練資料前處理 24
第三節 初步結果 26
第四節 情緒分類 30
第五節 接續訓練 32
第六節 前導詞調整 33
第七節 評估 34
第五章 結論 40
參考文獻 41
Blinov, P.、Avetisian, M.、Kokh, V.、Umerenkov, D.、Tuzhilin, A. (2020)。 Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-based Neural Networks。arXiv preprint arXiv:2007.07562。
Chang, L.-L.、Chen, K.-j.、Huang, C.-R.(1996)。 語料庫在辭典編輯上的運用 (The Application of Language Corpus on Dictionary Editing)[In Chinese]。 於「Proceedings of Rocling IX Computational Linguistics Conference IX 」發表之論文,載於 Book 語料庫在辭典編輯上的運用 (The Application of Language Corpus on Dictionary Editing)[In Chinese],頁255-279。
Chaves, A. P.、Gerosa, M. A. (2020)。 How Should My Chatbot Interact? A Survey on Social Characteristics in Human–Chatbot Interaction Design。International Journal of Human–Computer Interaction,頁 1-30。
Devlin, J.、Chang, M.-W.、Lee, K.、Toutanova, K. (2018)。 Bert: Pre-training of deep bidirectional transformers for language understanding。arXiv preprint arXiv:1810.04805。
Dybala, P.、Ptaszynski, M.、Higuchi, S.、Rzepka, R.、Araki, K.(2008)。 Humor prevails!-implementing a joke generator into a conversational system。 於「Australasian Joint Conference on Artificial Intelligence 」發表之論文,載於 Book Humor prevails!-implementing a joke generator into a conversational system,頁214-225。
Husain, H.、Wu, H.-H.、Gazit, T.、Allamanis, M.、Brockschmidt, M. (2019)。 Codesearchnet challenge: Evaluating the state of semantic code search。arXiv preprint arXiv:1909.09436。
Khalid, H.、Wade, V. (2020)。 Topic Detection from Conversational Dialogue Corpus with Parallel Dirichlet Allocation Model and Elbow Method。arXiv preprint arXiv:2006.03353。
Li, X. L.、Liang, P. (2021)。 Prefix-Tuning: Optimizing Continuous Prompts for Generation。arXiv preprint arXiv:2101.00190。
Mane, M. R.、Kedia, S.、Mantha, A.、Guo, S.、Achan, K. (2020)。 Product Title Generation for Conversational Systems using BERT。arXiv preprint arXiv:2007.11768。
Martin, R. A.、Ford, T.(2018)。The psychology of humor: An integrative approach。:Academic press。
Portet, F.、Reiter, E.、Gatt, A.、Hunter, J.、Sripada, S.、Freer, Y.等人 (2009)。 Automatic generation of textual summaries from neonatal intensive care data。Artificial Intelligence, 173(7-8),頁 789-816。
Radford, A.、Wu, J.、Child, R.、Luan, D.、Amodei, D.、Sutskever, I. (2019)。 Language models are unsupervised multitask learners。OpenAI Blog, 1(8),頁 9。
Reiter, E.、Dale, R.(2000)。Building natural language generation systems。:Cambridge university press。
Safaya, A.、Abdullatif, M.、Yuret, D.(2020)。 Kuisail at semeval-2020 task 12: BERT-CNN for offensive speech identification in social media。 於「Proceedings of the International Workshop on Semantic Evaluation (SemEval). To appear 」發表之論文,載於 Book Kuisail at semeval-2020 task 12: BERT-CNN for offensive speech identification in social media,。
Sellam, T.、Das, D.、Parikh, A. P. (2020)。 BLEURT: Learning Robust Metrics for Text Generation。arXiv preprint arXiv:2004.04696。
Svartvik, J.(2011)。Directions in corpus linguistics: proceedings of Nobel Symposium 82 Stockholm, 4-8 August 1991(第65冊)。:Walter de Gruyter。
Wang, Y.、Ke, P.、Zheng, Y.、Huang, K.、Jiang, Y.、Zhu, X.等人(2020)。 A large-scale chinese short-text conversation dataset。 於「CCF International Conference on Natural Language Processing and Chinese Computing 」發表之論文,載於 Book A large-scale chinese short-text conversation dataset,頁91-103。
岳曉東(2012)。幽默心理學: 思考與研究。:City University of HK Press。
曾元顯、許瑋倫、吳玟萱、古怡巧、陳學志 (2020)。 Implementation and Evaluation of a Retrieval-based Chinese Humor Chatbot[基於檢索方法的中文幽默對話系統之建置應用與評估]。圖書資訊學刊, 18(2),頁 73-101。 doi: 10.6182/jlis.202012_18(2).073
程祥恩(2019)。應用記憶增強機制階層式深度學習模型於短文對話之對話品質與事件偵測任務。國立中央大學資訊工程學系,桃園縣。
黃居仁、陳克健、張莉萍、許蔥麗 (1995)。 中央研究院平衡語料庫簡介。Proceeding of ROCLLING, 7,頁 81-99。
連結至畢業學校之論文網頁點我開啟連結
註: 此連結為研究生畢業學校所提供,不一定有電子全文可供下載,若連結有誤,請點選上方之〝勘誤回報〞功能,我們會盡快修正,謝謝!
QRCODE
 
 
 
 
 
                                                                                                                                                                                                                                                                                                                                                                                                               
第一頁 上一頁 下一頁 最後一頁 top