臺灣博碩士論文加值系統

本論文的主軸在研究如何訓練出有能力輸出不同風格語句的聊天機器人，論
文中會透過不同的模型嘗試結果。近年來對話機器人的需求增加，許多企業希望
利用對話機器人減少和顧客溝通的人力；除此之外，也有許多娛樂性質或教育性
質的聊天機器人產生。這些對話機器人在被訓練時大多數都不會考慮本身的性格
及對話風格，只是講求文法或是回應出相關的資訊，但本論文認為有特殊風格的
聊天機器人是一個值得探究的主題。若有能因應狀況而輸出不同風格回覆的聊天
機器人可能可以讓人感覺更像是真實的人，而有風格偏向的聊天機器人則能作為
它前期的研究。故本論文將對此進行探討。
本論文中會研究的模型分為兩類，分別為需更動對話機器人之模型及不需更
動對話機器人之模型，其中需更動對話機器人之模型包含了個人化模型及強化學
習模型；不需更動對話機器人之模型則包含即插即用模型及循環生成對抗模型。
實驗中會嘗試這四個模型的各種不同參數及方法，最後進行它們的評估及展示語
句生成的範例。希望能夠找到較好訓練具備特殊對話風格的聊天機器人的方法。

口試委員會審定書 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . i
誌謝 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ii
中文摘要. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iii
一、導論. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1 研究背景. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 相關研究. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 研究方向. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.4 章節安排. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
二、背景知識. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.1 強化學習(Reinforcement Learning, RL) . . . . . . . . . . . . . . . . . 5
2.1.1 強化學習範例. . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.1.2 策略梯度演算法(Policy Gradient) . . . . . . . . . . . . . . . . 7
2.2 變分循環自編碼器(Variational Recurrent AutoEncoder, VRAE) . . . . 10
2.2.1 自編碼器(Autoencoder) . . . . . . . . . . . . . . . . . . . . . . 10
2.2.2 變分自編碼器(Variational AutoEncoder, VAE) . . . . . . . . . 11
2.2.3 循環神經網路(Recurrent Neural Network, RNN) . . . . . . . . 14
2.2.4 變分循環自編碼器(Variational Recurrent AutoEncoder, VRAE) 17
2.3 循環生成對抗網路(Cycle Generative Adversarial Network, CycleGAN) 18
2.3.1 生成對抗網路(Generative Adversarial Network, GAN) . . . . . 18
2.3.2 循環生成對抗網路(Cycle Generative Adversarial Network, CycleGAN)
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.4 本章總結. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
三、可轉變對話風格的聊天機器人. . . . . . . . . . . . . . . . . . . . . . . . 23
3.1 簡介. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.1.1 研究動機. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.1.2 模型概述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.2 需更動對話機器人之模型. . . . . . . . . . . . . . . . . . . . . . . . . 24
3.2.1 個人化模型(Persona-Based Model) . . . . . . . . . . . . . . . . 24
3.2.2 強化學習模型(Reinforcement Learning) . . . . . . . . . . . . . 25
3.3 不需更動對話機器人之模型. . . . . . . . . . . . . . . . . . . . . . . 29
3.3.1 即插即用模型(Plug and Play Model) . . . . . . . . . . . . . . . 29
3.3.2 循環生成對抗模型(CycleGAN) . . . . . . . . . . . . . . . . . 32
3.4 本章總結. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
四、訓練資料及評估方式. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
4.1 訓練集. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
4.1.1 中文情緒對話產生資料集(Chinese Emotional Conversation
Generation, CECG) . . . . . . . . . . . . . . . . . . . . . . . . . 34
4.1.2 批踢踢資料集(PTT dataset) . . . . . . . . . . . . . . . . . . . . 37
4.2 評估模型方式- 機器評估. . . . . . . . . . . . . . . . . . . . . . . . . 37
4.2.1 語言模型分數(Language Model Score, LM) . . . . . . . . . . . 37
4.2.2 相干性分數一(Coherence Score 1, Coh1) . . . . . . . . . . . . 38
4.2.3 相干性分數二(Coherence Score 2, Coh2) . . . . . . . . . . . . 39
4.2.4 風格分數(Style Score, Style) . . . . . . . . . . . . . . . . . . . 40
4.3 評估模型方式- 人工評估. . . . . . . . . . . . . . . . . . . . . . . . . 41
4.4 本章總結. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
五、實驗與分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
5.1 實驗結果展示: 基於中文情緒對話產生資料集. . . . . . . . . . . . . 43
5.1.1 風格分類器之實驗結果. . . . . . . . . . . . . . . . . . . . . . 43
5.1.2 個人化模型之實驗結果. . . . . . . . . . . . . . . . . . . . . . 44
5.1.3 強化學習模型之實驗結果. . . . . . . . . . . . . . . . . . . . 48
5.1.4 即插即用模型之實驗結果. . . . . . . . . . . . . . . . . . . . 51
5.1.5 循環生成對抗模型之實驗結果. . . . . . . . . . . . . . . . . . 57
5.1.6 模型語句生成範例及比較. . . . . . . . . . . . . . . . . . . . 61
5.2 實驗結果展示: 基於批踢踢資料集. . . . . . . . . . . . . . . . . . . . 65
5.2.1 風格分類器之實驗結果. . . . . . . . . . . . . . . . . . . . . . 65
5.2.2 模型語句生成範例及比較. . . . . . . . . . . . . . . . . . . . 66
5.3 實驗結果分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
5.4 本章總結. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
六、結論與展望. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
6.1 結論. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
6.2 未來研究方向. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
參考文獻. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73

[1] Jiwei Li, Michel Galley, Chris Brockett, Georgios P. Spithourakis, Jianfeng Gao, and Bill Dolan, “A persona-based neural conversation model,” in ACL, 2016.
[2] Chih-Wei Lee, Yau-Shian Wang, Tsung-Yuan Hsu, Kuan-Yu Chen, Hung-Yi Lee, and Lin shan Lee, “Scalable sentiment for sequence-to-sequence chatbot response with performance analysisl,” in ICASSP, 2018.
[3] Chih-Wei Lee, “Improved task-oriented and non-task-oriented dialogue systems: Language learning dialogue game and chatbot as examples,” in Master’s Thesis of Communication Engineering College of Electrical Enginnering and Computer Science, National Taiwan University, 2018.
[4] Richard S. Sutton and Andrew G. Barto, “Reinforcement learning: An introduction,” in MIT press, 1998.
[5] Samuel R. Bowman, Luke Vilnis, Oriol Vinyals, Andrew M. Dai, Rafal Jozefowicz, and Samy Bengio, “Generating sentences from a continuous space,” in CONLL, 2016.
[6] Jun-Yan Zhu, Taesung Park, Phillip Isola, and Alexei A. Efros, “Unpaired imageto-image translation using cycle-consistent adversarial networks,” in ICCV, 2017.
[7] Hao Zhou, Minlie Huang, Tianyang Zhang, Xiaoyan Zhu, and Bing Liu, “Emotional chatting machine: Emotional conversation generation with internal and external memory,” in arXiv, 2017.
[8] Christopher JCH Watkins and Peter Dayan, “Q-learning,” in Machine learning, 1992, vol. 8, pp. 279–292.
[9] Richard S. Sutton, David McAllester, Satinder Singh, and Yishay Mansour, “Policy gradient methods for reinforcement learning with function approximation,” in NIPS, 1999.
[10] Vijay R. Konda and John N. Tsitsiklis, “Actor-critic algorithms,” in Advances in Neural Information Processing Systems, 2000.
[11] Otto Fabius and Joost R. van Amersfoort, “Variational recurrent auto-encoders,” in arXiv, 2014.
[12] Diederik P. Kingma and Max Welling, “Auto-encoding variational bayes,” in ICLR, 2013.
[13] D.E. Rumelhart, G.E. Hinton, and R.J.Williams, “Learning internal representations by error propagation,” in Parallel Distributed Processing, 1986.
[14] G. E. Hinton and R. R. Salakhutdinov, “Reducing the dimensionality of data with neural networks,” in Science, 2006, vol. 313(5786):504.
[15] Geoffrey E. Hinton, Simon Osindero, and Yee-Whye Teh, “A fast learning algorithm for deep belief nets,” in Neural Computation, 2006, vol. 18(7):1527–1554.
[16] Dumitru Erhan, Yoshua Bengio, Aaron Courville, Pierre-Antoine Manzagol, Pascal Vincent, and Samy Bengio, “Why does unsupervised pre-training help deep learning?,” in Journal of Machine Learning Research, 2010, vol. 11:625–660.
[17] Kunihiko Fukushima, “Neocognitron : A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position,” in Biological Cybernetics, 1980, vol. 36(4): 93-202.
[18] Samy Bengio, Oriol Vinyals, Navdeep Jaitly, and Noam Shazeer, “Scheduled sampling for sequence prediction with recurrent neural networks,” in NIPS, 2015.
[19] Minh-Thang Luong, Hieu Pham, and Christopher D Manning, “Effective approaches to attentionbased neural machine translation,” in arXiv, 2015.
[20] Dzmitry Bahdanau, KyungHyun Cho, and Yoshua Bengio, “Neural machine translation by jointly learning to align and translate,” in ICLR, 2015.
[21] Sepp Hochreiter and Jurgen Schmidhuber, “Long short-term memory,” in Neural computation, 1997, vol. 9(8), pp. 1735–1780.
[22] Kyunghyun Cho, Bart van Merrienboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio, “Learning phrase representations using rnn encoder-decoder for statistical machine translation,” in EMNLP, 2014.
[23] Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio, “Generative adversarial nets,” in NIPS, 2014.
[24] Tim Salimans, Ian Goodfellow, Wojciech Zaremba, Vicki Cheung, Alec Radford, and Xi Chen, “Improved techniques for training gans,” in NIPS, 2016.
[25] Quan Hoang, Tu Dinh Nguyen, Trung Le, and Dinh Phung, “Multi-generator generative adversarial nets,” in ICLR, 2018.
[26] Jiwei Li, Will Monroe, Alan Ritter, Michel Galley, Jianfeng Gao, and Dan Jurafsky, “Deep reinforcement learning for dialogue generation,” in EMNLP, 2016.