Adversarial Learning for Generative Conversational Agents

生成對話代理的對抗性學習

此儲存庫包含用於我們的生成對話代理程式（GCA）的新對抗訓練方法。

有關這種新訓練方法的更多詳細信息，請參閱 Oswaldo Ludwig 論文，“生成對話代理的端到端對抗性學習”，arXiv:1711.10122 cs.CL，2017 年 11 月。請引用本文。

我們的方法假設 GCA 是一個生成器，旨在愚弄鑑別器，將對話標記為人類生成或機器生成。在我們的方法中，鑑別器執行令牌層級的分類，即它指示當前令牌是由人類還是機器產生的。為此，鑑別器也接收上下文話語（對話歷史）和當前標記之前的不完整答案作為輸入。這種新方法使得透過反向傳播進行端到端訓練成為可能。自對話過程能夠產生一組具有更多多樣性的生成數據，用於對抗訓練。這種方法提高了與訓練資料無關的問題的效能。

此處提供的訓練模型使用了從線上英語課程對話中收集的資料集（此處提供）。

我們的GCA模型可以用下面的流程圖來解釋：

而下面的偽代碼解釋了我們的 GCA 演算法：

我們新的端到端對抗訓練可以透過以下 Keras 模型（在檔案 train_bot_GAN.py 中實現）來解釋，該模型由生成器和鑑別器組成。黃色塊屬於 GCA（生成器），而綠色塊屬於鑑別器。白色區塊在生成器和鑑別器之間共用：

而以下偽代碼解釋了新演算法（有關變數的定義，請參閱論文）：

與預先訓練的模型聊天：

1. 下載python檔案“conversation_GAN.py”，詞彙檔案“vocabulary_movie”，以及淨權值“my_model_weights20.h5”（透過教師強制訓練）和“my_model_weights.h5”（透過新的對抗方法訓練），可以在這裡找到；
2. 運行對話_GAN.py。

使用預先訓練的鑑別器評估對話台詞：

1. 下載Python檔案“run_discriminator_GAN.py”、詞彙檔案“vocabulary_movie”和鑑別器的淨權重“my_model_weights_discriminator.h5”，可以在這裡找到；
2. 運行 run_discriminator_GAN.py。

使用新的對抗方法進行端到端訓練：

1. 在這裡下載所有文件；
2. 下載 Glove 資料夾「glove.6B」並將該資料夾包含在聊天機器人的目錄中（您可以在此處找到該資料夾）。該演算法透過使用預先訓練的詞嵌入來應用遷移學習；
3. 運行 GAN_train_script.py。該腳本是不言自明的，總結了新的對抗訓練。如果您想訓練自己的數據，請按照相同的模式將其包含在檔案「context_simple」和「answers_simple」中。從腳本中可以看出，我使用的是 Theano 後端和 GPU，需要進行一些修改才能使用 TensorFlow 後端運行它。

如果您想從頭開始對抗訓練，請將權重檔案 my_model_weights.h5 （預先訓練新對抗方法）設定為 my_model_weights20.h5 （透過教師強制預訓練）並執行 train_script.py。