MultiTurnDialogZoo

多回合對話動物園

一批現成的多輪或單輪對話基準。

歡迎 PR 和問題。

待辦事項

• 記憶網絡
• 高壓VMN
• Pure Transformer（正在開發中，性能較差）
• 基於GAN的多輪對話生成
• 基於強化學習的微調對話模型
• 修復解碼器的架構（加入上下文向量 $c$和最後的令牌嵌入 $y_{t-1}$用於預測 $y_t$ ）

數據集

這些資料集的預處理腳本可以在data/data_process資料夾下找到。

1. DailyDialog 資料集
2. Ubuntu語料庫
3. 員工聊天室
4. DSTC7-AVSD
5. 角色聊天

公制

1. PPL：測試困惑度
2. BLEU(1-4)：nlg-eval 版本或多 bleu.perl 或 nltk
3. 胭脂-2
4. 基於嵌入的指標：平均、極端值、貪婪（緩慢且可選）
5. 獨特-1/2
6. BERT評分
7. 伯特·魯伯

要求

1. Pytorch 1.2+（Transformer 支援和 pack_pangled 更新）
2. Python 3.6.1+
3. 全面品質管理
4. 麻木
5. NLTK 3.4+
6. scipy
7. sklearn（可選）
8. 胭脂
9. GoogleNews word2vec或glove 300 word2vec （可選）
10. pytorch_geometric (PyG 1.2)（可選）
11. cuda 9.2（與 PyG 相符）（可選）
12. 張量板（適用於 PyTorch 1.2+）
13. perl（用於運行 multi-bleu.perl 腳本）

資料集格式

三個多輪開放域對話資料集（Dailydialog、DSTC7_AVSD、PersonaChat）可以透過此連結獲取

每個資料集包含6個文件

• src-train.txt
• tgt-train.txt
• src-dev.txt
• tgt-dev.txt
• src-test.txt
• tgt-測試.txt

在所有文件中，一行僅包含一個對話上下文（src）或對話回應（tgt）。更多詳細資訊可以在範例文件中找到。為了建立圖表，每個句子必須以表示說話者的特殊標記<user0>和<user1>開頭。 __eou__用於分隔對話上下文中的多個句子。更多細節可以在小數據案例中找到。

如何使用

• 模型名稱： Seq2Seq, SeqSeq_MHA, HRED, HRED_RA, VHRED, WSeq, WSeq_RA, DSHRED, DSHRED_RA, HRAN, MReCoSa, MReCoSa_RA
• 資料集名稱： daildydialog, ubuntu, dstc7, personachat, empchat

0. 準備好

在執行以下命令之前，請確保已建立必要的資料夾：

mkdir -p processed/ $DATASET
mkdir -p data/ $DATASET
mkdir -p tblogs/ $DATASET
mkdir -p ckpt/ $DATASET

變數DATASET包含要處理的資料集的名稱

1. 生成資料集的詞彙

 # default 25000 words
./run.sh vocab < dataset >

2. 產生資料集的圖表（可選）

 # only MTGCN and GatedGCN need to create the graph
# zh or en
./run.sh graph < dataset > < zh/en > < cuda >

3.查看預處理後的資料集資訊

顯示話語的長度、多回合設定的回合數等。

./run.sh stat < dataset >

4. 訓練N-gram LM（丟棄）

透過 NLTK 訓練 N-gram 語言模型（Lidstone，gamma 為 0.5，預設 n-gram 為 3）：

 # train the N-gram Language model by NLTK
./run.sh lm < dataset >

5. 在對應的資料集上訓練模型

./run.sh train < dataset > < model > < cuda >

6. 翻譯測試資料集：

 # translate mode, dataset dialydialog, model HRED on 4th GPU
./run.sh translate < dataset > < model > < cuda >

翻譯一批模型

 # rewrite the models and datasets you want to translate
./run_batch_translate.sh < cuda >

7. 評估翻譯結果

 # get the BLEU and Distinct result of the generated sentences on 4th GPU (BERTScore need it)
./run.sh eval < dataset > < model > < cuda >

評估一批模型

 # the performance are redirected into the file `./processed/<dataset>/<model>/final_result.txt`
./run_batch_eval.sh < cuda >

8.取得所有訓練檢查點的曲線（丟棄，tensorboard就夠了）

 # draw the performance curve, but actually, you can get all the information from the tensorboard
./run.sh curve < dataset > < model > < cuda >

9.擾動源測試資料集

請參閱論文： Do Neural Dialog Systems Use the Conversation History Effectively? An Empirical Study

 # 10 mode for perturbation
./run.sh perturbation < dataset > < zh/en > 

即用型型號

• Seq2Seq-attn： Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation
• Seq2Seq-MHA： Attention is All you Need 。應該指出的是，普通 Transformer 很難在這些資料集上獲得良好的效能。為了確保穩定的性能，我在基於RNN的Seq2Seq-attn上利用了多頭自註意力（1層，你可以改變它），這顯示出了更好的性能。
• HRED： Building End-To-End Dialogue Systems Using Generative Hierarchical Neural Network Models 。增強 HRED 與話語級注意力。
• HRED-WA：在 HRED 模型上建構詞級注意力。
• WSeq： How to Make Context More Useful? An Empirical Study on Context-Aware Neural Conversational Models
• WSeq-WA：在 WSeq 模型上建構詞級注意力。
• VHRED： A Hierarchical Latent Variable Encoder-Decoder Model for Generating Dialogues ，無 BOW 損失（仍在開發中，歡迎 PR）
• DSHRED： Context-Sensitive Generation of Open-Domain Conversational Responses ，HRED 上的動態和靜態注意機制
• DSHRED-WA：在 DSHRED 上建立詞級注意力
• ReCoSa： ReCoSa: Detecting the Relevant Contexts with Self-Attention for Multi-turn Dialogue Generation 。需要注意的是，這裡的實作與原始程式碼有點不同，但更強大和實用（3層多頭自註意力但原始論文中只有1層）。
• ReCoSa-WA：在 ReCoSa 上建立詞級關注
• HRAN： Hierarchical Recurrent Attention Network for Response Generation ，實際上與具有詞級注意力機制的 HRED 相同。

常問問題