MultiTurnDialogZoo

Kebun Binatang Dialog Multi-putaran

Kumpulan garis dasar dialog multi-putaran atau satu putaran yang siap digunakan.

Selamat datang PR dan isu.

TODO

• Jaringan Memori
• HVMN
• Transformer Murni (dalam pengembangan, kinerja buruk)
• Generasi dialog multi-putaran berbasis GAN
• Model dialog penyempurnaan berbasis RL
• Perbaiki arsitektur decoder (tambahkan vektor konteks $c$ dan penyematan token terakhir $y_{t-1}$ untuk memprediksi $y_t$ )

Kumpulan data

Skrip praproses untuk kumpulan data ini dapat ditemukan di folder data/data_process .

1. Kumpulan data Dialog Harian
2. Korpus Ubuntu
3. Obrolan Kosong
4. DSTC7-AVSD
5. Obrolan Persona

Metrik

1. PPL: uji kebingungan
2. BLEU(1-4): versi nlg-eval atau multi-bleu.perl atau nltk
3. PEMERAH-2
4. Metrik berbasis penyematan: Rata-rata, Ekstrem, Serakah (lambat dan opsional)
5. Berbeda-1/2
6. skor BERTS
7. BERT-RUBER

Persyaratan

1. Pytorch 1.2+ (Dukungan Transformer & pembaruan pack_padded)
2. Python 3.6.1+
3. tqdm
4. numpy
5. nltk 3.4+
6. ilmu pengetahuan
7. sklearn (opsional)
8. pemerah pipi
9. GoogleNews word2vec atau glove 300 word2vec (opsional)
10. pytorch_geometric (PyG 1.2) (opsional)
11. cuda 9.2 (cocok dengan PyG) (opsional)
12. papan tensor (untuk PyTorch 1.2+)
13. perl (untuk menjalankan skrip multi-bleu.perl)

Format kumpulan data

Tiga kumpulan data dialog domain terbuka multi-putaran (Dialog Harian, DSTC7_AVSD, PersonaChat) dapat diperoleh melalui tautan ini

Setiap dataset berisi 6 file

• src-kereta.txt
• tgt-train.txt
• src-dev.txt
• tgt-dev.txt
• src-test.txt
• tgt-test.txt

Di semua file, satu baris hanya berisi satu konteks dialog (src) atau respons dialog (tgt). Detail lebih lanjut dapat ditemukan di file contoh. Untuk membuat grafik, setiap kalimat harus dimulai dengan token khusus <user0> dan <user1> yang menunjukkan pembicara. __eou__ digunakan untuk memisahkan beberapa kalimat dalam konteks percakapan. Detail lebih lanjut dapat ditemukan dalam kasus data kecil.

Cara menggunakan

• Nama model: Seq2Seq, SeqSeq_MHA, HRED, HRED_RA, VHRED, WSeq, WSeq_RA, DSHRED, DSHRED_RA, HRAN, MReCoSa, MReCoSa_RA
• Nama kumpulan data: daildydialog, ubuntu, dstc7, personachat, empchat

0. Siap

Sebelum menjalankan perintah berikut, pastikan folder penting telah dibuat:

mkdir -p processed/ $DATASET
mkdir -p data/ $DATASET
mkdir -p tblogs/ $DATASET
mkdir -p ckpt/ $DATASET

Variabel DATASET berisi nama dataset yang ingin diproses

1. Hasilkan kosakata kumpulan data

 # default 25000 words
./run.sh vocab < dataset >

2. Hasilkan grafik kumpulan data (opsional)

 # only MTGCN and GatedGCN need to create the graph
# zh or en
./run.sh graph < dataset > < zh/en > < cuda >

3. Periksa informasi tentang kumpulan data yang telah diproses sebelumnya

Tunjukkan panjang ucapan, putaran setting multi-turn dan sebagainya.

./run.sh stat < dataset >

4. Latih N-gram LM (Buang)

Latih Model Bahasa N-gram dengan NLTK (Lidstone dengan gamma 0,5, n-gram default adalah 3):

 # train the N-gram Language model by NLTK
./run.sh lm < dataset >

5. Latih model pada kumpulan data yang sesuai

./run.sh train < dataset > < model > < cuda >

6. Terjemahkan kumpulan data pengujian:

 # translate mode, dataset dialydialog, model HRED on 4th GPU
./run.sh translate < dataset > < model > < cuda >

Terjemahkan sejumlah model

 # rewrite the models and datasets you want to translate
./run_batch_translate.sh < cuda >

7. Mengevaluasi hasil ujaran yang diterjemahkan

 # get the BLEU and Distinct result of the generated sentences on 4th GPU (BERTScore need it)
./run.sh eval < dataset > < model > < cuda >

Evaluasi sejumlah model

 # the performance are redirected into the file `./processed/<dataset>/<model>/final_result.txt`
./run_batch_eval.sh < cuda >

8. Dapatkan kurva semua pos pemeriksaan pelatihan (buang saja, hanya tensorboard yang Anda perlukan)

 # draw the performance curve, but actually, you can get all the information from the tensorboard
./run.sh curve < dataset > < model > < cuda >

9. Mengganggu kumpulan data pengujian sumber

Lihat makalah: Do Neural Dialog Systems Use the Conversation History Effectively? An Empirical Study

 # 10 mode for perturbation
./run.sh perturbation < dataset > < zh/en > 

Model Siap Pakai

• Seq2Seq-attn: Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation
• Seq2Seq-MHA: Attention is All you Need . Perlu dicatat bahwa vanilla Transformer sangat sulit mendapatkan kinerja yang baik pada kumpulan data ini. Untuk memastikan kinerja yang stabil, saya memanfaatkan perhatian mandiri multi-head (1 lapisan, Anda dapat mengubahnya) pada Seq2Seq-attn berbasis RNN, yang menunjukkan kinerja lebih baik.
• HRED: Building End-To-End Dialogue Systems Using Generative Hierarchical Neural Network Models . Peningkatan HRED dengan perhatian tingkat ucapan.
• HRED-WA: Membangun perhatian tingkat kata pada model HRED.
• WSeq: How to Make Context More Useful? An Empirical Study on Context-Aware Neural Conversational Models
• WSeq-WA: Membangun perhatian tingkat kata pada model WSeq.
• VHRED: A Hierarchical Latent Variable Encoder-Decoder Model for Generating Dialogues , tanpa kehilangan BOW (masih dalam pengembangan, selamat datang PR)
• DSHRED: Context-Sensitive Generation of Open-Domain Conversational Responses , mekanisme perhatian dinamis dan statis pada HRED
• DSHRED-WA: Membangun perhatian tingkat kata di DSHRED
• ReCoSa: ReCoSa: Detecting the Relevant Contexts with Self-Attention for Multi-turn Dialogue Generation . Perlu dicatat bahwa implementasi di sini sedikit berbeda dari kode aslinya, tetapi lebih kuat dan praktis (perhatian mandiri multi-head 3 lapis tetapi hanya 1 lapis di kertas asli).
• ReCoSa-WA: Membangun perhatian tingkat kata di ReCoSa
• HRAN: Hierarchical Recurrent Attention Network for Response Generation , sebenarnya sama dengan HRED dengan mekanisme perhatian tingkat kata.

Pertanyaan Umum