MultiTurnDialogZoo

Multi-Turn-Dialog-Zoo

Ein Stapel gebrauchsfertiger Multi-Turn- oder Single-Turn-Dialogbasislinien.

Willkommene PRs und Probleme.

TODO

• Speichernetzwerk
• HVMN
• Pure Transformer (in Entwicklung, schlechte Leistung)
• GAN-basierte Multi-Turn-Dialoggenerierung
• RL-basierte Feinabstimmung von Dialogmodellen
• Korrigieren Sie die Architektur des Decoders (fügen Sie den Kontextvektor hinzu $c$ und letzte Token-Einbettung $y_{t-1}$ zum Vorhersagen $y_t$ )

Datensatz

Das Vorverarbeitungsskript für diese Datensätze finden Sie im Ordner data/data_process .

1. DailyDialog-Datensatz
2. Ubuntu-Korpus
3. EmpChat
4. DSTC7-AVSD
5. PersonaChat

Metrisch

1. PPL: Ratlosigkeit testen
2. BLEU(1-4): nlg-eval-Version oder multi-bleu.perl oder nltk
3. ROUGE-2
4. Einbettungsbasierte Metriken: Durchschnitt, Extrema, Gierig (langsam und optional)
5. Distinct-1/2
6. BERTScore
7. BERT-RUBER

Anforderungen

1. Pytorch 1.2+ (Transformer-Unterstützung und pack_padded-Update)
2. Python 3.6.1+
3. tqdm
4. Numpy
5. NLTK 3.4+
6. scipy
7. sklearn (optional)
8. Rouge
9. GoogleNews word2vec oder Glove 300 word2vec (optional)
10. pytorch_geometrische (PyG 1.2) (optional)
11. cuda 9.2 (Match mit PyG) (optional)
12. Tensorboard (für PyTorch 1.2+)
13. perl (zum Ausführen des multi-bleu.perl-Skripts)

Datensatzformat

Drei Open-Domain-Dialogdatensätze mit mehreren Runden (Dailydialog, DSTC7_AVSD, PersonaChat) können über diesen Link abgerufen werden

Jeder Datensatz enthält 6 Dateien

• src-train.txt
• tgt-train.txt
• src-dev.txt
• tgt-dev.txt
• src-test.txt
• tgt-test.txt

In allen Dateien enthält eine Zeile nur einen Dialogkontext (src) oder die Dialogantwort (tgt). Weitere Details finden Sie in den Beispieldateien. Um das Diagramm zu erstellen, muss jeder Satz mit den speziellen Token <user0> und <user1> beginnen, die den Sprecher bezeichnen. Das __eou__ wird verwendet, um die mehreren Sätze im Konversationskontext zu trennen. Weitere Einzelheiten finden Sie im kleinen Datenfall.

Wie zu verwenden

• Modellnamen: Seq2Seq, SeqSeq_MHA, HRED, HRED_RA, VHRED, WSeq, WSeq_RA, DSHRED, DSHRED_RA, HRAN, MReCoSa, MReCoSa_RA
• Datensatznamen: daildydialog, ubuntu, dstc7, personachat, empchat

0. Bereit

Stellen Sie vor dem Ausführen der folgenden Befehle sicher, dass die wesentlichen Ordner erstellt sind:

mkdir -p processed/ $DATASET
mkdir -p data/ $DATASET
mkdir -p tblogs/ $DATASET
mkdir -p ckpt/ $DATASET

Die Variable DATASET enthält den Namen des Datensatzes, den Sie verarbeiten möchten

1. Generieren Sie das Vokabular des Datensatzes

 # default 25000 words
./run.sh vocab < dataset >

2. Generieren Sie das Diagramm des Datensatzes (optional)

 # only MTGCN and GatedGCN need to create the graph
# zh or en
./run.sh graph < dataset > < zh/en > < cuda >

3. Überprüfen Sie die Informationen zum vorverarbeiteten Datensatz

Zeigt die Länge der Äußerungen, Umdrehungen der Multiturn-Einstellung usw. an.

./run.sh stat < dataset >

4. N-Gramm LM trainieren (Verwerfen)

Trainieren Sie das N-Gramm-Sprachmodell mit NLTK (Lidstone mit 0,5 Gamma, Standard-N-Gramm ist 3):

 # train the N-gram Language model by NLTK
./run.sh lm < dataset >

5. Trainieren Sie das Modell anhand des entsprechenden Datensatzes

./run.sh train < dataset > < model > < cuda >

6. Übersetzen Sie den Testdatensatz:

 # translate mode, dataset dialydialog, model HRED on 4th GPU
./run.sh translate < dataset > < model > < cuda >

Übersetzen Sie eine Reihe von Modellen

 # rewrite the models and datasets you want to translate
./run_batch_translate.sh < cuda >

7. Bewerten Sie das Ergebnis der übersetzten Äußerungen

 # get the BLEU and Distinct result of the generated sentences on 4th GPU (BERTScore need it)
./run.sh eval < dataset > < model > < cuda >

Bewerten Sie eine Reihe von Modellen

 # the performance are redirected into the file `./processed/<dataset>/<model>/final_result.txt`
./run_batch_eval.sh < cuda >

8. Holen Sie sich die Kurve aller Trainingskontrollpunkte (verwerfen Sie, Tensorboard ist alles, was Sie brauchen)

 # draw the performance curve, but actually, you can get all the information from the tensorboard
./run.sh curve < dataset > < model > < cuda >

9. Stören Sie den Quelltestdatensatz

Lesen Sie den Artikel: Do Neural Dialog Systems Use the Conversation History Effectively? An Empirical Study

 # 10 mode for perturbation
./run.sh perturbation < dataset > < zh/en > 

Gebrauchsfertige Modelle

• Seq2Seq-attn: Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation
• Seq2Seq-MHA: Attention is All you Need . Es ist zu beachten, dass es für Vanilla Transformer sehr schwierig ist, bei diesen Datensätzen eine gute Leistung zu erzielen. Um eine stabile Leistung sicherzustellen, nutze ich die Multi-Head-Selbstaufmerksamkeit (1 Ebene, Sie können sie ändern) auf dem RNN-basierten Seq2Seq-attn, das die bessere Leistung zeigt.
• HRED: Building End-To-End Dialogue Systems Using Generative Hierarchical Neural Network Models . Verbesserte HRED mit der Aufmerksamkeit auf Äußerungsebene.
• HRED-WA: Aufbau der Aufmerksamkeit auf Wortebene nach dem HRED-Modell.
• WSeq: How to Make Context More Useful? An Empirical Study on Context-Aware Neural Conversational Models
• WSeq-WA: Aufbau der Aufmerksamkeit auf Wortebene auf dem WSeq-Modell.
• VHRED: A Hierarchical Latent Variable Encoder-Decoder Model for Generating Dialogues , ohne BOW-Verlust (noch in der Entwicklung, willkommene PR)
• DSHRED: Context-Sensitive Generation of Open-Domain Conversational Responses , dynamischer und statischer Aufmerksamkeitsmechanismus auf HRED
• DSHRED-WA: Aufbau der Aufmerksamkeit auf Wortebene für DSHRED
• ReCoSa: ReCoSa: Detecting the Relevant Contexts with Self-Attention for Multi-turn Dialogue Generation . Es ist zu beachten, dass sich diese Implementierung hier ein wenig von den Originalcodes unterscheidet, aber leistungsfähiger und praktischer ist (dreischichtige Multi-Head-Selbstaufmerksamkeit, aber nur eine Schicht im Originalpapier).
• ReCoSa-WA: Aufmerksamkeit auf Wortebene auf ReCoSa aufbauen
• HRAN: Hierarchical Recurrent Attention Network for Response Generation . Eigentlich ist es dasselbe wie HRED mit einem Aufmerksamkeitsmechanismus auf Wortebene.

FAQ