Adversarial Learning for Generative Conversational Agents

Apprentissage contradictoire pour les agents conversationnels génératifs

Ce référentiel contient une nouvelle méthode de formation contradictoire pour notre agent conversationnel génératif (GCA).

De plus amples détails sur cette nouvelle méthode de formation peuvent être trouvés dans l'article Oswaldo Ludwig, « End-to-end Adversarial Learning for Generative Conversational Agents », arXiv:1711.10122 cs.CL, novembre 2017. Dans le cas d'une publication utilisant des idées ou des éléments de code de ce référentiel, veuillez citer cet article.

Notre méthode considère le GCA comme un générateur visant à tromper un discriminateur qui qualifie les dialogues de générés par l'homme ou par la machine. Dans notre approche, le discriminateur effectue une classification au niveau du jeton, c'est-à-dire qu'il indique si le jeton actuel a été généré par des humains ou des machines. Pour ce faire, le discriminateur reçoit également en entrée les énoncés contextuels (l'historique du dialogue) et la réponse incomplète jusqu'au jeton actuel. Cette nouvelle approche rend possible la formation de bout en bout par rétropropagation. Un processus d'auto-conversation permet de produire un ensemble de données générées avec plus de diversité pour l'entraînement contradictoire. Cette approche améliore les performances sur les questions non liées aux données d'entraînement.

Le modèle entraîné disponible ici utilisait un ensemble de données collectées à partir de dialogues de cours d'anglais en ligne, disponibles ici.

Notre modèle GCA peut être expliqué par l’organigramme suivant :

tandis que le pseudocode suivant explique notre algorithme GCA :

Notre nouvelle formation contradictoire de bout en bout peut être expliquée par le modèle Keras suivant (implémenté dans le fichier train_bot_GAN.py), qui est composé du générateur et du discriminateur. Les blocs jaunes appartiennent au GCA (le générateur), tandis que les blocs verts appartiennent au discriminateur. Les blocs blancs sont partagés entre le générateur et le discriminateur :

tandis que le pseudocode suivant explique le nouvel algorithme (voir l'article pour la définition des variables) :

Pour discuter avec les modèles pré-entraînés :

1. Téléchargez le fichier python "conversation_GAN.py", le fichier de vocabulaire "vocabulary_movie" et les poids nets "my_model_weights20.h5" (entraînés par le forçage de l'enseignant) et "my_model_weights.h5" (entraînés par la nouvelle méthode contradictoire), qui peuvent être trouvé ici;
2. Exécutez conversation_GAN.py.

Pour évaluer les lignes de dialogue à l'aide du discriminateur pré-entraîné :

1. Téléchargez le fichier python "run_discriminator_GAN.py", le fichier de vocabulaire "vocabulary_movie" et les poids nets du discriminateur "my_model_weights_discriminator.h5", qui peuvent être trouvés ici ;
2. Exécutez run_discriminator_GAN.py.

Pour vous entraîner de bout en bout en utilisant la nouvelle méthode contradictoire :

1. Téléchargez tous les fichiers ici ;
2. Téléchargez le dossier Glove 'glove.6B' et incluez ce dossier dans le répertoire du chatbot (vous pouvez trouver ce dossier ici). Cet algorithme applique l'apprentissage par transfert en utilisant une intégration de mots pré-entraînés ;
3. Exécutez GAN_train_script.py. Ce script est auto-expliqué et résume la nouvelle formation contradictoire. Si vous souhaitez vous entraîner sur vos propres données, incluez-les dans les fichiers "context_simple" et "answers_simple" en suivant le même schéma. Comme on peut le voir dans le script, j'utilise le backend et le GPU Theano, quelques modifications sont nécessaires pour l'exécuter avec le backend TensorFlow.

Si vous souhaitez démarrer la formation contradictoire à partir de zéro, créez le fichier de poids my_model_weights.h5 (pré-entraîné à la nouvelle méthode contradictoire) égal à my_model_weights20.h5 (pré-entraîné par le forçage de l'enseignant) et exécutez train_script.py.