NeuralDialog CVAE

CVAE guiado por el conocimiento para la generación de diálogos

Proporcionamos una implementación de TensorFlow del modelo de diálogo basado en CVAE descrito en Aprendizaje de la diversidad a nivel de discurso para modelos de diálogo neuronal utilizando codificadores automáticos variacionales condicionales , publicado como un artículo extenso en ACL 2017. Consulte el artículo para obtener más detalles.

Referencias

Si utiliza algún código fuente o conjunto de datos incluidos en este kit de herramientas en su trabajo, cite el siguiente documento. Los bibtex se enumeran a continuación:

 [Zhao et al, 2017]:
 @inproceedings{zhao2017learning,
   title={Learning Discourse-level Diversity for Neural Dialog Models using Conditional Variational Autoencoders},
   author={Zhao, Tiancheng and Zhao, Ran and Eskenazi, Maxine},
   booktitle={Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)},
   volume={1},
   pages={654--664},
   year={2017}
 }

Implementación externa

El método de referencia HRED que utiliza el mismo conjunto de datos SwitchBoard también se implementa en Texar , un conjunto de herramientas de generación de texto de uso general. Pague aquí.

Requisitos previos

• TensorFlow 1.3.0
• cuDN 6
• Pitón 2.7
• numpy
• NLTK
• Es posible que necesite instalar pip beeprint si falta el módulo

Uso

Entrenar un nuevo modelo

 python kgcvae_swda.py

ejecutará el entrenamiento predeterminado y guardará el modelo en ./working

Probar un modelo existente

Modifique los indicadores TF en la parte superior de kgcvae_swda.py de la siguiente manera para ejecutar un modelo existente

 forward_only: False -> True
test_path: set to the folder contains the model. E.g. runxxxx

Luego puedes ejecutar el modelo mediante:

 python kgcvae_swda.py

Los resultados se imprimirán en stdout y las respuestas generadas se guardarán en test.txt en test_path.

Utilice Word2vec previamente entrenado

Descargue incrustaciones de palabras de Glove desde https://nlp.stanford.edu/projects/glove/ La configuración predeterminada utiliza incrustaciones de palabras de 200 dimensiones entrenadas en Twitter.

Por último, configure word2vec_path en la línea 15 de kgcvae_swda.py.

Conjunto de datos

Lanzamos dos conjuntos de datos:

1. full_swda_clean_42da_sentiment_dialog_corpus.p es un volcado binario que utiliza la biblioteca Python Pickle que contiene los datos sin procesar y se utiliza para el entrenamiento.
2. json_format: los mismos datos del diálogo también se presentan en formato JSONL en el directorio de datos.
3. test_mutl_ref.json es solo el conjunto de datos de prueba con respuestas de múltiples referencias con anotaciones de actos de diálogo. Las múltiples referencias se recopilan según el método descrito en el Apéndice del artículo.

Formato de datos

Si desea entrenar el modelo con sus propios datos. Cree un archivo pickle que tenga el siguiente formato:

 # The top directory is a python dictionary
type(data) = dict
data.keys() = ['train', 'valid', 'test']

# Train/valid/test is a list, each element is one dialog
train = data['train']
type(train) = list

# Each dialog is a dict
dialog = train[0]
type(dialog)= dict
dialog.keys() = ['A', 'B', 'topic', 'utts']

# A, B contain meta info about speaker A and B.
# topic defines the dialog prompt topic in Switchboard Corpus.

# utts is a list, each element is a tuple that contain info about an utterance
utts = dialog['utts']
type(utts) = list
utts[0] = ("A" or "B", "utterance in string", [dialog_act, other_meta_info])

# For example, a utterance look like this:
('B','especially your foreign cars',['statement-non-opinion'])

Coloque el archivo resultante en ./data y configure data_dir en kgcvae_swda.py