NeuralDialog CVAE

CVAE guiado por conhecimento para geração de diálogo

Fornecemos uma implementação do TensorFlow do modelo de diálogo baseado em CVAE descrito em Learning Discourse-level Diversity for Neural Dialog Models using Conditional Variational Autoencoders , publicado como um longo artigo no ACL 2017. Consulte o artigo para obter mais detalhes.

Referências

Se você usar algum código-fonte ou conjunto de dados incluído neste kit de ferramentas em seu trabalho, cite o artigo a seguir. Os bibtex estão listados abaixo:

 [Zhao et al, 2017]:
 @inproceedings{zhao2017learning,
   title={Learning Discourse-level Diversity for Neural Dialog Models using Conditional Variational Autoencoders},
   author={Zhao, Tiancheng and Zhao, Ran and Eskenazi, Maxine},
   booktitle={Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)},
   volume={1},
   pages={654--664},
   year={2017}
 }

Implementação Externa

O método de linha de base HRED usando o mesmo conjunto de dados SwitchBoard também é implementado no Texar , um kit de ferramentas de geração de texto de uso geral. Confira aqui.

Pré-requisitos

• TensorFlow 1.3.0
• cuDNN6
• Pitão 2.7
• Entorpecido
• NLTK
• Você pode precisar pip install beeprint se o módulo estiver faltando

Uso

Treine um novo modelo

 python kgcvae_swda.py

executará o treinamento padrão e salvará o modelo em ./working

Testar um modelo existente

Modifique os sinalizadores TF na parte superior de kgcvae_swda.py da seguinte maneira para executar um modelo existente

 forward_only: False -> True
test_path: set to the folder contains the model. E.g. runxxxx

Então você pode executar o modelo:

 python kgcvae_swda.py

As saídas serão impressas em stdout e as respostas geradas serão salvas em test.txt no test_path.

Use Word2vec pré-treinado

Baixe os embeddings de palavras do Glove em https://nlp.stanford.edu/projects/glove/ A configuração padrão usa incorporação de palavras de 200 dimensões treinada no Twitter.

Por fim, defina word2vec_path na linha 15 de kgcvae_swda.py.

Conjunto de dados

Lançamos dois conjuntos de dados:

1. full_swda_clean_42da_sentiment_dialog_corpus.p é um dump binário usando a biblioteca python Pickle que contém os dados brutos e é usado para treinamento
2. json_format: os mesmos dados da caixa de diálogo também são apresentados no formato JSONL no diretório de dados.
3. test_mutl_ref.json é apenas o conjunto de dados de teste com múltiplas respostas de referências com anotações de ato de diálogo. As referências múltiplas são coletadas de acordo com o método descrito no Apêndice do artigo.

Formato de dados

Se você deseja treinar o modelo com seus próprios dados. Por favor, crie um arquivo pickle com o seguinte formato:

 # The top directory is a python dictionary
type(data) = dict
data.keys() = ['train', 'valid', 'test']

# Train/valid/test is a list, each element is one dialog
train = data['train']
type(train) = list

# Each dialog is a dict
dialog = train[0]
type(dialog)= dict
dialog.keys() = ['A', 'B', 'topic', 'utts']

# A, B contain meta info about speaker A and B.
# topic defines the dialog prompt topic in Switchboard Corpus.

# utts is a list, each element is a tuple that contain info about an utterance
utts = dialog['utts']
type(utts) = list
utts[0] = ("A" or "B", "utterance in string", [dialog_act, other_meta_info])

# For example, a utterance look like this:
('B','especially your foreign cars',['statement-non-opinion'])

Coloque o arquivo resultante em ./data e defina data_dir em kgcvae_swda.py