seq2seq chatbot

seq2seq-chatbot

Uma implementação de chatbot sequencia2sequence com TensorFlow.

Veja as instruções para começar abaixo ou confira alguns registros de bate-papo

Conversando com um modelo treinado

Para bater papo com um modelo treinado no diretório de modelos:

(Os arquivos em lote estão disponíveis apenas para Windows no momento. Para usuários de Mac e Linux, consulte as instruções abaixo para o console python.)

1. Certifique-se de que existe um modelo no diretório de modelos (para começar, baixe e descompacte o treinado_model_v2 na pasta seq2seq-chatbot/models/cornell_movie_dialog)

Para bate-papo no console:

2. No diretório do modelo, execute chat_console_best_weights_training.bat ou chat_console_best_weights_validation.bat

Para bate-papo na web:

2. No diretório do modelo, execute chat_web_best_weights_training.bat ou chat_web_best_weights_validation.bat

3. Abra um navegador na URL indicada pelo console do servidor, seguida por /chat_ui.html . Normalmente é: http://localhost:8080/chat_ui.html

Para conversar com um modelo treinado em um console python:

1. Configure o diretório de trabalho do console para o diretório seq2seq-chatbot . Este diretório deve conter os diretórios de modelos e conjuntos de dados diretamente nele.

2. Execute chat.py com o caminho do ponto de verificação do modelo:

run chat.py models d ataset_name m odel_name c heckpoint.ckpt

Por exemplo, para conversar com o modelo de diálogo de filme Cornell treinado treinado_model_v2 :

1. Baixe e descompacte treinado_model_v2 na pasta seq2seq-chatbot/models/cornell_movie_dialog

2. Defina o diretório de trabalho do console para o diretório seq2seq-chatbot

3. Correr:

run chat.py models c ornell_movie_dialog t rained_model_v2 b est_weights_training.ckpt

O resultado deve ficar assim:

Treinando um modelo

Para treinar um modelo em um console python:

1. Configure o arquivo hparams.json para os hiperparâmetros de treinamento desejados

2. Configure o diretório de trabalho do console para o diretório seq2seq-chatbot . Este diretório deve conter os diretórios de modelos e conjuntos de dados diretamente nele.

3. Para treinar um novo modelo, execute train.py com o caminho do conjunto de dados:

run train.py --datasetdir=datasets d ataset_name

Ou para retomar o treinamento de um modelo existente, execute train.py com o caminho do ponto de verificação do modelo:

run train.py --checkpointfile=models d ataset_name m odel_name c heckpoint.ckpt

Por exemplo, para treinar um novo modelo no conjunto de dados da caixa de diálogo do filme Cornell com hiperparâmetros padrão:

1. Defina o diretório de trabalho do console para o diretório seq2seq-chatbot

2. Correr:

run train.py --datasetdir=datasets c ornell_movie_dialog

O resultado deve ficar assim:

Transfira a aprendizagem com incorporações pré-treinadas:

Documentos em breve...

Visualizando um modelo no TensorBoard

O TensorBoard é uma ótima ferramenta para visualizar o que está acontecendo nos bastidores quando um modelo do TensorFlow está sendo treinado.

Para iniciar o TensorBoard a partir de um terminal:

tensorboard --logdir=model_dir

Onde model_dir é o caminho para o diretório onde está o arquivo do ponto de verificação do modelo. Por exemplo, para visualizar o modelo de diálogo de filme Cornell treinado treinado_model_v2 :

tensorboard --logdir=models c ornell_movie_dialog t rained_model_v2

Visualizar treinamento

Documentos em breve...

Visualizar gráfico do modelo

Documentos em breve...

Visualize incorporações de palavras

O TensorBoard pode projetar os embeddings de palavras no espaço 3D executando uma técnica de redução de dimensionalidade como PCA ou T-SNE, e pode permitir que você explore como seu modelo agrupou as palavras em seu vocabulário visualizando os vizinhos mais próximos no espaço de incorporação para qualquer palavra . Mais sobre incorporações de palavras no TensorFlow e no projetor TensorBoard podem ser encontradas aqui.

Ao iniciar o TensorBoard para um diretório de modelo e selecionar a guia "Projetor", ele deverá ficar assim:

Adicionando um novo conjunto de dados

Instruções em breve...

Dependências

Os seguintes pacotes python são usados ​​no seq2seq-chatbot: (excluindo pacotes que vêm com o Anaconda)

• TensorFlow *Observação: TF 2.x ainda não é compatível, use a versão mais recente do TF 1.x.

  pip install --upgrade tensorflow==1. *

  Para suporte de GPU: (Veja aqui instruções completas de instalação de GPU, incluindo CUDA e cuDNN)

  pip install --upgrade tensorflow-gpu==1. *

• jsonpickle

  pip install --upgrade jsonpickle

• clique em 6.7, flask 0.12.4 e flask-restful (necessário para executar a interface web)

  pip install click==6.7
  pip install flask==0.12.4
  pip install --upgrade flask-restful

Roteiro

Veja a página do roteiro

Agradecimentos

Esta implementação foi inspirada em:

• Kirill Eremenko e Hadelin de Ponteves Curso profundo de PNL da Udemy
• Tutorial de tradução automática neural do TensorFlow (seq2seq)
  • TFNMT GitHub

Artigos relevantes

1. Aprendizagem sequência a sequência com redes neurais

2. Um modelo de conversação neural

3. Tradução automática neural por aprendizagem conjunta para alinhar e traduzir (mecanismo de atenção de Bahdanau)

4. Abordagens eficazes para tradução automática neural baseada em atenção (mecanismo de atenção Luong)