seq2seq chatbot

seq2seq-чат-бот

Реализация чат-бота последовательности2sequence с TensorFlow.

Ознакомьтесь с инструкциями по началу работы ниже или просмотрите журналы чата.

Общение с обученной моделью

Чтобы пообщаться с обученной моделью из каталога моделей:

(На данный момент пакетные файлы доступны только для Windows. Для пользователей Mac и Linux см. инструкции ниже для консоли Python.)

1. Убедитесь, что модель существует в каталоге моделей (для начала загрузите и разархивируйте train_model_v2 в папку seq2seq-chatbot/models/cornell_movie_dialog)

Для консольного чата:

2. Из каталога модели chat_console_best_weights_training.bat илиchat_console_best_weights_validation.bat chat_console_best_weights_validation.bat

Для веб-чата:

2. Из каталога модели chat_web_best_weights_training.bat chat_web_best_weights_validation.bat

3. Откройте браузер по URL-адресу, указанному в консоли сервера, а затем /chat_ui.html . Обычно это: http://localhost:8080/chat_ui.html.

Чтобы пообщаться с обученной моделью из консоли Python:

1. Установите рабочий каталог консоли в каталог seq2seq-chatbot . В этом каталоге должны находиться каталоги моделей и наборов данных непосредственно внутри него.

2. Запуститеchat.py, указав путь к контрольной точке модели:

run chat.py models d ataset_name m odel_name c heckpoint.ckpt

Например, чтобы пообщаться с обученной диалоговой моделью Корнеллского фильма train_model_v2 :

1. Загрузите и разархивируйте train_model_v2 в папку seq2seq-chatbot/models/cornell_movie_dialog.

2. Установите рабочий каталог консоли в каталог seq2seq-chatbot .

3. Бегать:

run chat.py models c ornell_movie_dialog t rained_model_v2 b est_weights_training.ckpt

Результат должен выглядеть так:

Обучение модели

Чтобы обучить модель из консоли Python:

1. Настройте файл hparams.json на нужные гиперпараметры обучения.

2. Установите рабочий каталог консоли в каталог seq2seq-chatbot . В этом каталоге должны находиться каталоги моделей и наборов данных непосредственно внутри него.

3. Чтобы обучить новую модель, запустите train.py, указав путь к набору данных:

run train.py --datasetdir=datasets d ataset_name

Или, чтобы возобновить обучение существующей модели, запустите train.py, указав путь к контрольной точке модели:

run train.py --checkpointfile=models d ataset_name m odel_name c heckpoint.ckpt

Например, чтобы обучить новую модель на наборе данных диалога Корнеллского фильма с гиперпараметрами по умолчанию:

1. Установите рабочий каталог консоли в каталог seq2seq-chatbot .

2. Бегать:

run train.py --datasetdir=datasets c ornell_movie_dialog

Результат должен выглядеть так:

Перенос обучения с предварительно обученными внедрениями:

Документы скоро появятся...

Визуализация модели в TensorBoard

TensorBoard — отличный инструмент для визуализации того, что происходит «под капотом» во время обучения модели TensorFlow.

Чтобы запустить TensorBoard из терминала:

tensorboard --logdir=model_dir

Где model_dir — это путь к каталогу, в котором находится файл контрольной точки модели. Например, чтобы просмотреть обученную модель диалога Корнеллского фильма train_model_v2 :

tensorboard --logdir=models c ornell_movie_dialog t rained_model_v2

Визуализируйте обучение

Документы скоро появятся...

Визуализация графа модели

Документы скоро появятся...

Визуализация вложений слов

TensorBoard может проецировать встраивания слов в трехмерное пространство, применяя технику уменьшения размерности, такую ​​как PCA или T-SNE, и может позволить вам исследовать, как ваша модель сгруппировала слова в вашем словаре, просматривая ближайших соседей в пространстве встраивания для любого слова. . Дополнительную информацию о встраивании слов в TensorFlow и проекторе TensorBoard можно найти здесь.

При запуске TensorBoard для каталога модели и выборе вкладки «Проектор» это должно выглядеть так:

Добавление нового набора данных

Инструкции скоро появятся...

Зависимости

В seq2seq-chatbot используются следующие пакеты Python: (за исключением пакетов, поставляемых с Anaconda)

• TensorFlow *Примечание. TF 2.x еще не поддерживается, используйте последнюю версию TF 1.x.

  pip install --upgrade tensorflow==1. *

  Для поддержки графического процессора: (полные инструкции по установке графического процессора, включая CUDA и cuDNN, см. здесь)

  pip install --upgrade tensorflow-gpu==1. *

• jsonpickle

  pip install --upgrade jsonpickle

• нажмите 6.7, flask 0.12.4 и flask-restful (требуется для запуска веб-интерфейса)

  pip install click==6.7
  pip install flask==0.12.4
  pip install --upgrade flask-restful

Дорожная карта

См. страницу «Дорожная карта»

Благодарности

Эта реализация была вдохновлена:

• Кирилл Ерёменко и Хаделин де Понтевес Курс Deep NLP Udemy
• Учебное пособие по нейронному машинному переводу TensorFlow (seq2seq)
  • ТФ НМТ GitHub

Соответствующие документы

1. Последовательное обучение с помощью нейронных сетей

2. Нейронная диалоговая модель

3. Нейронный машинный перевод посредством совместного обучения выравниванию и переводу (механизм внимания Багданау)

4. Эффективные подходы к нейронному машинному переводу, основанному на внимании (механизм внимания Луонга)