Чат-бот-трансформер tf2

Чат-бот-трансформер с TensorFlow 2

Создайте комплексного чат-бота с помощью Transformer в TensorFlow 2. Ознакомьтесь с моим руководством на blog.tensorflow.org.

Обновления

• 16 июня 2022 г.:
  • Обновите сценарий setup.sh , чтобы установить версию TensorFlow 2.9 для Apple Silicon (используйте его только в том случае, если вы любите приключения).
  • Обновлены два пользовательских слоя, PositionalEncoding и MultiHeadAttentionLayer , чтобы разрешить сохранение модели с помощью model.save() или tf.keras.models.save_model() .
  • train.py демонстрирует, как вызывать model.save() и tf.keras.models.load_model() .
• 8 декабря 2020 г.: обновлена ​​поддержка TensorFlow 2.3.1 и наборов данных TensorFlow 4.1.0.
• 18 января 2020 г.: добавлен блокнот с поддержкой Google Colab TPU в TensorFlow 2.1.

Пакеты

• ТензорФлоу 2.9.1
• Наборы данных TensorFlow

Настраивать

• создать новую среду anaconda и инициализировать среду chatbot

   conda create -n chatbot python=3.8
  conda activate chatbot
  

• запустить скрипт установки

   sh setup.sh
  

• Примечание. Скрипт будет устанавливать CUDA и cuDNN через conda при установке в системе Linux или tensorflow-metal для устройств с Apple Silicon (обратите внимание, что существует множество ошибок с TensorFlow на графическом процессоре Apple Silicon, например, оптимизатор Adam не работает).

Набор данных

• В качестве набора данных мы будем использовать разговоры в фильмах и телешоу, предоставленные Cornell Movie-Dialogs Corpus, который содержит более 220 тысяч диалогов между более чем 10 тысячами пар киноперсонажей.
• Мы предварительно обрабатываем наш набор данных в следующем порядке:
  • Извлеките пары разговоров max_samples в список questions и answers .
  • Предварительно обработайте каждое предложение, удалив специальные символы в каждом предложении.
  • Создайте токенизатор (сопоставьте текст с идентификатором и идентификатор с текстом) с помощью наборов данных TensorFlow SubwordTextEncoder.
  • Маркируйте каждое предложение и добавьте start_token и end_token чтобы указать начало и конец каждого предложения.
  • Отфильтровать предложение, содержащее более токенов max_length .
  • Дополнить токенизированные предложения до max_length
• Проверьте реализацию dataset.py.

Модель

• проверьте model.py на наличие реализации многоголового внимания, позиционного кодирования и преобразователя.

Бегать

• проверьте все доступные флаги и гиперпараметры python main.py --help

 python train.py --output_dir runs/save_model --batch_size 256 --epochs 50 --max_samples 50000

• окончательная обученная модель будет сохранена в runs/save_model .

Образцы

 input:		where have you been?
output:		i m not talking about that .

input:		it's a trap!
output:		no , it s not .