Adversarial Learning for Generative Conversational Agents

Состязательное обучение для генеративных диалоговых агентов

Этот репозиторий содержит новый метод состязательного обучения для нашего генеративного разговорного агента (GCA).

Более подробную информацию об этом новом методе обучения можно найти в статье Освальдо Людвига «Сквозное состязательное обучение для генеративных диалоговых агентов», arXiv:1711.10122 cs.CL, ноябрь 2017 г. В случае публикации с использованием идей или фрагментов код из этого репозитория, пожалуйста, цитируйте эту статью.

Наш метод предполагает, что GCA является генератором, целью которого является обмануть дискриминатор, который маркирует диалоги как созданные человеком или машиной. В нашем подходе дискриминатор выполняет классификацию на уровне токена, т. е. указывает, был ли текущий токен сгенерирован людьми или машинами. Для этого дискриминатор также получает на вход контекстные высказывания (историю диалогов) и неполный ответ до текущего токена. Этот новый подход делает возможным сквозное обучение посредством обратного распространения ошибки. Процесс самостоятельного диалога позволяет создать набор сгенерированных данных с большим разнообразием для состязательного обучения. Этот подход повышает эффективность ответов на вопросы, не связанные с обучающими данными.

Обученная модель, доступная здесь, использовала набор данных, собранный из диалогов онлайн-курсов английского языка, доступных здесь.

Нашу модель GCA можно объяснить следующей блок-схемой:

а следующий псевдокод объясняет наш алгоритм GCA:

Наше новое сквозное состязательное обучение можно объяснить следующей моделью Keras (реализованной в файле train_bot_GAN.py), которая состоит из генератора и дискриминатора. Желтые блоки принадлежат GCA (генератору), а зеленые – дискриминатору. Белые блоки используются генератором и дискриминатором:

а следующий псевдокод объясняет новый алгоритм (определение переменных см. в статье):

Чтобы пообщаться с предварительно обученными моделями:

1. Загрузите файл Python «conversation_GAN.py», файл словаря «vocabulary_movie» и чистые веса «my_model_weights20.h5» (обученные преподавателем) и «my_model_weights.h5» (обученные новым состязательным методом), которые можно найдено здесь;
2. Запустите разговор_GAN.py.

Чтобы оценить диалоговые строки с помощью предварительно обученного дискриминатора:

1. Загрузите файл Python «run_discriminator_GAN.py», файл словаря «vocabulary_movie» и чистые веса дискриминатора «my_model_weights_discriminator.h5», которые можно найти здесь;
2. Запустите run_discriminator_GAN.py.

Для сквозного обучения с использованием нового состязательного метода:

1. Загрузите все файлы здесь;
2. Загрузите папку перчаток «glove.6B» и включите эту папку в каталог чат-бота (эту папку можно найти здесь). Этот алгоритм применяет трансферное обучение, используя предварительно обученное встраивание слов;
3. Запустите GAN_train_script.py. Этот сценарий говорит сам за себя и обобщает новую состязательную тренировку. Если вы хотите обучаться на собственных данных, включите их в файлы «context_simple» и «respons_simple» по тому же шаблону. Как видно из сценария, я использую бэкэнд Theano и графический процессор, для его запуска с бэкендом TensorFlow требуется несколько модификаций.

Если вы хотите начать состязательное обучение с нуля, сделайте файл весов my_model_weights.h5 (предварительно обученный новому состязательному методу) равным my_model_weights20.h5 (предварительно обученный преподавателем) и запустите train_script.py.