JustJoking.ai

JustJoking.ai

В этом проекте я обучил модель-трансформер генерировать короткие шутки. Затем, с небольшой модификацией метода вывода, я смог использовать ту же модель, так что, учитывая начальную строку в качестве входных данных, модель пытается завершить ее юмористическим способом.

Есть два ноутбука, которые выполняют одну и ту же задачу.

• В Joke Generation.ipynb я использовал предварительно обученную модель GPT2-LM библиотеки HuggingFace, и мы только настраиваем эту модель на наборе данных шуток. Поскольку мы используем трансферное обучение и точно настраиваем веса, для получения хороших результатов требуется всего около 4 эпох.

Результат генерации шутки

Результат завершения предложения

• В Joke_Completion_Pure_TF2_Implementation.ipynb я создал полную модель трансформатора с нуля. Поскольку все начинается со случайных начальных весов, для получения достойного результата от этой модели требуется около 10 эпох.

Результаты

Данные

Для нашей задачи мы будем использовать набор данных, предоставленный на Kaggle. Это CSV-файл, содержащий более 200 000 коротких шуток, удаленных с Reddit.

Примечание. Поскольку набор данных просто взят из различных субреддитов, большое количество шуток в наборе данных являются весьма расистскими и сексистскими. Поскольку любой ИИ предполагает, что данные обучения являются единственным источником знаний, следует ожидать, что иногда наша модель будет генерировать подобные шутки.

Предварительная обработка:

После того как мы токенизировали нашу строку шутки, мы добавляем start_token и end_token в конце токенизированного списка. Кроме того, поскольку наша строка шутки может иметь разную длину, мы также применяем дополнение ко всем строкам до указанной max_length , чтобы все тензоры в наших пакетах имели одинаковую форму.

JustJoking.ai - Использование модели головы GPT2-LM

Код для этого можно найти в блокноте Joke Generation.ipynb . При этом мы импортируем модель GPT2Tokenizer и TFGPT2LMHead из библиотеки HuggingFace. Код написан на Tensorflow2. В блокноте в подходящих местах имеются комментарии с пояснениями к коду. Кроме того, документация HuggingFace предоставляет хорошую документацию о том, каковы входные параметры и возвращаемое значение модели. Реализацию на основе PyTorch см. в репозитории Humour.ai Танула Сингха.

JustJoking.ai — сборка с нуля с использованием TF2 API

Код для этого можно найти в блокноте Joke_Completion_Pure_TF2_Implementation.ipynb . Продвигая проект еще дальше для более глубокого понимания того, как все работает, я попытался создать преобразователь без внешней библиотеки. Я сослался на руководство по трансформерам, предоставленное Tensorflow, и поместил некоторые объяснения, упомянутые в их руководстве, в свой блокнот с дополнительными пояснениями, чтобы было легко понять, что происходит.

Сначала я создал токенизатор для нашего набора данных и с его помощью токенизировал строки. Затем построил слой для Positional Encodings и MultiHeadAttention . Кроме того, я использовал Lambda layer для создания подходящих масок для наших данных.

Затем я создал один decoder layer для нашего декодера. Ниже представлена ​​архитектура одного уровня декодера.

Как только у нас есть готовая функция, обеспечивающая «уровень декодера», я создал функцию «декодер», которая принимает входные токены и маску в качестве входных данных, а также параметр номера уровня декодера, который нам нужен, и возвращает модель для них. Для нашей задачи мы будем использовать языковой декодер с 8 уровнями декодера. Ниже представлена ​​архитектура декодера.

Для окончательной модели transformer он принимает входные токены, пропускает их через лямбда-слой, чтобы получить маску, и передает маску и токены нашему языковому декодеру, выходные данные которого затем передаются через плотный слой. Ниже представлена ​​архитектура нашей окончательной модели.

Если все это кажется пугающим, вы можете просмотреть тетради для большей ясности. Я постарался подробно объяснить в тетради процесс сборки трансформатора.