lad gpt

Тренируйте языковую модель в своих чатах WhatsApp

Обзор

Этот репозиторий облегчает обучение языковой модели на уровне символов или слов исключительно на основе сообщений чата WhatsApp. После обучения модели можно начать синтетический разговор с обученными в чат-группе WhatsApp.

• Сообщения в чате: я частно обучал модель чатам WhatsApp в группе, состоящей из >8 миллионов персонажей. Файл assets/input/chat.txt — это просто заполнитель, который нужно заменить фактическим корпусом сообщений чата.
• Языковая модель: модель точно соответствует архитектуре, представленной в книге Васвани и др. «Внимание — это все, что вам нужно» (2017). al.. Кроме того, реализация модели в Pytorch во многом вдохновлена ​​видеоуроком Эндрю Капати.
• Результаты: Хотя общая производительность моей модели, обученной в частном порядке, явно не сравнима с моделями языка сота, сгенерированный текст явно демонстрирует узнаваемые лингвистические шаблоны и словарный запас.

Структура папок

 |-- assets
|   |-- input
|   |   |-- chat.txt
|   |-- output
|   |   |-- contacts.txt
|   |   |-- vocab.txt
|   |   |-- train.pt
|   |   |-- valid.pt
|   |-- models
|   |   |--model.pt
|-- src
|   |-- chat.py
|   |-- model.py
|   |-- preprocess.py
|   |-- train.py
|   |-- utils.py
|-- config.py
|-- run.py

Описание активов:

• assets/input/chat.txt: входной файл должен представлять собой экспортированный чат WhatsApp (без мультимедиа).
• assets/output/: закодированные данные обучения/проверки и обученная модель будут записаны в эту локализацию.
• assets/models/model.pt: Обученный объект модели pytorch.

Описание модуля:

• src/preprocess.py: преобразует сообщения чата в закодированные тензоры PyTorch. Данные разделены на обучающий и проверочный наборы.
• src/model.py: определяет класс языковой модели.
• src/train.py: содержит код для обучения языковой модели.
• src/chat.py: содержит функцию для диалогового взаимодействия с моделью.
• src/utils.py: другие полезные служебные функции.
• run.py: основной скрипт с анализатором аргументов для вызова любого из трех действий («предварительная обработка», «обучение», «чат»).
• config.py: записываются параметры предварительной обработки и обучения модели.

С чего начать

Установка:

 git clone https://github.com/bernhard-pfann/lad-gpt.git
cd lad-gpt
pip install -r requirements.txt

Чтобы полностью использовать этот проект, вам понадобится файл .txt, содержащий сообщения из чата WhatsApp. Вот шаги для экспорта группового чата WhatsApp в файл .txt:

Для пользователей Android:

1. Откройте WhatsApp и перейдите к групповому чату. Откройте приложение WhatsApp на своем устройстве Android и перейдите в групповой чат, который вы хотите экспортировать.
2. Нажмите на три точки: обычно они находятся в правом верхнем углу окна чата.
3. Дополнительно -> Экспортировать чат: выберите «Еще» в раскрывающемся списке, а затем выберите «Экспортировать чат».
4. Выберите «Без медиа». Вы получите возможность включить или исключить медиа. Выберите «Без мультимедиа», чтобы экспортировать только текстовые сообщения.
5. Выберите метод экспорта: вам будет предложено выбрать способ экспорта чата. Вы можете отправить его на свою электронную почту и оттуда загрузить в виде файла .txt.

Для пользователей iPhone:

1. Откройте WhatsApp и перейдите к групповому чату. Откройте приложение WhatsApp на своем iPhone и перейдите к групповому чату, который вы хотите экспортировать.
2. Нажмите на название группы: оно находится в верхней части окна чата, чтобы перейти к «Информации о группе».
3. Прокрутите вниз и экспортируйте чат: прокрутите вниз, и вы увидите опцию «Экспортировать чат». Нажмите на него.
4. Выберите «Без мультимедиа». Появится всплывающее окно с вопросом, хотите ли вы включить медиафайлы. Выберите «Без медиа».
5. Выберите метод экспорта: выберите вариант экспорта чата, например, через почту. Затем вы можете скачать текстовый файл со своей электронной почты.

Получив файл .txt, поместите его в каталог assets/input , chat.txt называетсяchat.txt. Тогда вы готовы к работе!

Инструкции терминала

Как только входные данные будут готовы, чаты необходимо закодировать в числовые тензоры. Закодированные данные также делятся на обучающий и проверочный наборы:

 python run.py preprocess

Обучить языковую модель с нуля и исключительно на основе закодированных данных чата. Установите --update , если вы хотите продолжить обучение уже существующей модели.

 python run.py train --update

Чтобы инициализировать чат с обученной моделью:

 python run.py chat