microGPT — это облегченная реализация модели генеративного предварительно обученного преобразователя (GPT) для задач обработки естественного языка. Он спроектирован так, чтобы быть простым и легким в использовании, что делает его отличным вариантом для небольших приложений или для изучения и экспериментирования с генеративными моделями.
300 тысяч итераций обучения
pip install -r requirements.txt
tokenizer/train_tokenizer.py
чтобы создать файл токенизатора. Модель будет токенизировать текст на его основе.datasets/prepare_dataset.py
чтобы создать файлы набора данных.train.py
, чтобы начать тренировку~Измените указанные выше файлы, если хотите изменить их параметры.
Чтобы изменить параметры генерации модели, перейдите в inference.py
в этот раздел:
# Parameters (Edit here):
n_tokens = 1000
temperature = 0.8
top_k = 0
top_p = 0.9
model_path = 'models/microGPT.pth'
# Edit input here
context = "The magical wonderland of"
Хотите развернуть как веб-приложение? Ознакомьтесь с развертыванием microGPT!
Эффективность с нуля: microGPT, разработанный с нуля, представляет собой упрощенный подход к популярной модели GPT. Он демонстрирует замечательную эффективность, сохраняя при этом небольшой компромисс в качестве.
Площадка для обучения. Архитектура microGPT, созданная для людей, желающих погрузиться в мир искусственного интеллекта, предлагает уникальную возможность понять внутреннюю работу генеративных моделей. Это стартовая площадка для оттачивания ваших навыков и углубления понимания.
Малая электростанция: Помимо обучения и экспериментов, microGPT является подходящим вариантом для небольших приложений. Это дает вам возможность интегрировать генерацию языков на основе искусственного интеллекта в проекты, где эффективность и производительность имеют первостепенное значение.
Возможности настройки: адаптивность microGPT позволяет вам модифицировать и точно настраивать модель в соответствии с вашими конкретными целями, предлагая основу для создания решений искусственного интеллекта, адаптированных к вашим требованиям.
Учебный путь: используйте microGPT в качестве трамплина для понимания основ генеративных моделей. Его доступный дизайн и документация создают идеальную среду для новичков в области искусственного интеллекта.
Экспериментальная лаборатория: участвуйте в экспериментах, настраивая и проверяя параметры microGPT. Простота и универсальность модели создают благодатную почву для инноваций.
Если вы хотите внести свой вклад, пожалуйста, следуйте этим правилам:
Внося свой вклад в этот репозиторий, вы соглашаетесь соблюдать наш Кодекс поведения и что ваши материалы будут публиковаться под той же лицензией, что и репозиторий.
Эта модель вдохновлена Андреем Карпати. Давайте создадим GPT с нуля, видео и Андрей Капарти nanoGPT с модификациями для этого проекта.