Simplifine
1.0.0
Попробуйте здесь
Присоединяйтесь к нашему Discord
Simplifine упрощает точную настройку LLM для любого набора данных или модели с помощью одной простой команды, обрабатывая всю инфраструктуру, управление заданиями, облачное хранилище и логические выводы.
Простая точная настройка LLM на базе облака: точная настройка любого LLM с помощью всего лишь одной команды.
Бесшовная интеграция с облаком. Автоматически управляйте загрузкой, хранением и запуском моделей непосредственно из облака.
Встроенная поддержка искусственного интеллекта. Получите помощь при выборе гиперпараметров, создании синтетических наборов данных и проверке качества данных.
Переключение с устройства на облако: добавьте простой декоратор для перехода от локального обучения к облачному.
Автоматическая оптимизация: автоматически оптимизирует распараллеливание моделей и данных с помощью Deepspeed ✅ и FDSP ✅.
Поддержка индивидуальной оценки: используйте встроенный LLM для функций оценки или импортируйте свои собственные показатели оценки.
Поддержка сообщества: задавайте любые вопросы о поддержке в Discord сообщества Simplifine.
Нам доверяют ведущие учреждения: исследовательские лаборатории Оксфордского университета полагаются на Simplifine для точной настройки LLM.
Начните здесь >
Полную документацию можно найти на docs.simplifine.com.
Установка из PyPI
pip install simplifine-alpha
Вы также можете установить напрямую с GitHub, используя следующую команду:
pip install git+https://github.com/simplifine-llm/Simplifine.git
Мы ищем соавторов! Присоединяйтесь к ветке contributors в нашем Discord:
Simplifine распространяется по лицензии GNU General Public License версии 3. Дополнительные сведения см. в файле ЛИЦЕНЗИИ.
По всем запросам о функциях, ошибках и поддержке присоединяйтесь к нашему Discord!
Если у вас есть какие-либо предложения по поводу новых функций, которые вы хотели бы реализовать, поднимите вопрос — мы приложим все усилия, чтобы это произошло как можно скорее!
По любым другим вопросам пишите нам по адресу [email protected].
? Исправления ошибок: оптимизирован код и решены проблемы, связанные с трейнером, для более плавной работы.
Новая функция: введена поддержка определения более сложных файлов конфигурации, что повышает гибкость тренажера.
Документация: добавлены новые примеры, включая учебные пособия по облачному обучению и созданию детектора фейковых новостей.
? Обновленная документация: последние версии документации можно найти на docs.simplifine.com.
? Исправления ошибок: исправлены проблемы, приводившие к сбоям при загрузке в определенных конфигурациях, что обеспечивает более широкую совместимость.
Новая функция: включена прямая установка из Git и добавлена поддержка токенов Hugging Face API, обеспечивающих доступ к моделям с ограниченным доступом.
Документация: обновлены примеры, отражающие новейшие функции.
В настоящее время мы поддерживаем как DistributedDataParallel (DDP), так и ZeRO от DeepSpeed.
ТЛ;ДР :
DDP полезен, когда модель может поместиться в памяти графического процессора (включая градиенты и состояния активации).
ZeRO полезен, когда модель требует сегментирования на несколько графических процессоров.
Более длинная версия :
DDP : параллельная обработка данных (DDP) создает копию модели на каждом процессоре (GPU). Например, представьте себе 8 графических процессоров, каждый из которых получает одну точку данных — тогда размер пакета составит 8. Затем реплики модели обновляются на каждом устройстве. DDP ускоряет обучение за счет распараллеливания процесса подачи данных. Однако DDP терпит неудачу, если реплика не помещается в память графического процессора. Помните, что в памяти хранятся не только параметры, но также градиенты и состояния оптимизатора.
ZeRO : ZeRO — это мощная оптимизация, разработанная DeepSpeed и имеющая разные этапы (1, 2 и 3). На каждом этапе сегментируются различные части процесса обучения (параметры, градиенты и состояния активации). Это действительно полезно, если модель не помещается в память графического процессора. ZeRO также поддерживает разгрузку на ЦП, что дает еще больше возможностей для обучения более крупных моделей.
Модель LLaMA-3-8b с 16-битной точностью : используйте ZeRO Stage 3 на 8 A100.
Модель LLaMA-3-8b с адаптерами LoRA : обычно подходит для DDP на A100.
GPT-2 с 16-битной точностью : используйте DDP.
Проблема: RuntimeError: ошибка сборки расширения «cpu_adam» для разработчиков Python
Эта ошибка возникает, когда python-dev не установлен и ZeRO использует разгрузку. Чтобы решить эту проблему, попробуйте:
# Попробуйте sudo apt-get install python3-dev, если следующее не удалось.apt-get install python-dev # для Python 2.x installsapt-get install python3-dev # для установки Python 3.x
См. эту ссылку
