dbrx
1.0.0
DBRX — это большая языковая модель, обученная Databricks и доступная по открытой лицензии. Этот репозиторий содержит минимальный код и примеры для выполнения вывода, а также коллекцию ресурсов и ссылок для использования DBRX.
Код эталонной модели можно найти в этом репозитории по адресу modeling_dbrx.py.
Примечание. Этот код модели предоставляется только для справочных целей. Официальную поддерживаемую версию можно найти в репозитории Hugging Face.
DBRX — это модель смешанных экспертов (MoE) с 132 млрд общих параметров и 36 млрд реальных параметров. Мы используем 16 экспертов, из которых 4 активны во время обучения или вывода. DBRX был предварительно обучен для работы с 12Т токенами текста. DBRX имеет длину контекста 32 000 токенов.
Следующие модели находятся в открытом доступе:
| Модель | Описание |
|---|---|
| База DBRX | Предварительно обученная базовая модель |
| Инструкция DBRX | Точно настроенная модель для следования инструкциям |
Модель была обучена с использованием оптимизированных версий наших библиотек с открытым исходным кодом Composer, LLM Foundry, MegaBlocks и Streaming.
Для модели инструкций мы использовали формат ChatML. Дополнительную информацию об этом см. в карточке модели DBRX Instruct.
Чтобы загрузить веса и токенизатор, сначала посетите страницу DBRX Hugging Face и примите лицензию. Примечание. Доступ к базовой модели требует одобрения вручную.
Мы рекомендуем иметь как минимум 320 ГБ памяти для запуска модели.
Затем запустите:
pip install -r requirements.txt # Or requirements-gpu.txt to use flash attention on GPU(s)
huggingface-cli login # Add your Hugging Face token in order to access the model
python generate.py # See generate.py to change the prompt and other settings
Для более продвинутого использования см. LLM Foundry (скрипт чата, скрипт пакетной генерации).
Если у вас возникли проблемы с установкой пакета, мы рекомендуем использовать наш образ Docker: mosaicml/llm-foundry:2.2.1_cu121_flash2-latest
И TensorRT-LLM, и vLLM можно использовать для выполнения оптимизированного вывода с помощью DBRX. Мы протестировали обе библиотеки на системах NVIDIA A100 и H100. Для выполнения вывода с 16-битной точностью требуется минимум 4 системы с несколькими графическими процессорами по 80 ГБ.
Поддержка DBRX добавляется в библиотеку TensorRT-LLM: ожидается PR
После слияния инструкции по сборке и запуску механизмов DBRX TensorRT можно будет найти по адресу: README.
Инструкции по запуску DBRX с механизмом vLLM см. в документации vLLM.
Если у вас есть ноутбук Apple с достаточно мощным чипом серии M, квантованную версию DBRX можно запустить с помощью MLX. Инструкции по запуску DBRX на MLX см. здесь.
Если у вас есть ноутбук с процессором Apple серии M и оперативной памятью не менее 64 ГБ, вы можете запустить квантованную версию DBRX с помощью llama.cpp.
./main -ngl 41 -m ./models/ggml-dbrx-instruct-16x12b-iq1_s.gguf -n 256 --repeat_penalty 1.0 --color -i -r "User:" -f prompts/chat-with-bob.txt
Чтобы точно настроить DBRX с помощью нашей библиотеки с открытым исходным кодом LLM Foundry, ознакомьтесь с инструкциями в нашем учебном сценарии (здесь). У нас есть поддержка тонкой настройки для обоих:
Примечание. Поддержка LoRA в настоящее время не может точно настроить экспертов, поскольку эксперты объединены. Оставайтесь с нами, чтобы узнать больше.
Карты моделей можно найти по адресу:
DBRX доступен на платформе Databricks через:
Другие провайдеры недавно добавили поддержку DBRX:
Клиентам Databricks доступны те же инструменты, которые используются для обучения высококачественных моделей MoE, такие как DBRX. Свяжитесь с нами по адресу https://www.databricks.com/company/contact, если вы заинтересованы в предварительном обучении, точной настройке или развертывании собственных моделей DBRX!
По вопросам, связанным с выводом модели или обсуждением в сообществе, воспользуйтесь форумом сообщества Hugging Face (инструкция, база).
При возникновении проблем с LLM Foundry или любой из базовых учебных библиотек откройте вопрос в соответствующем репозитории GitHub.
Наши веса моделей и код лицензированы как для исследователей, так и для коммерческих организаций. Лицензию Databricks с открытым исходным кодом можно найти на странице ЛИЦЕНЗИЯ, а нашу Политику допустимого использования можно найти здесь.
