dbrx
1.0.0
DBRX ist ein großes Sprachmodell, das von Databricks trainiert und unter einer offenen Lizenz verfügbar gemacht wird. Dieses Repository enthält den minimalen Code und Beispiele zum Ausführen von Inferenzen sowie eine Sammlung von Ressourcen und Links für die Verwendung von DBRX.
Ein Referenzmodellcode finden Sie in diesem Repository unter modeling_dbrx.py.
Hinweis: Dieser Modellcode wird nur zu Referenzzwecken bereitgestellt. Die offiziell unterstützte Version finden Sie im Hugging Face-Repository.
DBRX ist ein Mixture-of-Experts (MoE)-Modell mit 132 Milliarden Gesamtparametern und 36 Milliarden Live-Parametern. Wir setzen 16 Experten ein, von denen 4 während des Trainings oder der Schlussfolgerung aktiv sind. DBRX wurde für 12T Text-Tokens vorab trainiert. DBRX hat eine Kontextlänge von 32.000 Token.
Die folgenden Modelle sind Open-Source:
| Modell | Beschreibung |
|---|---|
| DBRX-Basis | Vorab trainiertes Basismodell |
| DBRX-Anweisung | Fein abgestimmtes Modell für die Befolgung von Anweisungen |
Das Modell wurde mit optimierten Versionen unserer Open-Source-Bibliotheken Composer, LLM Foundry, MegaBlocks und Streaming trainiert.
Für das Instruct-Modell haben wir das ChatML-Format verwendet. Weitere Informationen hierzu finden Sie auf der DBRX Instruct-Modellkarte.
Um die Gewichte und den Tokenizer herunterzuladen, besuchen Sie bitte zunächst die DBRX Hugging Face-Seite und akzeptieren Sie die Lizenz. Hinweis: Der Zugriff auf das Basismodell erfordert eine manuelle Genehmigung.
Wir empfehlen, über mindestens 320 GB Arbeitsspeicher zu verfügen, um das Modell auszuführen.
Führen Sie dann Folgendes aus:
pip install -r requirements.txt # Or requirements-gpu.txt to use flash attention on GPU(s)
huggingface-cli login # Add your Hugging Face token in order to access the model
python generate.py # See generate.py to change the prompt and other settings
Weitere Informationen zur erweiterten Verwendung finden Sie unter LLM Foundry (Chat-Skript, Batch-Generierungsskript).
Wenn Sie Probleme bei der Paketinstallation haben, empfehlen wir die Verwendung unseres Docker-Images: mosaicml/llm-foundry:2.2.1_cu121_flash2-latest
Sowohl TensorRT-LLM als auch vLLM können verwendet werden, um optimierte Inferenz mit DBRX auszuführen. Wir haben beide Bibliotheken auf NVIDIA A100- und H100-Systemen getestet. Um Inferenz mit 16-Bit-Präzision auszuführen, ist ein Multi-GPU-System mit mindestens 4 x 80 GB erforderlich.
DBRX-Unterstützung wird zur TensorRT-LLM-Bibliothek hinzugefügt: PR ausstehend
Nach dem Zusammenführen finden Sie Anweisungen zum Erstellen und Ausführen von DBRX TensorRT-Engines unter: README
Anweisungen zum Ausführen von DBRX mit der vLLM-Engine finden Sie in den vLLM-Dokumenten.
Wenn Sie einen Apple-Laptop mit einem ausreichend leistungsstarken Chip der M-Serie besitzen, kann die quantisierte Version von DBRX mit MLX ausgeführt werden. Anweisungen zum Ausführen von DBRX auf MLX finden Sie hier.
Wenn Sie einen Apple M-Serie-Chip-Laptop mit mindestens 64 GB RAM haben, können Sie mit llama.cpp eine quantisierte Version von DBRX ausführen.
./main -ngl 41 -m ./models/ggml-dbrx-instruct-16x12b-iq1_s.gguf -n 256 --repeat_penalty 1.0 --color -i -r "User:" -f prompts/chat-with-bob.txt
Zur Feinabstimmung von DBRX mit unserer Open-Source-Bibliothek LLM Foundry lesen Sie bitte die Anweisungen in unserem Schulungsskript (hier zu finden). Wir bieten Feinabstimmungsunterstützung für beides:
Hinweis: Der LoRA-Support kann derzeit keine Feinabstimmung der Experten durchführen, da die Experten zusammengeführt werden. Bleiben Sie dran für mehr.
Die Modellkarten finden Sie unter:
DBRX ist auf der Databricks-Plattform verfügbar über:
Andere Anbieter haben kürzlich Unterstützung für DBRX hinzugefügt:
Für Databricks-Kunden stehen dieselben Tools zur Verfügung, die zum Trainieren hochwertiger MoE-Modelle wie DBRX verwendet werden. Bitte kontaktieren Sie uns unter https://www.databricks.com/company/contact, wenn Sie an einer Vorschulung, Feinabstimmung oder Bereitstellung Ihrer eigenen DBRX-Modelle interessiert sind!
Bei Problemen mit der Modellausgabe oder Community-Diskussionen nutzen Sie bitte das Hugging Face-Community-Forum (Instruct, Base).
Bei Problemen mit LLM Foundry oder einer der zugrunde liegenden Schulungsbibliotheken öffnen Sie bitte ein Problem im entsprechenden GitHub-Repository.
Unsere Modellgewichte und Codes sind sowohl für Forscher als auch für kommerzielle Unternehmen lizenziert. Die Databricks Open Source-Lizenz finden Sie unter LIZENZ, und unsere Richtlinie zur akzeptablen Nutzung finden Sie hier.
