Dieses Repository enthält JAX-Beispielcode zum Laden und Ausführen des Open-Weights-Modells Grok-1.
Stellen Sie sicher, dass Sie den Checkpoint herunterladen und das Verzeichnis ckpt-0 in checkpoints ablegen – siehe Herunterladen der Gewichte
Dann lauf
pip install -r Anforderungen.txt Python run.py
um den Code zu testen.
Das Skript lädt den Prüfpunkt und die Beispiele aus dem Modell auf eine Testeingabe.
Aufgrund der Größe des Modells (314B-Parameter) ist eine Maschine mit ausreichend GPU-Speicher erforderlich, um das Modell mit dem Beispielcode zu testen. Die Implementierung der MoE-Schicht in diesem Repository ist nicht effizient. Die Implementierung wurde gewählt, um die Notwendigkeit benutzerdefinierter Kernel zur Validierung der Richtigkeit des Modells zu vermeiden.
Grok-1 wird derzeit mit den folgenden Spezifikationen entwickelt:
Parameter: 314B
Architektur: Mischung aus 8 Experten (MoE)
Experteneinsatz: 2 Experten pro Token
Schichten: 64
Aufmerksamkeitsköpfe: 48 für Abfragen, 8 für Schlüssel/Werte
Einbettungsgröße: 6.144
Tokenisierung: SentencePiece-Tokenizer mit 131.072 Token
Zusätzliche Funktionen:
Rotierende Einbettungen (RoPE)
Unterstützt Aktivierungs-Sharding und 8-Bit-Quantisierung
Maximale Sequenzlänge (Kontext): 8.192 Token
Sie können die Gewichte mit einem Torrent-Client und diesem Magnet-Link herunterladen:
magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce
oder direkt mit HuggingFace? Nabe:
git clone https://github.com/xai-org/grok-1.git && cd grok-1 pip install huggingface_hub[hf_transfer] huggingface-cli download xai-org/grok-1 --repo-type model --include ckpt-0/* --local-dir checkpoints --local-dir-use-symlinks False
Der Code und die zugehörigen Grok-1-Gewichte in dieser Version sind unter der Apache 2.0-Lizenz lizenziert. Die Lizenz gilt nur für die Quelldateien in diesem Repository und die Modellgewichte von Grok-1.
