このリポジトリには、Grok-1 オープンウェイト モデルをロードして実行するための JAX サンプル コードが含まれています。
必ずチェックポイントをダウンロードし、 ckpt-0ディレクトリをcheckpointsに配置してください。「重みのダウンロード」を参照してください。
それから、走ってください
pip install -r 要件.txt Python run.py
コードをテストします。
スクリプトは、テスト入力のモデルからチェックポイントとサンプルを読み込みます。
モデルのサイズが大きい (パラメーター 314B) ため、サンプル コードでモデルをテストするには、十分な GPU メモリを備えたマシンが必要です。このリポジトリでの MoE レイヤーの実装は効率的ではありません。この実装は、モデルの正確性を検証するためにカスタム カーネルを必要としないように選択されました。
Grok-1 は現在、次の仕様で設計されています。
パラメータ: 314B
アーキテクチャ: 8 人の専門家の混合 (MoE)
エキスパートの使用:トークンごとに 2 人のエキスパートが使用されます
レイヤー: 64
アテンション ヘッド:クエリ用に 48、キー/値用に 8
埋め込みサイズ: 6,144
トークン化: 131,072 個のトークンを含む SentencePiece トークナイザー
追加機能:
回転式埋め込み (RoPE)
アクティベーションシャーディングと8ビット量子化をサポート
最大シーケンス長 (コンテキスト): 8,192 トークン
トレント クライアントとこのマグネット リンクを使用してウェイトをダウンロードできます。
magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce
それともHuggingFaceを直接使用しますか？ハブ:
git clone https://github.com/xai-org/grok-1.git && cd grok-1 pip install huggingface_hub[hf_transfer] huggingface-cli download xai-org/grok-1 --repo-type model --include ckpt-0/* --local-dir checkpoints --local-dir-use-symlinks False
このリリースのコードおよび関連する Grok-1 重みは、Apache 2.0 ライセンスに基づいてライセンスされています。ライセンスは、このリポジトリ内のソース ファイルと Grok-1 のモデルの重みにのみ適用されます。
