dbrx ダウンロード - dbrx ソースコードのダウンロード

dbrx

その他のソースコード

1.0.0

ダウンロード

DBRX

DBRX は、Databricks によってトレーニングされた大規模な言語モデルであり、オープンライセンスの下で利用可能です。このリポジトリには、推論を実行するための最小限のコードと例に加え、DBRX を使用するためのリソースとリンクのコレクションが含まれています。

創設者のブログ、DBRX 技術ブログ
ハグフェイス: https://huggingface.co/collections/databricks/
LLM ファウンドリー: https://github.com/mosaicml/llm-foundry

参照モデルコードは、このリポジトリのmodeling_dbrx.pyにあります。

注:このモデルコードは参照のみを目的として提供されています。公式にサポートされているバージョンについては、Hugging Face リポジトリを参照してください。

モデル詳細

DBRX は、132B の合計パラメーターと 36B のライブパラメーターを備えた Mixture-of-Experts (MoE) モデルです。 16 人の専門家を使用しており、そのうち 4 人はトレーニングまたは推論中にアクティブです。 DBRX は、12T トークンのテキストに対して事前トレーニングされています。 DBRX のコンテキスト長は 32K トークンです。

次のモデルはオープンソースです。

モデル	説明
DBRX ベース	事前トレーニングされた基本モデル
DBRX 命令	指示に従うための微調整されたモデル

このモデルは、オープンソースライブラリ Composer、LLM Foundry、MegaBlocks、Streaming の最適化されたバージョンを使用してトレーニングされました。

命令モデルには ChatML 形式を使用しました。詳細については、DBRX Instruct モデルカードを参照してください。

クイックスタート

ウェイトとトークナイザーをダウンロードするには、まず DBRX Hugging Face ページにアクセスし、ライセンスに同意してください。注: 基本モデルへのアクセスには手動の承認が必要です。

モデルを実行するには、少なくとも 320GB のメモリを搭載することをお勧めします。

次に、次を実行します。

 pip install -r requirements.txt # Or requirements-gpu.txt to use flash attention on GPU(s)
huggingface-cli login           # Add your Hugging Face token in order to access the model
python generate.py              # See generate.py to change the prompt and other settings

より高度な使用方法については、LLM Foundry (チャットスクリプト、バッチ生成スクリプト) を参照してください。

パッケージのインストールに問題がある場合は、Docker イメージmosaicml/llm-foundry:2.2.1_cu121_flash2-latestを使用することをお勧めします。

推論

TensorRT-LLM と vLLM の両方を使用して、DBRX で最適化された推論を実行できます。 NVIDIA A100 および H100 システムで両方のライブラリをテストしました。 16 ビット精度で推論を実行するには、少なくとも 4 x 80GB マルチ GPU システムが必要です。

TensorRT-LLM

DBRX サポートが TensorRT-LLM ライブラリに追加されています: PR 保留中

マージ後、DBRX TensorRT エンジンを構築して実行する手順は、README に記載されています。

vLLM

vLLM エンジンで DBRX を実行する方法については、vLLM のドキュメントを参照してください。

MLX

十分に強力な M シリーズチップを搭載した Apple ラップトップをお持ちの場合は、DBRX の量子化バージョンを MLX で実行できます。 MLX 上で DBRX を実行する手順については、こちらを参照してください。

LLama.cpp

少なくとも 64GB RAM を搭載した Apple M シリーズチップラップトップをお持ちの場合は、llama.cpp を使用して量子化バージョンの DBRX を実行できます。

ラマ.cppをコンパイルする
dranger003/dbrx-instruct-iMat.GGUF などの dbrx-instruct の量子化された ggml バージョンをダウンロードします。
llama.cpp フォルダーから次を実行します。

 ./main -ngl 41 -m ./models/ggml-dbrx-instruct-16x12b-iq1_s.gguf -n 256 --repeat_penalty 1.0 --color -i -r "User:" -f prompts/chat-with-bob.txt

微調整

オープンソースライブラリ LLM Foundry を使用して DBRX を微調整するには、トレーニングスクリプト (ここにあります) の手順を参照してください。次の両方に対する微調整のサポートがあります。

完全なパラメーターの微調整については、yaml 構成 dbrx-full-ft.yaml を参照してください。
LoRA の微調整。yaml 構成 dbrx-lora-ft.yaml を参照してください。

注: エキスパートが融合されているため、LoRA サポートは現在エキスパートを微調整できません。今後の続報にご期待ください。

モデルカード

モデルカードは次の場所にあります。

DBRX ベース
DBRX 命令

統合

DBRX は、Databricks プラットフォームで次の方法で利用できます。

モザイク AI モデルの提供
モザイク AI プレイグラウンド

他のプロバイダーは最近、DBRX のサポートを追加しました。

あなた.com
パープレキシティラボ
LlamaIndex (スターターサンプルの要点)

DBRX などの高品質 MoE モデルのトレーニングに使用されるのと同じツールが Databricks の顧客に利用可能です。独自の DBRX モデルの事前トレーニング、微調整、またはデプロイに興味がある場合は、https://www.databricks.com/company/contact までお問い合わせください。