メタラマ 3

私たちは大規模な言語モデルの力を解き放ちます。 Llama の最新バージョンは、個人、クリエイター、研究者、あらゆる規模の企業が利用できるようになり、責任を持ってアイデアを実験、革新、拡張できるようになりました。

このリリースには、8B から 70B までのパラメーターサイズを含む、事前トレーニングおよび命令調整された Llama 3 言語モデルのモデルの重みと開始コードが含まれています。

このリポジトリは、Llama 3 モデルをロードして推論を実行する最小限の例として意図されています。より詳細な例については、llama-recipes を参照してください。

ダウンロード

モデルの重みとトークナイザーをダウンロードするには、Meta Llama Web サイトにアクセスし、ライセンス契約に同意してください。

リクエストを送信すると、署名付きの URL が電子メールで届きます。次に、download.sh スクリプトを実行し、ダウンロードの開始を求めるプロンプトが表示されたら、指定された URL を渡します。

前提条件: wgetとmd5sumインストールされていることを確認してください。次に、スクリプト./download.shを実行します。

リンクは 24 時間および一定回数のダウンロード後に期限切れになることに注意してください。 403: Forbiddenのようなエラーが表示され始めた場合は、いつでもリンクを再リクエストできます。

ハグフェイスを訪問

Hugging Face では、トランスフォーマーやネイティブllama3形式を含むダウンロードも提供しています。 Hugging Face からウェイトをダウンロードするには、次の手順に従います。

いずれかのリポジトリ (例: metal-llama/Meta-Llama-3-8B-Instruct) にアクセスします。
ライセンスを読んで同意します。リクエストが承認されると、すべての Llama 3 モデルにアクセスできるようになります。リクエストの処理には最大 1 時間かかる場合が多いことに注意してください。
このリポジトリで使用するオリジナルのネイティブウェイトをダウンロードするには、[ファイルとバージョン] タブをクリックして、 originalフォルダの内容をダウンロードします。 pip install huggingface-hubインストールしている場合は、コマンドラインからダウンロードすることもできます。

huggingface-cli download meta-llama/Meta-Llama-3-8B-Instruct --include " original/* " --local-dir meta-llama/Meta-Llama-3-8B-Instruct

トランスフォーマーで使用するために、次のパイプラインコードスニペットは重みをダウンロードしてキャッシュします。

  import transformers
  import torch
  
  model_id = "meta-llama/Meta-Llama-3-8B-Instruct"
  
  pipeline = transformers . pipeline (
    "text-generation" , 
    model = "meta-llama/Meta-Llama-3-8B-Instruct" ,
    model_kwargs = { "torch_dtype" : torch . bfloat16 },
    device = "cuda" ,
  )

クイックスタート

以下の手順に従って、Llama 3 モデルをすぐに使い始めることができます。これらの手順により、ローカルで高速推論を実行できるようになります。その他の例については、Llama レシピリポジトリを確認してください。

PyTorch/CUDA がインストールされた conda 環境でこのリポジトリのクローンを作成してダウンロードします。
最上位ディレクトリで実行します。
```
pip install -e .
```
Meta Llama の Web サイトにアクセスし、登録してモデルをダウンロードします。
登録後、モデルをダウンロードするための URL が記載されたメールが届きます。この URL は、download.sh スクリプトを実行するときに必要になります。
電子メールを受信したら、ダウンロードした llama リポジトリに移動し、download.sh スクリプトを実行します。
- download.shスクリプトに必ず実行権限を付与してください。
- このプロセス中に、電子メールにある URL を入力するように求められます。
- [リンクをコピー] オプションを使用せず、電子メールからリンクを手動でコピーしてください。
必要なモデルをダウンロードした後、次のコマンドを使用してモデルをローカルで実行できます。

torchrun --nproc_per_node 1 example_chat_completion.py 
    --ckpt_dir Meta-Llama-3-8B-Instruct/ 
    --tokenizer_path Meta-Llama-3-8B-Instruct/tokenizer.model 
    --max_seq_len 512 --max_batch_size 6

知らせ

Meta-Llama-3-8B-Instruct/チェックポイントディレクトリパスに置き換え、 Meta-Llama-3-8B-Instruct/tokenizer.modelをトークナイザーモデルパスに置き換えます。
–nproc_per_node使用しているモデルの MP 値に設定する必要があります。
必要に応じて、 max_seq_lenとmax_batch_sizeパラメータを調整します。
この例では、このリポジトリにある example_chat_completion.py を実行しますが、別の .py ファイルに変更することもできます。

推論

モデルが異なれば、必要なモデル並列処理 (MP) 値も異なります。

モデル	MP
8B	1
70B	8

すべてのモデルは最大 8192 トークンのシーケンス長をサポートしますが、 max_seq_lenとmax_batch_sizeの値に基づいてキャッシュを事前に割り当てます。したがって、ハードウェアに応じてこれらの値を設定してください。

事前トレーニング済みモデル

これらのモデルは、チャットや Q&A 用に微調整されていません。プロンプトは、期待される応答がプロンプトの自然な続きとなるように設定する必要があります。

いくつかの例については、 example_text_completion.py参照してください。詳細については、llama-3-8b モデルを使用して実行する以下のコマンドを参照してください ( nproc_per_node MP値に設定する必要があります)。

torchrun --nproc_per_node 1 example_text_completion.py --ckpt_dir Meta-Llama-3-8B/ --tokenizer_path Meta-Llama-3-8B/tokenizer.model --max_seq_len 128 --max_batch_size 4

コマンドチューニングモデル

追加の分類子をデプロイして、安全でないとみなされる入力と出力を除外することもできます。推論コードの入力と出力に安全性チェッカーを追加する方法については、llama-recipes リポジトリの例を参照してください。

llama-3-8b-chat を使用した例:

torchrun --nproc_per_node 1 example_chat_completion.py --ckpt_dir Meta-Llama-3-8B-Instruct/ --tokenizer_path Meta-Llama-3-8B-Instruct/tokenizer.model --max_seq_len 512 --max_batch_size 6

Llama 3 は新しいテクノロジーであり、潜在的なリスクが伴います。これまでに実施されたテストは、すべての状況をカバーできるわけではありません。開発者がこれらのリスクに対処できるように、私たちは責任ある使用ガイドラインを作成しました。