llama models下載 - llama models原始碼下載

llama models

其他源碼

下載

駱駝模型

Llama 是一種易於訪問、開放的大型語言模型 (LLM)，專為開發人員、研究人員和企業構建、實驗和負責任地擴展其生成式 AI 想法而設計。作為基礎系統的一部分，它是全球社會創新的基石。幾個關鍵面向：

開放存取：輕鬆存取尖端的大型語言模型，促進開發人員、研究人員和組織之間的協作和進步
廣泛的生態系統：Llama 模型已被下載數億次，有數以千計的社區項目基於 Llama 構建，平台支持廣泛，從雲提供商到初創公司 - 世界正在與 Llama 一起構建！
信任與安全：Llama 模型是信任和安全綜合方法的一部分，發布的模型和工具旨在實現社區協作並鼓勵產生人工智慧的信任和安全工具的開發和使用標準化

我們的使命是透過這個機會為個人和產業賦能，同時創造一個發現和道德人工智慧進步的環境。模型權重授權給研究人員和商業實體，秉持開放原則。

駱駝模型

模型	推出日期	型號尺寸	上下文長度	分詞器	可接受的使用政策	執照	型號卡
駱駝2	2023年7月18日	7B、13B、70B	4K	句子	使用政策	執照	型號卡
駱駝3	2024 年 4 月 18 日	8B、70B	8K	基於 TikToken 的	使用政策	執照	型號卡
駱駝3.1	2024 年 7 月 23 日	8B、70B、405B	128K	基於 TikToken 的	使用政策	執照	型號卡
駱駝3.2	2024 年 9 月 25 日	1B、3B	128K	基於 TikToken 的	使用政策	執照	型號卡
駱駝 3.2-視覺	2024 年 9 月 25 日	11B、90B	128K	基於 TikToken 的	使用政策	執照	型號卡

下載

若要下載模型權重和分詞器：

造訪 Meta Llama 網站。
閱讀並接受許可證。
一旦您的請求獲得批准，您將透過電子郵件收到簽名 URL。
安裝 Llama CLI： pip install llama-stack 。（ <-- 如果您已經收到電子郵件，請從此處開始。 ）
運行llama model list以顯示最新的可用模型並確定您要下載的模型 ID。注意：如果您想要舊版的模型，請執行llama model list --show-all以顯示所有可用的 Llama 模型。
運行： llama download --source meta --model-id CHOSEN_MODEL_ID
當提示開始下載時，傳遞提供的 URL。

請記住，連結將在 24 小時和一定下載量後過期。如果您開始看到諸如403: Forbidden類的錯誤，您可以隨時重新要求連結。

運行模型

您需要安裝以下相依性（除了此儲存庫根目錄中的requirements.txt之外）才能執行模型：

pip install torch fairscale fire blobfile

安裝依賴項後，您可以執行範例腳本（在llama_models/scripts/子目錄中），如下所示：

 #!/bin/bashCHECKPOINT_DIR=~/.llama/checkpoints/Meta-Llama3.1-8B-Instruct
PYTHONPATH=$(git rev-parse --show-toplevel) torchrun llama_models/scripts/example_chat_completion.py $CHECKPOINT_DIR

上述腳本應與指令（聊天）模型一起使用。對於基本模型，請使用腳本llama_models/scripts/example_text_completion.py 。請注意，您可以將這些腳本與 Llama3 和 Llama3.1 系列型號一起使用。

要運行具有張量並行性的較大模型，您應該修改為：

 #!/bin/bashNGPUS=8
PYTHONPATH=$(git rev-parse --show-toplevel) torchrun
   --nproc_per_node=$NGPUS
   llama_models/scripts/example_chat_completion.py $CHECKPOINT_DIR
   --model_parallel_size $NGPUS

如需更靈活地運行推理（包括運行 FP8 推理），請參閱Llama Stack存儲庫。

獲得擁抱臉

我們也提供 Hugging Face 的下載，包括 Transformer 和原生llama3格式。若要從 Hugging Face 下載權重，請依照以下步驟操作：

存取其中一個儲存庫，例如 meta-llama/Meta-Llama-3.1-8B-Instruct。
閱讀並接受許可證。一旦您的請求獲得批准，您將有權存取所有 Llama 3.1 型號以及先前的版本。請注意，過去請求最多需要一小時才能處理。
若要下載原始本機權重以與此儲存庫一起使用，請按一下「檔案和版本」標籤並下載original資料夾的內容。如果您pip install huggingface-hub您也可以從命令列下載它們：

 Huggingface-cli 下載meta-llama/Meta-Llama-3.1-8B-Instruct --include "original/*" --local-dir meta-llama/Meta-Llama-3.1-8B-Instruct

注意meta-llama/Meta-Llama-3.1-405B 的原始原始權重無法透過此 HugginFace 儲存庫取得。

若要與轉換器一起使用，以下管道片段將下載並快取權重：

導入transformers導入torchmodel_id =“meta-llama/Meta-Llama-3.1-8B-Instruct”pipeline = Transformers.pipeline（“文字產生”，model =“meta-llama/Meta-Llama-3.1-8B-Instruct”，model_kwargs”，model_kwargs”，model_kwargs”，model_kwargs ={"torch_dtype": torch.bfloat16}, device="cuda",
）