llama models下载 - llama models源码下载

llama models

其他源码

下载

骆驼模型

Llama 是一种易于访问、开放的大型语言模型 (LLM)，专为开发人员、研究人员和企业构建、实验和负责任地扩展其生成式 AI 想法而设计。作为基础系统的一部分，它是全球社会创新的基石。几个关键方面：

开放访问：轻松访问尖端的大型语言模型，促进开发人员、研究人员和组织之间的协作和进步
广泛的生态系统：Llama 模型已被下载数亿次，有数以千计的社区项目基于 Llama 构建，平台支持广泛，从云提供商到初创公司 - 世界正在与 Llama 一起构建！
信任和安全：Llama 模型是信任和安全综合方法的一部分，发布的模型和工具旨在实现社区协作并鼓励生成人工智能的信任和安全工具的开发和使用标准化

我们的使命是通过这个机会为个人和行业赋能，同时营造一个发现和道德人工智能进步的环境。模型权重授权给研究人员和商业实体，秉承开放原则。

骆驼模型

模型	推出日期	型号尺寸	上下文长度	分词器	可接受的使用政策	执照	型号卡
骆驼2	2023年7月18日	7B、13B、70B	4K	句子	使用政策	执照	型号卡
骆驼3	2024 年 4 月 18 日	8B、70B	8K	基于 TikToken 的	使用政策	执照	型号卡
骆驼3.1	2024 年 7 月 23 日	8B、70B、405B	128K	基于 TikToken 的	使用政策	执照	型号卡
骆驼3.2	2024 年 9 月 25 日	1B、3B	128K	基于 TikToken 的	使用政策	执照	型号卡
骆驼 3.2-视觉	2024 年 9 月 25 日	11B、90B	128K	基于 TikToken 的	使用政策	执照	型号卡

下载

要下载模型权重和分词器：

访问 Meta Llama 网站。
阅读并接受许可证。
一旦您的请求获得批准，您将通过电子邮件收到签名 URL。
安装 Llama CLI： pip install llama-stack 。（ <-- 如果您已经收到电子邮件，请从此处开始。 ）
运行llama model list以显示最新的可用模型并确定您要下载的模型 ID。注意：如果您想要旧版本的模型，请运行llama model list --show-all以显示所有可用的 Llama 模型。
运行： llama download --source meta --model-id CHOSEN_MODEL_ID
当提示开始下载时，传递提供的 URL。

请记住，链接将在 24 小时和一定下载量后过期。如果您开始看到诸如403: Forbidden类的错误，您可以随时重新请求链接。

运行模型

您需要安装以下依赖项（除了此存储库根目录中的requirements.txt之外）才能运行模型：

pip install torch fairscale fire blobfile

安装依赖项后，您可以运行示例脚本（在llama_models/scripts/子目录中），如下所示：

 #!/bin/bashCHECKPOINT_DIR=~/.llama/checkpoints/Meta-Llama3.1-8B-Instruct
PYTHONPATH=$(git rev-parse --show-toplevel) torchrun llama_models/scripts/example_chat_completion.py $CHECKPOINT_DIR

上述脚本应与指令（聊天）模型一起使用。对于基本模型，请使用脚本llama_models/scripts/example_text_completion.py 。请注意，您可以将这些脚本与 Llama3 和 Llama3.1 系列模型一起使用。

要运行具有张量并行性的较大模型，您应该修改为：

 #!/bin/bashNGPUS=8
PYTHONPATH=$(git rev-parse --show-toplevel) torchrun
   --nproc_per_node=$NGPUS
   llama_models/scripts/example_chat_completion.py $CHECKPOINT_DIR
   --model_parallel_size $NGPUS

如需更灵活地运行推理（包括运行 FP8 推理），请参阅Llama Stack存储库。

获得拥抱脸

我们还提供 Hugging Face 的下载，包括 Transformer 和原生llama3格式。要从 Hugging Face 下载权重，请按照以下步骤操作：

访问其中一个存储库，例如 meta-llama/Meta-Llama-3.1-8B-Instruct。
阅读并接受许可证。一旦您的请求获得批准，您将有权访问所有 Llama 3.1 模型以及以前的版本。请注意，过去请求最多需要一小时才能得到处理。
要下载原始本机权重以与此存储库一起使用，请单击“文件和版本”选项卡并下载original文件夹的内容。如果您pip install huggingface-hub您还可以从命令行下载它们：

 Huggingface-cli 下载meta-llama/Meta-Llama-3.1-8B-Instruct --include "original/*" --local-dir meta-llama/Meta-Llama-3.1-8B-Instruct

注意meta-llama/Meta-Llama-3.1-405B 的原始原始权重无法通过此 HugginFace 存储库获得。

要与转换器一起使用，以下管道片段将下载并缓存权重：

导入transformers导入torchmodel_id =“meta-llama/Meta-Llama-3.1-8B-Instruct”pipeline = Transformers.pipeline（“文本生成”，model =“meta-llama/Meta-Llama-3.1-8B-Instruct”，model_kwargs ={"torch_dtype": torch.bfloat16}, device="cuda",
）