llama stack

骆驼栈

快速入门|文档|从零到英雄指南

Llama Stack 定义并标准化了将生成式 AI 应用程序推向市场所需的一组核心构建块。这些构建块以可互操作的 API 的形式呈现，众多服务提供商提供其实现。

我们的目标是提供可在各种部署环境中运行的预打包实施：开发人员开始使用桌面或其移动设备进行迭代，并可以无缝过渡到本地或公共云部署。在此过渡的每个阶段，都可以使用相同的 API 集和相同的开发人员体验。

⚠️注意Stack API 正在迅速改进，但仍有大量工作正在进行中，我们邀请反馈和直接贡献。

蜜蜂

今天我们已经实现了以下 API：

• 推理

• 安全

• 记忆

• 代理商

• 评估

• 遥测

除了这些 API 之外，我们还提供了用于操作关联资源的相关 API（请参阅概念）：

• 型号

• 盾牌

• 记忆库

• 评估任务

• 数据集

• 评分功能

我们还正在开发以下 API，即将发布：

• 岗位培训

• 综合数据生成

• 奖励评分

每个 API 本身都是 REST 端点的集合。

哲学

面向服务的设计

与其他框架不同，Llama Stack 采用面向服务、REST API 优先的方法构建。这样的设计不仅允许从本地部署到远程部署的无缝过渡，而且还迫使设计更具声明性。我们相信这一限制可以带来更简单、更强大的开发人员体验。这必然会牺牲表达能力，但是如果我们使用正确的 API，它可以打造一个非常强大的平台。

可组合性

我们期望我们设计的 API 集是可组合的。 Agent 抽象地依赖于 { Inference, Memory, Safety } API，但不关心实际的实现细节。安全性本身可能需要模型推理，因此可以依赖于推理 API。

交钥匙一站式解决方案

我们期望为流行的部署场景提供交钥匙解决方案。在 AWS 或私有数据中心上部署 Llama Stack 服务器应该很容易。其中任何一个都应该允许开发人员在几分钟内开始使用强大的代理应用程序、模型评估或微调服务。它们都应该产生相同的统一的可观察性和开发人员体验。

专注于 Llama 模型

作为 Meta 发起的项目，我们首先明确关注 Meta 的 Llama 系列模型。支持广泛的开放模型并非易事，我们希望从我们最了解的模型开始。

支持生态系统

有一个充满活力的提供商生态系统，可提供高效的推理或可扩展的向量存储或强大的可观测性解决方案。我们希望确保开发人员能够轻松地为他们的用例选择最佳的实现。我们还希望确保新的提供商能够轻松加入并参与生态系统。

此外，我们设计了堆栈的每个元素，以便 API 和资源（如模型）可以联合。

支持的 Llama 堆栈实现

API 提供商

API 提供者生成器	环境	代理商	推理	记忆	安全	遥测
元参考	单节点	✔️	✔️	✔️	✔️	✔️
烟花	主办	✔️	✔️	✔️
AWS 基岩	主办		✔️		✔️
一起	主办	✔️	✔️		✔️
奥拉马	单节点		✔️
TGI	托管和单节点		✔️
色度	单节点			✔️
PG矢量	单节点			✔️
PyTorch ExecuTorch	设备上的 iOS	✔️	✔️

发行版

分配	骆驼堆栈 Docker	开始这个发行版
元参考	llamastack/分布-元参考-gpu	指导
元参考量化	llamastack/分布-元-参考-量化-gpu	指导
奥拉马	llamastack/分布-ollama	指导
TGI	llamastack/分布-tgi	指导
一起	llamastack/一起分发	指导
烟花	llamastack/分布式烟花	指导

安装

您有两种方法来安装此存储库：

1. 作为软件包安装：您可以通过运行以下命令直接从 PyPI 安装存储库：

    pip 安装 llama-stack

2. 从源代码安装：如果您希望从源代码安装，请按照下列步骤操作：

    mkdir -p ~/local cd ~/local
    git 克隆 [email protected]:meta-llama/llama-stack.git
   
    conda 创建-n 堆栈 python=3.10
    conda 激活堆栈 cd llama-stack $CONDA_PREFIX/bin/pip install -e 。

文档

请查看我们的文档页面以了解更多详细信息。

• CLI 参考

• 指导使用llama CLI 处理 Llama 模型（下载、学习提示），以及构建/启动 Llama Stack 发行版。

• 入门

• 启动 Llama Stack 服务器的快速指南。

• Jupyter Notebook 演示如何使用简单的文本和视觉推理 llama_stack_client API

• Deeplearning.ai 上新 Llama 3.2 课程的完整 Llama Stack 课程 Colab 笔记本。

• 从零到英雄指南，通过代码示例指导您了解 llama 堆栈的所有关键组件。

• 贡献

• 添加新的 API 提供程序演练如何添加新的 API 提供程序。

Llama Stack 客户端 SDK

语言	客户端SDK	包裹
Python	llama-stack-客户端-python
迅速	骆驼堆栈客户端 swift
节点	骆驼堆栈客户端节点
科特林	骆驼堆栈客户端 kotlin

查看我们的客户端 SDK，用于以您喜欢的语言连接到 Llama Stack 服务器，您可以选择 python、node、swift 和 kotlin 编程语言来快速构建您的应用程序。

您可以在我们的 llama-stack-apps 存储库中找到更多带有客户端 SDK 的示例脚本，以便与 Llama Stack 服务器进行通信。