llama stack下載 - llama stack原始碼下載

llama stack

其他源碼

1.0.0

下載

駱駝棧

快速入門|文件|從零到英雄指南

Llama Stack 定義並標準化了將生成式 AI 應用程式推向市場所需的一組核心構建塊。這些構建塊以可互通的 API 的形式呈現，眾多服務提供者提供其實作。

我們的目標是提供可在各種部署環境中運行的預先打包實作：開發人員開始使用桌面或其行動裝置進行迭代，並且可以無縫過渡到本地或公有雲部署。在此過渡的每個階段，都可以使用相同的 API 集和相同的開發人員體驗。

⚠️注意Stack API 正在迅速改進，但仍有大量工作正在進行中，我們邀請回饋和直接貢獻。

蜜蜂

今天我們已經實作了以下 API：

推理
安全
記憶
代理商
評估
遙測

除了這些 API 之外，我們還提供了操作關聯資源的相關 API（請參閱概念）：

型號
盾牌
記憶庫
評估任務
數據集
評分功能

我們也正在開發以下 API，即將發布：

職位培訓
綜合數據生成
獎勵評分

每個 API 本身都是 REST 端點的集合。

哲學

服務導向的設計

與其他框架不同，Llama Stack 採用服務導向、REST API 優先的方法建構。這樣的設計不僅允許從本地部署到遠端部署的無縫過渡，而且還迫使設計更具聲明性。我們相信這項限制可以帶來更簡單、更強大的開發人員體驗。這必然會犧牲表達能力，但是如果我們使用正確的 API，它可以打造一個非常強大的平台。

可組合性

我們期望我們設計的 API 集是可組合的。 Agent 抽像地依賴 { Inference, Memory, Safety } API，但不關心實際的實作細節。安全性本身可能需要模型推理，因此可以依賴推理 API。

交鑰匙一站式解決方案

我們期望為流行的部署場景提供交鑰匙解決方案。在 AWS 或私人資料中心上部署 Llama Stack 伺服器應該很容易。其中任何一個都應該允許開發人員在幾分鐘內開始使用強大的代理應用程式、模型評估或微調服務。它們都應該產生相同的統一的可觀察性和開發人員體驗。

專注於 Llama 模型

作為 Meta 發起的項目，我們首先明確地關注 Meta 的 Llama 系列模型。支持廣泛的開放模型並非易事，我們希望從我們最了解的模型開始。

支持生態系統

有一個充滿活力的提供者生態系統，可提供高效的推理或可擴展的向量儲存或強大的可觀測性解決方案。我們希望確保開發人員能夠輕鬆地為他們的用例選擇最佳的實作。我們還希望確保新的供應商能夠輕鬆加入並參與生態系統。

此外，我們設計了堆疊的每個元素，以便 API 和資源（如模型）可以聯合。

支援的 Llama 堆疊實現

API 提供者

API 提供者產生器	環境	代理商	推理	記憶	安全	遙測
元參考	單節點	✔️	✔️	✔️	✔️	✔️
煙火	主辦	✔️	✔️	✔️
AWS 基岩	主辦		✔️		✔️
一起	主辦	✔️	✔️		✔️
奧拉馬	單節點		✔️
TGI	託管和單節點		✔️
色度	單節點			✔️
PG向量	單節點			✔️
PyTorch ExecuTorch	裝置上的 iOS	✔️	✔️

發行版

分配	駱駝堆疊 Docker	開始這個發行版
元參考	llamastack/分佈-元參考-gpu	指導
元參考量化	llamastack/分佈-元-參考-量化-gpu	指導
奧拉馬	llamastack/分佈-ollama	指導
TGI	llamastack/分佈-tgi	指導
一起	llamastack/一起分發	指導
煙火	llamastack/分散式煙火	指導

安裝

您有兩種方法來安裝此儲存庫：

以軟體包安裝：您可以透過執行以下命令直接從 PyPI 安裝儲存庫：
```
 pip 安裝 llama-stack
```

從原始碼安裝：如果您希望從原始程式碼安裝，請按照下列步驟操作：

 mkdir -p ~/local cd ~/local
 git 複製 [email protected]:meta-llama/llama-stack.git

 conda 創建-n 堆疊 python=3.10
 conda 啟動堆疊 cd llama-stack $CONDA_PREFIX/bin/pip install -e 。