LLMstudio

LLMstudio 由 TensorOps 提供

觸手可及的快速工程

？特徵

• LLM 代理程式存取：無縫存取 OpenAI、Anthropic、Google 的所有最新 LLM。
• 自訂和本地 LLM 支援：透過 Ollama 使用自訂或本地開源 LLM。
• Prompt Playground UI ：一個用戶友好的介面，用於設計和微調提示。
• Python SDK ：輕鬆將 LLMstudio 整合到您現有的工作流程中。
• 監控和日誌記錄：追蹤所有請求的使用情況和效能。
• LangChain 整合：LLMstudio 與您現有的 LangChain 專案整合。
• 批次呼叫：一次發送多個請求以提高效率。
• 智慧路由和後備：透過將您的請求路由到值得信賴的法學碩士，確保 24/7 可用性。
• 類型轉換（即將） ：根據特定用例的需要轉換資料類型。

快速入門

不要忘記查看 https://docs.llmstudio.ai 頁面。

安裝

使用pip安裝最新版本的LLMstudio 。我們建議您使用conda創建並啟動新環境

對於完整版本：

pip install ' llmstudio[proxy,tracker] '

對於輕量級（核心）版本：

pip install llmstudio

在運行LLMstudio 的同一路徑中建立.env文件

OPENAI_API_KEY= " sk-api_key "
ANTHROPIC_API_KEY= " sk-api_key "
VERTEXAI_KEY= " sk-api-key "

現在您應該能夠使用以下命令運行LLMstudio 。

llmstudio server --proxy --tracker

設定--proxy標誌後，您將能夠透過 http://0.0.0.0:50001/docs （預設連接埠）存取 Swagger

設定--tracker標誌後，您將能夠透過 http://0.0.0.0:50002/docs （預設連接埠）存取 Swagger

文件

• 請造訪我們的文件以了解 SDK 的工作原理（即將推出）
• 查看我們的筆記本範例以了解互動式教程

?‍ 貢獻

• 請參閱我們的貢獻指南，以了解如何協助 LLMstudio。
• 加入我們的 Discord 與其他 LLMstudio 愛好者交談。

訓練

---

感謝您選擇LLMstudio。您完善人工智慧互動的旅程從這裡開始。