LLMstudio

LLMstudio 由 TensorOps 提供

触手可及的快速工程

？特征

• LLM 代理访问：无缝访问 OpenAI、Anthropic、Google 的所有最新 LLM。
• 自定义和本地 LLM 支持：通过 Ollama 使用自定义或本地开源 LLM。
• Prompt Playground UI ：一个用户友好的界面，用于设计和微调提示。
• Python SDK ：轻松将 LLMstudio 集成到您现有的工作流程中。
• 监控和日志记录：跟踪所有请求的使用情况和性能。
• LangChain 集成：LLMstudio 与您现有的 LangChain 项目集成。
• 批量调用：一次发送多个请求以提高效率。
• 智能路由和后备：通过将您的请求路由到值得信赖的法学硕士，确保 24/7 可用性。
• 类型转换（即将） ：根据特定用例的需要转换数据类型。

快速入门

不要忘记查看 https://docs.llmstudio.ai 页面。

安装

使用pip安装最新版本的LLMstudio 。我们建议您使用conda创建并激活新环境

对于完整版本：

pip install ' llmstudio[proxy,tracker] '

对于轻量级（核心）版本：

pip install llmstudio

在运行LLMstudio 的同一路径中创建.env文件

OPENAI_API_KEY= " sk-api_key "
ANTHROPIC_API_KEY= " sk-api_key "
VERTEXAI_KEY= " sk-api-key "

现在您应该能够使用以下命令运行LLMstudio 。

llmstudio server --proxy --tracker

设置--proxy标志后，您将能够通过 http://0.0.0.0:50001/docs （默认端口）访问 Swagger

设置--tracker标志后，您将能够通过 http://0.0.0.0:50002/docs （默认端口）访问 Swagger

文档

• 请访问我们的文档以了解 SDK 的工作原理（即将推出）
• 查看我们的笔记本示例以了解交互式教程

?‍ 贡献

• 请参阅我们的贡献指南，了解如何帮助 LLMstudio。
• 加入我们的 Discord 与其他 LLMstudio 爱好者交谈。

训练

---

感谢您选择LLMstudio。您完善人工智能交互的旅程从这里开始。