fastagent

快速代理

fastagent：一种可以轻松将代理投入生产的工具

文档

---

警告

FastAgent 目前正在积极开发并处于 alpha 阶段。它目前缺乏 SSL 和 CORS 安全功能，以及生产部署所需的全面测试。

安装

您可以使用 pip 安装项目：（即将在 PyPI 上提供）

pip install git+https://github.com/bastienpo/fastagent.git

如何使用该项目

首先，创建一个简单的LangChain应用程序。

让我们使用您可以制作的最简单的 langchain 可运行文件创建一个 app.py 文件，其中仅包含一个大型语言模型。

 # pip install -qU langchain-mistralai and requires MISTRAL_API_KEY in to be set
from langchain_mistralai import ChatMistralAI

chain = ChatMistralAI ( model = "ministral-3b-latest" )

然后，您需要使用以下命令初始化fastagent配置文件（fastagent.toml）：

fastagent init

您需要更新项目部分中的应用程序字段以匹配表单中应用程序的路径：

<module_path>:<module_attribute>在你的情况下它将是myapplication.app:chain

如果您决定在配置中使用数据库，则可以使用setup命令来创建表并设置数据库。

fastagent setup

当您准备好开发或发布时，您可以启动生产服务器：

fastagent dev # fastagent run

dev和run命令之间的区别在于， dev将在代码更改时重新加载服务器并记录到控制台，而run将构建 docker 映像并为应用程序提供服务。

特征

这是该项目当前的路线图：

• 该项目允许为您的代理设置一个简单的服务器。它仅支持 langchain 和 postgresql 来存储您的对话和身份验证数据。
• 它允许设置基于简单令牌的身份验证和授权。
• 您可以配置不同的中间件 CORS、授权和速率限制。

接下来怎么办？

笔记

该项目仍在积极开发中，设计可能会发生变化。我只是将其作为个人项目来做，因为我很好奇如何将代理发送到生产环境。请随意贡献或提供反馈。我真的愿意接受任何建议。

不久的将来：

• 为 langchain 和 langgraph 添加项目的端到端测试。
• 添加权限系统。
• 添加无状态身份验证。
• 添加对更多数据库（特别是 SQLite）的支持。

长期：

• 简化监控和可观察工具的集成（Langfuse、Phoenix）
• 添加对 Dspy 和其他框架的支持。

资源

有关项目所使用的依赖项的一些资源，并感谢项目维护人员的工作。

• 快速API
• 格拉尼安
• 朗瑟夫

该项目的灵感来自 LitServe。