fastagent

快速代理

fastagent：一種可以輕鬆將代理商投入生產的工具

文件

---

警告

FastAgent 目前正在積極開發並處於 alpha 階段。它目前缺乏 SSL 和 CORS 安全功能，以及生產部署所需的全面測試。

安裝

您可以使用 pip 安裝項目：（即將在 PyPI 上提供）

pip install git+https://github.com/bastienpo/fastagent.git

如何使用該項目

首先，創建一個簡單的LangChain應用程式。

讓我們使用您可以製作的最簡單的 langchain 可運行文件來建立一個 app.py 文件，其中僅包含一個大型語言模型。

 # pip install -qU langchain-mistralai and requires MISTRAL_API_KEY in to be set
from langchain_mistralai import ChatMistralAI

chain = ChatMistralAI ( model = "ministral-3b-latest" )

然後，您需要使用以下命令初始化fastagent設定檔（fastagent.toml）：

fastagent init

您需要更新專案部分中的應用程式欄位以符合表單中應用程式的路徑：

<module_path>:<module_attribute>在你的情況下它將是myapplication.app:chain

如果您決定在配置中使用資料庫，則可以使用setup命令來建立表格並設定資料庫。

fastagent setup

當您準備好開發或發佈時，您可以啟動生產伺服器：

fastagent dev # fastagent run

dev和run命令之間的差異在於， dev將在程式碼更改時重新載入伺服器並記錄到控制台，而run將建立 docker 映像並為應用程式提供服務。

特徵

這是該專案目前的路線圖：

• 該項目允許為您的代理設定一個簡單的伺服器。它僅支援 langchain 和 postgresql 來儲存您的對話和身份驗證資料。
• 它允許設定基於簡單令牌的身份驗證和授權。
• 您可以設定不同的中介軟體 CORS、授權和速率限制。

接下來怎麼辦？

筆記

該項目仍在積極開發中，設計可能會發生變化。我只是將其作為個人專案來做，因為我很好奇如何將代理發送到生產環境。請隨意貢獻或提供回饋。我真的願意接受任何建議。

不久的將來：

• 為 langchain 和 langgraph 新增專案的端對端測試。
• 新增權限系統。
• 新增無狀態身份驗證。
• 新增對更多資料庫（特別是 SQLite）的支援。

長期：

• 簡化監控和可觀察工具的整合（Langfuse、Phoenix）
• 增加對 Dspy 和其他框架的支援。

資源

有關專案所使用的依賴項的一些資源，並感謝專案維護人員的工作。

• 快速API
• 格拉尼安
• 朗瑟夫

該項目的靈感來自 LitServe。