fastagent

фастагент

fastagent: инструмент, упрощающий отправку вашего агента в производство.

Документация

---

Предупреждение

FastAgent в настоящее время находится в активной разработке и находится на стадии альфа-версии. В настоящее время ему не хватает функций безопасности SSL и CORS, а также комплексного тестирования, необходимого для производственного развертывания.

Установка

Вы можете установить проект с помощью pip: (скоро будет доступно на PyPI)

pip install git+https://github.com/bastienpo/fastagent.git

Как использовать проект

Сначала создайте простое приложение LangChain.

Давайте создадим файл app.py с простейшим исполняемым файлом langchain, который вы только можете создать, состоящим из большой языковой модели.

 # pip install -qU langchain-mistralai and requires MISTRAL_API_KEY in to be set
from langchain_mistralai import ChatMistralAI

chain = ChatMistralAI ( model = "ministral-3b-latest" )

Затем вам необходимо инициализировать файл конфигурации fastagent (fastagent.toml), используя следующую команду:

fastagent init

Вам нужно будет обновить поле приложения в разделе проекта, чтобы оно соответствовало пути вашего приложения в форме:

<module_path>:<module_attribute> в вашем случае это будет myapplication.app:chain

Если вы решили использовать базу данных в своей конфигурации, вы можете использовать команду setup для создания таблиц и настройки базы данных.

fastagent setup

Когда вы будете готовы к разработке или отправке, вы можете запустить рабочий сервер:

fastagent dev # fastagent run

Разница между командами dev и run заключается в том, что dev перезагружает сервер при изменении кода и регистрируется на консоли, а run создает образ докера и обслуживает приложение.

Функции

Текущая дорожная карта проекта:

• Проект позволяет настроить простой сервер для вашего агента. Он поддерживает только langchain и postgresql для хранения ваших разговоров и данных аутентификации.
• Это позволяет настроить простую аутентификацию и авторизацию на основе токенов.
• Вы можете настроить различные промежуточные программы CORS, авторизацию и ограничение скорости.

Что дальше?

Примечание

Проект все еще находится в активной разработке, и его дизайн может быть изменен. Я делаю это только как личный проект, потому что мне было интересно, как отправить агента в производство. Не стесняйтесь внести свой вклад или оставить отзыв. Я действительно открыт для любых предложений.

Ближайшее будущее:

• Добавьте сквозное тестирование проекта на langchain и langgraph.
• Добавьте систему разрешений.
• Добавьте аутентификацию без сохранения состояния.
• Добавьте поддержку большего количества баз данных (в частности, SQLite).

Долгосрочная перспектива:

• Упрощение интеграции инструментов мониторинга и наблюдения (Langfuse, Phoenix)
• Добавьте поддержку Dspy и других фреймворков.

Ресурсы

Некоторые ресурсы о зависимостях, используемых в проекте, и благодарность сопровождающим проектов за их работу.

• ФастAPI
• Граниан
• Лангсерве

Проект вдохновлен LitServe.