Téléchargement fastagent - Téléchargement du code source fastagent

fastagent

Code Source AI

1.0.0

Télécharger

agent rapide

fastagent : un outil facilitant l'envoi de votre agent en production

Documentation

Avertissement

FastAgent est actuellement en développement actif et en phase alpha. Il manque actuellement des fonctionnalités de sécurité SSL et CORS, ainsi que des tests complets nécessaires au déploiement en production.

Installation

Vous pouvez installer le projet en utilisant pip : (bientôt disponible sur PyPI)

pip install git+https://github.com/bastienpo/fastagent.git

Comment utiliser le projet

Tout d’abord, créez une application LangChain simple.

Créons un fichier app.py avec l'exécutable Langchain le plus simple que vous puissiez créer, composé uniquement d'un grand modèle de langage.

 # pip install -qU langchain-mistralai and requires MISTRAL_API_KEY in to be set
from langchain_mistralai import ChatMistralAI

chain = ChatMistralAI ( model = "ministral-3b-latest" )

Ensuite, vous devez initialiser un fichier de configuration fastagent (fastagent.toml) à l'aide de la commande suivante :

fastagent init

Vous devrez mettre à jour le champ application dans la section projet pour qu'il corresponde au chemin de votre candidature dans le formulaire :

<module_path>:<module_attribute> dans votre cas, ce serait myapplication.app:chain

Si vous décidez d'utiliser une base de données dans votre configuration, vous pouvez utiliser la commande setup pour créer les tables et configurer la base de données.

fastagent setup

Lorsque vous êtes prêt à développer ou à expédier, vous pouvez démarrer le serveur de production :

fastagent dev # fastagent run

La différence entre les commandes dev et run est que dev rechargera le serveur sur les modifications de code et se connectera à la console, tandis que run construira une image Docker et servira l'application.

Caractéristiques

Voici la feuille de route actuelle du projet :

Le projet permet de configurer un serveur simple pour votre agent. Il ne prend en charge que Langchain et Postgresql pour stocker vos conversations et vos données d'authentification.
Il permet de configurer une authentification et une autorisation simples basées sur un jeton.
Vous pouvez configurer différents middlewares CORS, autorisation et limitation de débit.

Quelle est la prochaine étape ?

Note

Ce projet est toujours en développement actif et la conception est susceptible de changer. Je le fais uniquement comme projet personnel parce que j'étais curieux de savoir comment envoyer un agent en production. N'hésitez pas à contribuer ou à donner votre avis. Je suis vraiment ouvert à toute suggestion.

Futur proche :