frugal
1.0.0
Une plateforme open source d'optimisation des coûts et des ressources pour les LLM. Soyez économe ! ?
Numexa est un outil d'optimisation des coûts et des ressources basé sur l'IA, conçu pour améliorer l'efficacité opérationnelle. Il y parvient en tirant parti des informations contextuelles dérivées des métriques d'utilisation. Numexa utilise des techniques de pointe telles que la mise en cache intelligente et la récupération de données, exploitant la puissance des bases de données vectorielles pour rationaliser les opérations. Découvrez comment Numexa peut révolutionner votre gestion des ressources et vos efforts de réduction des coûts.
La fonctionnalité indépendante du modèle enregistre des requêtes illimitées provenant de divers fournisseurs comme OpenAI, Cohere, Anthropic et plus encore.
? Gestion des modèles
? Alertes et notifications avec des politiques prédéfinies, comme le taux d'erreur, le seuil, le coût, etc.
? Mise en cache, limites de débit personnalisées et tentatives,
Suivez les coûts et les latences par utilisateurs, applications et points de terminaison
(Bientôt disponible) Mise en cache intelligente et récupération de données
(Prochainement) Optimisation des coûts et des ressources
Avant de commencer, assurez-vous que les éléments suivants sont installés sur votre système :
Clonez le référentiel :
git clone < repository_url >
cd < repository_directory >
Créer et démarrer les services : exécutez les commandes suivantes pour créer et démarrer les services du projet
make all
docker compose -f docker-compose.dev.yaml up -dVérifier les services : après avoir exécuté les commandes ci-dessus, les services de votre projet devraient être opérationnels. Vous pouvez le vérifier en vérifiant les journaux
Rejoignez notre #Discord ou envoyez un e-mail à [email protected]
