frugal
1.0.0
Eine Open-Source-Plattform zur Kosten- und Ressourcenoptimierung für LLMs. Seien Sie sparsam! ?
Numexa ist ein KI-gesteuertes Kosten- und Ressourcenoptimierungstool zur Verbesserung der betrieblichen Effizienz. Dies wird durch die Nutzung kontextbezogener Erkenntnisse erreicht, die aus Nutzungsmetriken abgeleitet werden. Numexa nutzt modernste Techniken wie intelligentes Caching und Datenabruf und nutzt die Leistungsfähigkeit von Vektordatenbanken, um Abläufe zu optimieren. Entdecken Sie, wie Numexa Ihr Ressourcenmanagement und Ihre Kosteneinsparungsbemühungen revolutionieren kann.
Die modellunabhängige Funktionalität zeichnet unbegrenzte Anfragen von verschiedenen Anbietern wie OpenAI, Cohere, Anthropic und mehr auf.
? Modellmanagement
? Alarmierung und Benachrichtigung mit vordefinierten Richtlinien wie Fehlerrate, Schwellenwert, Kosten usw.
? Caching, benutzerdefinierte Ratenlimits und Wiederholungsversuche,
Verfolgen Sie Kosten und Latenzen nach Benutzern, Anwendungen und Endpunkten
(In Kürze erhältlich) Intelligentes Caching und Datenabruf
(In Kürze erhältlich) Kosten- und Ressourcenoptimierung
Bevor Sie beginnen, stellen Sie sicher, dass Folgendes auf Ihrem System installiert ist:
Klonen Sie das Repository:
git clone < repository_url >
cd < repository_directory >
Erstellen und starten Sie die Dienste: Führen Sie die folgenden Befehle aus, um die Projektdienste zu erstellen und zu starten
make all
docker compose -f docker-compose.dev.yaml up -dDienste überprüfen: Nachdem Sie die oben genannten Befehle ausgeführt haben, sollten Ihre Projektdienste betriebsbereit sein. Sie können dies überprüfen, indem Sie die Protokolle überprüfen
Treten Sie unserem #Discord bei oder senden Sie eine E-Mail an [email protected]
