frugal

Numexa

Una plataforma de optimización de costos y recursos de código abierto para LLM. ¡Sea frugal! ?

Introducción

Numexa es una herramienta de optimización de recursos y costos impulsada por IA diseñada para mejorar la eficiencia operativa. Lo logra aprovechando la información contextual derivada de las métricas de uso. Numexa emplea técnicas de vanguardia, como el almacenamiento en caché inteligente y la recuperación de datos, aprovechando el poder de las bases de datos vectoriales para optimizar las operaciones. Explore cómo Numexa puede revolucionar sus esfuerzos de gestión de recursos y ahorro de costos.

Características

• La funcionalidad independiente del modelo registra solicitudes ilimitadas de varios proveedores como OpenAI, Cohere, Anthropic y más.

• ? Gestión de modelos

• ? Alertas y notificaciones con políticas predefinidas, como tasa de error, umbral, costo, etc.

• ? Almacenamiento en caché, límites de velocidad personalizados y reintentos.

• Realice un seguimiento de los costos y las latencias por usuarios, aplicaciones y puntos finales

• (Próximamente) Almacenamiento en caché y recuperación de datos inteligentes

• (Próximamente) Optimización de costes y recursos

Configuración de desarrollo

Requisitos previos

Antes de comenzar, asegúrese de tener lo siguiente instalado en su sistema:

• Git : Guía de instalación
• Docker : Guía de instalación
• Docker Compose : Guía de instalación
• Marca : Guía de instalación

Empezando

1. Clonar el repositorio:

   git clone < repository_url >
   cd < repository_directory >
   

2. Cree e inicie los servicios: ejecute los siguientes comandos para compilar e iniciar los servicios del proyecto

   make all
   docker compose -f docker-compose.dev.yaml up -d

3. Verificar servicios: después de ejecutar los comandos anteriores, los servicios de su proyecto deberían estar en funcionamiento. Puedes verificar esto revisando los registros.

Comunidad ?

Únase a nuestro #Discord o envíe un correo electrónico a [email protected]