frugal

Numexa

Uma plataforma de otimização de custos e recursos de código aberto para LLMs. Seja frugal! ?

Introdução

Numexa é uma ferramenta de otimização de custos e recursos orientada por IA, projetada para aumentar a eficiência operacional. Isso é conseguido aproveitando insights contextuais derivados de métricas de uso. Numexa emprega técnicas de ponta, como cache inteligente e recuperação de dados, aproveitando o poder dos bancos de dados vetoriais para agilizar as operações. Explore como Numexa pode revolucionar seus esforços de gerenciamento de recursos e redução de custos.

Características

• A funcionalidade independente do modelo registra solicitações ilimitadas de vários provedores, como OpenAI, Cohere, Anthropic e muito mais.

• ? Gerenciamento de modelo

• ? Alertas e notificações com políticas predefinidas, como taxa de erro, limite, custo, etc.

• ? Cache, limites de taxa personalizados e novas tentativas,

• Rastreie custos e latências por usuários, aplicativos e endpoints

• (Em breve) Cache inteligente e recuperação de dados

• (Em breve) Otimização de custos e recursos

Configuração de desenvolvimento

Pré-requisitos

Antes de começar, certifique-se de ter o seguinte instalado em seu sistema:

• Git : Guia de instalação
• Docker : Guia de instalação
• Docker Compose : Guia de instalação
• Marca : Guia de instalação

Começando

1. Clone o repositório:

   git clone < repository_url >
   cd < repository_directory >
   

2. Construir e iniciar os serviços: execute os seguintes comandos para construir e iniciar os serviços do projeto

   make all
   docker compose -f docker-compose.dev.yaml up -d

3. Verifique os serviços: depois de executar os comandos acima, os serviços do seu projeto deverão estar instalados e funcionando. Você pode verificar isso verificando os logs

Comunidade?

Junte-se ao nosso #Discord ou envie um e-mail para [email protected]