frugal

Нумекса

Платформа с открытым исходным кодом для оптимизации затрат и ресурсов для LLM. Будьте бережливы! ?

Введение

Numexa — это инструмент оптимизации затрат и ресурсов на основе искусственного интеллекта, предназначенный для повышения операционной эффективности. Это достигается за счет использования контекстной информации, полученной на основе показателей использования. Numexa использует передовые методы, такие как интеллектуальное кэширование и поиск данных, используя возможности векторных баз данных для оптимизации операций. Узнайте, как Numexa может революционизировать ваши усилия по управлению ресурсами и экономии средств.

Функции

• Независимая от модели функциональность записывает неограниченное количество запросов от различных поставщиков, таких как OpenAI, Cohere, Anthropic и других.

• ? Управление моделями

• ? Оповещения и уведомления с помощью предопределенных политик, таких как частота ошибок, пороговое значение, стоимость и т. д.

• ? Кэширование, пользовательские ограничения скорости и повторные попытки,

• Отслеживайте затраты и задержки по пользователям, приложениям и конечным точкам.

• (Скоро) Интеллектуальное кэширование и поиск данных

• (Скоро) Оптимизация затрат и ресурсов

Настройка разработки

Предварительные условия

Прежде чем начать, убедитесь, что в вашей системе установлено следующее:

• Git : Руководство по установке
• Докер : Руководство по установке
• Docker Compose : Руководство по установке
• Марка : Руководство по установке

Начиная

1. Клонируем репозиторий:

   git clone < repository_url >
   cd < repository_directory >
   

2. Сборка и запуск служб. Выполните следующие команды, чтобы создать и запустить службы проекта.

   make all
   docker compose -f docker-compose.dev.yaml up -d

3. Проверка служб. После выполнения приведенных выше команд службы вашего проекта должны быть запущены и работать. Вы можете убедиться в этом, проверив логи

Сообщество ?

Присоединяйтесь к нашему #Discord или напишите письмо по адресу [email protected].