frugal

努梅克萨

面向法学硕士的开源成本和资源优化平台。节俭！ ？

介绍

Numexa 是一款人工智能驱动的成本和资源优化工具，旨在提高运营效率。它通过利用从使用指标中获得的上下文洞察来实现这一目标。 Numexa 采用智能缓存和数据检索等尖端技术，利用矢量数据库的强大功能来简化操作。探索 Numexa 如何彻底改变您的资源管理和成本节约工作。

特征

• 与模型无关的功能记录来自 OpenAI、Cohere、Anthropic 等各种提供商的无限请求。

• ？模型管理

• ？具有预定义策略的警报和通知，例如错误率、阈值、成本等。

• ？缓存、自定义速率限制和重试，

• 按用户、应用程序和端点跟踪成本和延迟

• （即将推出）智能缓存和数据检索

• （即将推出）成本和资源优化

开发设置

先决条件

开始之前，请确保您的系统上已安装以下软件：

• Git ：安装指南
• Docker ：安装指南
• Docker Compose ：安装指南
• 品牌： 安装指南

入门

1. 克隆存储库：

   git clone < repository_url >
   cd < repository_directory >
   

2. 构建并启动服务：运行以下命令来构建并启动项目服务

   make all
   docker compose -f docker-compose.dev.yaml up -d

3. 验证服务：运行上述命令后，您的项目服务应该启动并运行。您可以通过检查日志来验证这一点

社区 ？

加入我们的#Discord 或发送电子邮件至 [email protected]