frugal

努梅克薩

法學碩士的開源成本和資源優化平台。節儉！ ？

介紹

Numexa 是一款由人工智慧驅動的成本和資源優化工具，旨在提高營運效率。它透過利用從使用指標中獲得的上下文洞察來實現這一目標。 Numexa 採用智慧快取和資料檢索等尖端技術，利用向量資料庫的強大功能來簡化操作。探索 Numexa 如何徹底改變您的資源管理和節省成本。

特徵

• 與模型無關的功能記錄來自 OpenAI、Cohere、Anthropic 等各種提供者的無限請求。

• ？模型管理

• ？具有預定義策略的警報和通知，例如錯誤率、閾值、成本等。

• ？快取、自訂速率限制和重試，

• 按用戶、應用程式和端點追蹤成本和延遲

• （即將推出）智慧型快取和資料檢索

• （即將推出）成本與資源優化

開發設定

先決條件

在開始之前，請確保您的系統上已安裝以下軟體：

• Git ：安裝指南
• Docker ：安裝指南
• Docker Compose ：安裝指南
• 品牌： 安裝指南

入門

1. 克隆儲存庫：

   git clone < repository_url >
   cd < repository_directory >
   

2. 建置並啟動服務：執行以下命令來建置並啟動專案服務

   make all
   docker compose -f docker-compose.dev.yaml up -d

3. 驗證服務：執行上述命令後，您的專案服務應該啟動並執行。您可以透過檢查日誌來驗證這一點

社區 ？

加入我們的#Discord 或發送電子郵件至 [email protected]