frugal

ヌメクサ

LLM 向けのオープンソースのコストとリソースの最適化プラットフォーム。倹約しましょう！ ?

導入

Numexa は、業務効率を向上させるために設計された AI 主導のコストとリソースの最適化ツールです。これは、使用状況メトリクスから得られるコンテキストに応じた洞察を活用することで実現されます。 Numexa は、インテリジェントなキャッシュやデータ検索などの最先端の技術を採用し、ベクトル データベースの力を利用して業務を合理化します。 Numexa がリソース管理とコスト削減の取り組みにどのような変革をもたらすかをご覧ください。

特徴

• モデルに依存しない機能により、OpenAI、Cohere、Anthropic などのさまざまなプロバイダーからの無制限のリクエストが記録されます。

• ?モデル管理

• ?エラー率、しきい値、コストなどの事前定義ポリシーによるアラートと通知。

• ?キャッシュ、カスタム レート制限、および再試行、

• ユーザー、アプリケーション、エンドポイントごとにコストと遅延を追跡

• (近日公開予定) インテリジェントなキャッシュとデータ取得

• (近日公開予定) コストとリソースの最適化

開発セットアップ

前提条件

始める前に、システムに次のものがインストールされていることを確認してください。

• Git : インストールガイド
• Docker : インストール ガイド
• Docker Compose : インストール ガイド
• メーカー：インストールガイド

はじめる

1. リポジトリのクローンを作成します。

   git clone < repository_url >
   cd < repository_directory >
   

2. サービスのビルドと開始:次のコマンドを実行して、プロジェクト サービスをビルドして開始します。

   make all
   docker compose -f docker-compose.dev.yaml up -d

3. サービスの確認:上記のコマンドを実行すると、プロジェクト サービスが起動して実行されるはずです。これはログを確認することで確認できます

コミュニティ ？

#Discord に参加するか、[email protected] にメールを送信してください