frugal

angka

Platform Pengoptimalan Biaya & Sumber Daya sumber terbuka untuk LLM. Jadilah Hemat! ?

Perkenalan

Numexa adalah alat pengoptimalan biaya dan sumber daya berbasis AI yang dirancang untuk meningkatkan efisiensi operasional. Hal ini dicapai dengan memanfaatkan wawasan kontekstual yang diperoleh dari metrik penggunaan. Numexa menggunakan teknik mutakhir seperti caching cerdas dan pengambilan data, memanfaatkan kekuatan database vektor untuk menyederhanakan operasi. Jelajahi bagaimana Numexa dapat merevolusi pengelolaan sumber daya dan upaya penghematan biaya Anda.

Fitur

• Fungsionalitas model agnostik mencatat permintaan tak terbatas dari berbagai penyedia seperti OpenAI, Cohere, Anthropic, dan lainnya.

• ? Manajemen model

• ? Peringatan & Pemberitahuan dengan kebijakan yang telah ditentukan sebelumnya, seperti tingkat kesalahan, ambang batas, biaya, dll.

• ? Caching, Batas Tarif Khusus, dan Percobaan Ulang,

• Lacak biaya dan latensi berdasarkan pengguna, aplikasi, dan titik akhir

• (Segera hadir) Caching dan pengambilan data yang cerdas

• (Segera hadir) Optimalisasi biaya dan sumber daya

Pengaturan Pengembangan

Prasyarat

Sebelum memulai, pastikan Anda telah menginstal yang berikut ini di sistem Anda:

• Git : Panduan Instalasi
• Docker : Panduan Instalasi
• Docker Compose : Panduan Instalasi
• Membuat : Panduan Instalasi

Memulai

1. Kloning Repositori:

   git clone < repository_url >
   cd < repository_directory >
   

2. Bangun dan Mulai Layanan: Jalankan perintah berikut untuk membangun dan memulai layanan proyek

   make all
   docker compose -f docker-compose.dev.yaml up -d

3. Verifikasi Layanan: Setelah menjalankan perintah di atas, layanan proyek Anda akan aktif dan berjalan. Anda dapat memverifikasi ini dengan memeriksa log

Komunitas?

Bergabunglah dengan #Discord kami atau kirimkan email di [email protected]