frugal
1.0.0
แพลตฟอร์มการเพิ่มประสิทธิภาพต้นทุนและทรัพยากรแบบโอเพ่นซอร์สสำหรับ LLM ประหยัด! -
Numexa เป็นเครื่องมือเพิ่มประสิทธิภาพต้นทุนและทรัพยากรที่ขับเคลื่อนด้วย AI ซึ่งออกแบบมาเพื่อเพิ่มประสิทธิภาพการดำเนินงาน บรรลุเป้าหมายนี้ได้โดยการใช้ประโยชน์จากข้อมูลเชิงลึกตามบริบทที่ได้มาจากเมตริกการใช้งาน Numexa ใช้เทคนิคล้ำสมัย เช่น การแคชอัจฉริยะและการดึงข้อมูล โดยใช้ประโยชน์จากฐานข้อมูลเวกเตอร์เพื่อปรับปรุงการดำเนินงาน สำรวจว่า Numexa สามารถปฏิวัติการจัดการทรัพยากรและความพยายามในการประหยัดต้นทุนของคุณได้อย่างไร
ฟังก์ชันการทำงานแบบไม่เชื่อเรื่องพระเจ้าของโมเดลจะบันทึกคำขอไม่จำกัดจากผู้ให้บริการต่างๆ เช่น OpenAI, Cohere, Anthropic และอื่นๆ
- การจัดการแบบจำลอง
- การแจ้งเตือนและการแจ้งเตือนด้วยนโยบายที่กำหนดไว้ล่วงหน้า เช่น อัตราข้อผิดพลาด เกณฑ์ ต้นทุน ฯลฯ
- การแคช การจำกัดอัตราแบบกำหนดเอง และการลองใหม่
ติดตามต้นทุนและเวลาแฝงตามผู้ใช้ แอปพลิเคชัน และอุปกรณ์ปลายทาง
(เร็วๆ นี้) การแคชและการดึงข้อมูลอัจฉริยะ
(เร็วๆ นี้) การเพิ่มประสิทธิภาพต้นทุนและทรัพยากร
ก่อนที่คุณจะเริ่มต้น ตรวจสอบให้แน่ใจว่าคุณได้ติดตั้งสิ่งต่อไปนี้บนระบบของคุณ:
โคลนพื้นที่เก็บข้อมูล:
git clone < repository_url >
cd < repository_directory >
สร้างและเริ่มบริการ: รันคำสั่งต่อไปนี้เพื่อสร้างและเริ่มบริการโปรเจ็กต์
make all
docker compose -f docker-compose.dev.yaml up -dตรวจสอบบริการ: หลังจากรันคำสั่งข้างต้น บริการโปรเจ็กต์ของคุณควรเปิดใช้งานและทำงานอยู่ คุณสามารถตรวจสอบได้โดยการตรวจสอบบันทึก
เข้าร่วม #Discord ของเราหรือส่งอีเมลไปที่ [email protected]
