LLMstudio โดย TensorOps
พร้อมวิศวกรรมที่ปลายนิ้วของคุณ
- คุณสมบัติ
- การเข้าถึงพร็อกซี LLM : เข้าถึง LLM ล่าสุดทั้งหมดได้อย่างราบรื่นโดย OpenAI, Anthropic, Google
- การสนับสนุน LLM แบบกำหนดเองและท้องถิ่น : ใช้ LLM โอเพ่นซอร์สแบบกำหนดเองหรือท้องถิ่นผ่าน Ollama
- UI สนามเด็กเล่นพร้อมท์ : อินเทอร์เฟซที่ใช้งานง่ายสำหรับวิศวกรรมและปรับแต่งการแจ้งเตือนของคุณ
- Python SDK : รวม LLMstudio เข้ากับเวิร์กโฟลว์ที่มีอยู่ของคุณได้อย่างง่ายดาย
- การตรวจสอบและการบันทึก : ติดตามการใช้งานและประสิทธิภาพของคุณสำหรับคำขอทั้งหมด
- บูรณาการ LangChain : LLMstudio ทำงานร่วมกับโครงการ LangChain ที่มีอยู่แล้วของคุณ
- Batch Calling : ส่งคำขอหลายรายการพร้อมกันเพื่อประสิทธิภาพที่ดีขึ้น
- การกำหนดเส้นทางอัจฉริยะและทางเลือกสำรอง : รับประกันความพร้อมใช้งานตลอด 24 ชั่วโมงทุกวันโดยกำหนดเส้นทางคำขอของคุณไปยัง LLM ที่เชื่อถือได้
- Type Casting (เร็วๆ นี้) : แปลงประเภทข้อมูลตามที่จำเป็นสำหรับกรณีการใช้งานเฉพาะของคุณ
เริ่มต้นอย่างรวดเร็ว
อย่าลืมเข้าไปดูเพจ https://docs.llmstudio.ai นะครับ
การติดตั้ง
ติดตั้ง LLMstudio เวอร์ชันล่าสุดโดยใช้ pip เราขอแนะนำให้คุณสร้างและเปิดใช้งานสภาพแวดล้อมใหม่โดยใช้ conda
สำหรับเวอร์ชันเต็ม:
pip install ' llmstudio[proxy,tracker] '
สำหรับเวอร์ชันน้ำหนักเบา (คอร์):
สร้างไฟล์ .env ในเส้นทางเดียวกับที่คุณจะเรียกใช้ LLMstudio
OPENAI_API_KEY= " sk-api_key "
ANTHROPIC_API_KEY= " sk-api_key "
VERTEXAI_KEY= " sk-api-key "
ตอนนี้คุณควรจะสามารถรัน LLMstudio ได้โดยใช้คำสั่งต่อไปนี้
llmstudio server --proxy --tracker
เมื่อตั้งค่า --proxy flag คุณจะสามารถเข้าถึง Swagger ได้ที่ http://0.0.0.0:50001/docs (พอร์ตเริ่มต้น)
เมื่อตั้งค่าสถานะ --tracker คุณจะสามารถเข้าถึง Swagger ได้ที่ http://0.0.0.0:50002/docs (พอร์ตเริ่มต้น)
เอกสารประกอบ
- เยี่ยมชมเอกสารของเราเพื่อเรียนรู้วิธีการทำงานของ SDK (เร็วๆ นี้)
- ดูตัวอย่างสมุดบันทึกของเราเพื่อปฏิบัติตามพร้อมกับบทช่วยสอนแบบโต้ตอบ
? มีส่วนร่วม
- ไปที่คู่มือการมีส่วนร่วมของเราเพื่อดูว่าคุณสามารถช่วย LLMstudio ได้อย่างไร
- เข้าร่วม Discord ของเราเพื่อพูดคุยกับผู้ที่ชื่นชอบ LLMstudio
การฝึกอบรม
ขอบคุณที่เลือก LLMstudio การเดินทางของคุณสู่การโต้ตอบ AI ที่สมบูรณ์แบบเริ่มต้นที่นี่
