Unduh LLMstudio - Unduh kode sumber LLMstudio

Unduh

LLMstudio oleh TensorOps

Rekayasa Cepat di ujung jari Anda

Akses Proxy LLM : Akses mulus ke semua LLM terbaru oleh OpenAI, Anthropic, Google.
Dukungan LLM Khusus dan Lokal : Gunakan LLM sumber terbuka khusus atau lokal melalui Ollama.
Prompt Playground UI : Antarmuka yang ramah pengguna untuk merekayasa dan menyempurnakan perintah Anda.
Python SDK : Integrasikan LLMstudio dengan mudah ke dalam alur kerja Anda yang ada.
Pemantauan dan Pencatatan : Pantau penggunaan dan kinerja Anda untuk semua permintaan.
Integrasi LangChain : LLMstudio terintegrasi dengan proyek LangChain Anda yang sudah ada.
Panggilan Batch : Kirim beberapa permintaan sekaligus untuk meningkatkan efisiensi.
Perutean Cerdas dan Penggantian : Pastikan ketersediaan 24/7 dengan mengarahkan permintaan Anda ke LLM tepercaya.
Type Casting (segera) : Konversi tipe data sesuai kebutuhan untuk kasus penggunaan spesifik Anda.

Jangan lupa untuk memeriksa halaman https://docs.llmstudio.ai.

Instal LLMstudio versi terbaru menggunakan pip . Kami menyarankan Anda membuat dan mengaktifkan lingkungan baru menggunakan conda

Untuk versi lengkap:

pip install ' llmstudio[proxy,tracker] '

Untuk versi ringan (inti):

pip install llmstudio

Buat file .env di jalur yang sama dengan tempat Anda menjalankan LLMstudio

OPENAI_API_KEY= " sk-api_key "
ANTHROPIC_API_KEY= " sk-api_key "
VERTEXAI_KEY= " sk-api-key "

Sekarang Anda seharusnya bisa menjalankan LLMstudio menggunakan perintah berikut.

llmstudio server --proxy --tracker

Ketika flag --proxy disetel, Anda akan dapat mengakses Swagger di http://0.0.0.0:50001/docs (port default)

Ketika flag --tracker disetel, Anda akan dapat mengakses Swagger di http://0.0.0.0:50002/docs (port default)

Kunjungi Panduan Kontribusi kami untuk melihat bagaimana Anda dapat membantu LLMstudio.
Bergabunglah dengan Discord kami untuk berbicara dengan penggemar LLMstudio lainnya.