LLMstudio -Download – LLMstudio -Quellcode-Download

Herunterladen

LLMstudio von TensorOps

Schnelles Engineering immer zur Hand

LLM-Proxy-Zugriff : Nahtloser Zugriff auf die neuesten LLMs von OpenAI, Anthropic, Google.
Benutzerdefinierte und lokale LLM-Unterstützung : Verwenden Sie benutzerdefinierte oder lokale Open-Source-LLMs über Ollama.
Prompt Playground-Benutzeroberfläche : Eine benutzerfreundliche Oberfläche zum Entwickeln und Feinabstimmen Ihrer Eingabeaufforderungen.
Python SDK : Integrieren Sie LLMstudio einfach in Ihre bestehenden Arbeitsabläufe.
Überwachung und Protokollierung : Verfolgen Sie Ihre Nutzung und Leistung für alle Anfragen.
LangChain-Integration : LLMstudio lässt sich in Ihre bereits vorhandenen LangChain-Projekte integrieren.
Batch-Aufrufe : Senden Sie mehrere Anfragen gleichzeitig, um die Effizienz zu steigern.
Intelligentes Routing und Fallback : Stellen Sie die Verfügbarkeit rund um die Uhr sicher, indem Sie Ihre Anfragen an vertrauenswürdige LLMs weiterleiten.
Typumwandlung (bald) : Konvertieren Sie Datentypen nach Bedarf für Ihren spezifischen Anwendungsfall.

Vergessen Sie nicht, die Seite https://docs.llmstudio.ai zu besuchen.

Installieren Sie die neueste Version von LLMstudio mit pip . Wir empfehlen Ihnen, mit conda eine neue Umgebung zu erstellen und zu aktivieren

Für die Vollversion:

pip install ' llmstudio[proxy,tracker] '

Für die leichte (Kern-)Version:

pip install llmstudio

Erstellen Sie eine .env Datei im selben Pfad, in dem Sie LLMstudio ausführen

OPENAI_API_KEY= " sk-api_key "
ANTHROPIC_API_KEY= " sk-api_key "
VERTEXAI_KEY= " sk-api-key "

Jetzt sollten Sie LLMstudio mit dem folgenden Befehl ausführen können.

llmstudio server --proxy --tracker

Wenn das Flag --proxy gesetzt ist, können Sie unter http://0.0.0.0:50001/docs (Standardport) auf den Swagger zugreifen.

Wenn das Flag --tracker gesetzt ist, können Sie unter http://0.0.0.0:50002/docs (Standardport) auf den Swagger zugreifen.

Besuchen Sie unsere Dokumente, um zu erfahren, wie das SDK funktioniert (in Kürze erhältlich)
Schauen Sie sich unsere Notebook-Beispiele zum Nachmachen sowie interaktive Tutorials an

Besuchen Sie unseren Beitragsleitfaden, um zu erfahren, wie Sie LLMstudio helfen können.
Treten Sie unserem Discord bei, um mit anderen LLMstudio-Enthusiasten zu sprechen.