LLMstudio par TensorOps
Une ingénierie rapide à portée de main
? Caractéristiques
- Accès proxy LLM : accès transparent à tous les derniers LLM d'OpenAI, Anthropic, Google.
- Prise en charge LLM personnalisée et locale : utilisez des LLM open source personnalisés ou locaux via Ollama.
- Prompt Playground UI : une interface conviviale pour concevoir et affiner vos invites.
- SDK Python : intégrez facilement LLMstudio dans vos workflows existants.
- Surveillance et journalisation : gardez une trace de votre utilisation et de vos performances pour toutes les demandes.
- Intégration LangChain : LLMstudio s'intègre à vos projets LangChain déjà existants.
- Appels par lots : envoyez plusieurs demandes à la fois pour une efficacité améliorée.
- Routage et repli intelligents : assurez une disponibilité 24h/24 et 7j/7 en acheminant vos demandes vers des LLM de confiance.
- Type Casting (bientôt) : convertissez les types de données selon les besoins de votre cas d'utilisation spécifique.
Démarrage rapide
N'oubliez pas de consulter la page https://docs.llmstudio.ai.
Installation
Installez la dernière version de LLMstudio en utilisant pip
. Nous vous suggérons de créer et d'activer un nouvel environnement à l'aide conda
Pour la version complète :
pip install ' llmstudio[proxy,tracker] '
Pour la version légère (de base) :
Créez un fichier .env
au même chemin que celui où vous exécuterez LLMstudio
OPENAI_API_KEY= " sk-api_key "
ANTHROPIC_API_KEY= " sk-api_key "
VERTEXAI_KEY= " sk-api-key "
Vous devriez maintenant pouvoir exécuter LLMstudio à l'aide de la commande suivante.
llmstudio server --proxy --tracker
Lorsque l'indicateur --proxy
est défini, vous pourrez accéder à Swagger à l'adresse http://0.0.0.0:50001/docs (port par défaut)
Lorsque l'indicateur --tracker
est défini, vous pourrez accéder à Swagger à l'adresse http://0.0.0.0:50002/docs (port par défaut)
Documentation
- Consultez nos documents pour découvrir comment fonctionne le SDK (à venir)
- Consultez nos exemples de blocs-notes à suivre ainsi que des didacticiels interactifs
? Contribuer
- Consultez notre guide de contribution pour voir comment vous pouvez aider LLMstudio.
- Rejoignez notre Discord pour parler avec d'autres passionnés de LLMstudio.
Entraînement
Merci d'avoir choisi LLMstudio. Votre voyage vers le perfectionnement des interactions avec l’IA commence ici.