Descargar LLMstudio - Descarga del código fuente LLMstudio

Descargar

LLMstudio por TensorOps

Ingeniería Rápida a tu alcance

Acceso proxy a LLM : acceso perfecto a los últimos LLM de OpenAI, Anthropic y Google.
Soporte de LLM local y personalizado : utilice LLM de código abierto locales o personalizados a través de Ollama.
Prompt Playground UI : una interfaz fácil de usar para diseñar y ajustar sus indicaciones.
SDK de Python : integre fácilmente LLMstudio en sus flujos de trabajo existentes.
Monitoreo y registro : realice un seguimiento de su uso y rendimiento para todas las solicitudes.
Integración de LangChain : LLMstudio se integra con sus proyectos LangChain ya existentes.
Llamadas por lotes : envíe varias solicitudes a la vez para mejorar la eficiencia.
Enrutamiento inteligente y respaldo : garantice la disponibilidad las 24 horas, los 7 días de la semana, dirigiendo sus solicitudes a LLM confiables.
Type Casting (próximamente) : convierta tipos de datos según sea necesario para su caso de uso específico.

No olvide consultar la página https://docs.llmstudio.ai.

Instale la última versión de LLMstudio usando pip . Le sugerimos que cree y active un nuevo entorno utilizando conda

Para la versión completa:

pip install ' llmstudio[proxy,tracker] '

Para la versión ligera (núcleo):

pip install llmstudio

Cree un archivo .env en la misma ruta en la que ejecutará LLMstudio

OPENAI_API_KEY= " sk-api_key "
ANTHROPIC_API_KEY= " sk-api_key "
VERTEXAI_KEY= " sk-api-key "

Ahora debería poder ejecutar LLMstudio usando el siguiente comando.

llmstudio server --proxy --tracker

Cuando el indicador --proxy esté configurado, podrá acceder a Swagger en http://0.0.0.0:50001/docs (puerto predeterminado)

Cuando el indicador --tracker esté configurado, podrá acceder a Swagger en http://0.0.0.0:50002/docs (puerto predeterminado)

Visite nuestros documentos para aprender cómo funciona el SDK (próximamente)
Consulte nuestros ejemplos de cuadernos para seguir junto con tutoriales interactivos.

Dirígete a nuestra Guía de contribuciones para ver cómo puedes ayudar a LLMstudio.
Únase a nuestro Discord para hablar con otros entusiastas de LLMstudio.