LLMstudio por TensorOps
Engenharia imediata ao seu alcance
? Características
- Acesso proxy LLM : acesso contínuo a todos os LLMs mais recentes da OpenAI, Anthropic, Google.
- Suporte LLM personalizado e local : Use LLMs de código aberto personalizados ou locais por meio do Ollama.
- UI do Prompt Playground : uma interface amigável para projetar e ajustar seus prompts.
- Python SDK : integre facilmente o LLMstudio aos seus fluxos de trabalho existentes.
- Monitoramento e registro : acompanhe seu uso e desempenho para todas as solicitações.
- Integração LangChain : LLMstudio integra-se com seus projetos LangChain já existentes.
- Chamadas em lote : envie várias solicitações de uma vez para melhorar a eficiência.
- Roteamento inteligente e substituto : garanta disponibilidade 24 horas por dia, 7 dias por semana, roteando suas solicitações para LLMs confiáveis.
- Type Casting (em breve) : Converta tipos de dados conforme necessário para seu caso de uso específico.
Início rápido
Não se esqueça de conferir a página https://docs.llmstudio.ai.
Instalação
Instale a versão mais recente do LLMstudio usando pip . Sugerimos que você crie e ative um novo ambiente usando conda
Para versão completa:
pip install ' llmstudio[proxy,tracker] '
Para versão leve (núcleo):
Crie um arquivo .env no mesmo caminho em que você executará o LLMstudio
OPENAI_API_KEY= " sk-api_key "
ANTHROPIC_API_KEY= " sk-api_key "
VERTEXAI_KEY= " sk-api-key "
Agora você deve conseguir executar o LLMstudio usando o seguinte comando.
llmstudio server --proxy --tracker
Quando o sinalizador --proxy estiver definido, você poderá acessar o Swagger em http://0.0.0.0:50001/docs (porta padrão)
Quando o sinalizador --tracker estiver definido, você poderá acessar o Swagger em http://0.0.0.0:50002/docs (porta padrão)
Documentação
- Visite nossos documentos para saber como funciona o SDK (em breve)
- Confira nossos exemplos de notebook para acompanhar tutoriais interativos
? Contribuindo
- Acesse nosso Guia de Contribuição para ver como você pode ajudar o LLMstudio.
- Junte-se ao nosso Discord para conversar com outros entusiastas do LLMstudio.
Treinamento
Obrigado por escolher o LLMstudio. Sua jornada para aperfeiçoar as interações de IA começa aqui.
