O Promptolab é um aplicativo de desktop de plataforma cruzada para catalogação, avaliação, teste e melhoria dos prompts LLM. Ele fornece um playground para o desenvolvimento imediato interativo e um gerenciador de conjuntos de testes para testes rápidos sistemáticos.
Prompts Catálogo : Defina e organize perfeitamente as instruções usando três categorias de prompt distintas. Este hub centralizado garante que seus avisos sejam sempre acessíveis e bem estruturados para facilitar a reutilização.
LLM Playground : mergulhe em experimentação com duas opções dinâmicas. Escolha enviar um prompt selecionado do seu catálogo ou solicitar melhorias para um determinado prompt usando um dos três padrões de prompt comprovados. Personalize ainda mais sua experiência selecionando seu modelo LLM preferido e ajustando três parâmetros críticos de controle LLM. O suporte para {{variável}} sintaxe nos avisos permite testes rápidos de variações rápidas através de uma tabela de variáveis interativas.
Introdução ao gerenciador de conjuntos de testes : simplifique o teste de instruções complexas do sistema em aplicativos generativos de IA. Defina e gerencie casos de teste para garantir que o seu sistema solicite as respostas LLM de maneira eficaz em vários avisos do usuário.
Avaliação Playground : Avalie o impacto dos ajustes rápidos com facilidade. Essa ferramenta poderosa ajuda a avaliar se as modificações em um prompt de sistema aprimoram ou impedem as respostas LLM em diversos cenários do usuário, dando a você a confiança para otimizar com precisão.
Com o Promptolab, navegar pelas complexidades do design imediato nunca foi tão intuitivo ou emocionante. Pronto para otimizar o desempenho do seu prompt?
pip install llm
pip install litellm (NOTE: not needed because it is already defined inside requirements.txt)
Clone o repositório:
git clone https://github.com/crjaensch/PromptoLab.git
cd PromptoLab
Crie e ativar um ambiente virtual:
python3 -m venv venv
source venv/bin/activate # On Windows: venvScriptsactivate
Instale dependências:
python3 -m pip install -r requirements.txt
O Promptolab usa o sistema de configuração nativo do QT (QSettings) para persistir suas preferências de back -end LLM. As configurações são salvas e restauradas automaticamente entre os lançamentos de aplicativos, com os locais de armazenamento otimizados para cada plataforma:
Você pode configurar as configurações preferidas de back -end e API LLM através da interface do aplicativo. As seguintes opções estão disponíveis:
Backend LLM : Escolha entre a ferramenta llm
Command-Line ou Litellm Library
Configuração da API : Forneça as teclas da API para seus modelos LLM preferidos ao usar o Litellm, como:
Observe que o LLMS instalado localmente , por exemplo, via Ollama, é suportado para Litellm.
Verifique se o seu ambiente virtual está ativado:
source venv/bin/activate # On Windows: venvScriptsactivate
Execute o aplicativo:
# If inside PromptoLab, then move to the parent directory
cd ..
python3 -m PromptoLab
Aqui está uma rápida visão visual dos principais recursos do Promptolab:
O projeto usa:
llm
de Simon Willison para interações LLMlitellm
de Berriaivenv
para gerenciamento de meio ambiente Este projeto está licenciado sob a licença do MIT. Consulte o arquivo de licença no repositório para obter o texto completo da licença.