PromptoLab

Préstamo

Promotolab es una aplicación de escritorio multiplataforma para catalogación, evaluación, prueba y mejora de las indicaciones de LLM. Proporciona un patio de recreo para el desarrollo inmediato interactivo y un administrador de conjuntos de pruebas para pruebas rápidas sistemáticas.

Características clave

• Información del catálogo : Defina y organice sin problemas las indicaciones utilizando tres categorías indicadas. Este centro centralizado garantiza que sus indicaciones siempre sean accesibles y bien estructuradas para una fácil reutilización.

• LLM Playground : sumérgete en experimentación con dos opciones dinámicas. Elija enviar un mensaje seleccionado desde su catálogo o mejoras de solicitud para un mensaje dado utilizando uno de los tres patrones de inmediato probados. Personalice aún más su experiencia seleccionando su modelo LLM preferido y ajustando tres parámetros críticos de control LLM. El soporte para la sintaxis {{variable}} en las indicaciones permite una prueba rápida de variaciones de inmediato a través de una tabla de variables interactivas.

• Significa el gerente del conjunto de pruebas : simplifique las pruebas de indicaciones del sistema complejas en aplicaciones generativas de IA. Definir y administrar los casos de prueba para garantizar que su sistema indique las respuestas LLM de manera efectiva en varias indicaciones del usuario.

• Plaqueo de evaluación : Evalúe el impacto de los ajustes rápidos con facilidad. Esta poderosa herramienta lo ayuda a evaluar si las modificaciones en un indicador de un sistema mejoran o obstaculizan las respuestas de LLM en diversos escenarios de usuarios, lo que le brinda la confianza para optimizar con precisión.

Con Promptolab, navegar las complejidades del diseño rápido nunca ha sido más intuitivo o emocionante. ¿Listo para optimizar el rendimiento de su aviso?

Requisitos previos

• Python 3.10 o superior
• Uno de los siguientes backends de LLM:
  • Herramienta de línea de comandos LLM

    pip install llm

  • Biblioteca de litellm

    pip install litellm (NOTE: not needed because it is already defined inside requirements.txt)

• Configuración de Qsettings para almacenar preferencias de backend LLM

Instalación

1. Clon el repositorio:

   git clone https://github.com/crjaensch/PromptoLab.git
   cd PromptoLab

2. Crear y activar un entorno virtual:

   python3 -m venv venv
   source venv/bin/activate  # On Windows: venvScriptsactivate

3. Instalar dependencias:

   python3 -m pip install -r requirements.txt

Configuración

Pratolab utiliza el sistema de configuración nativo de QT (QSETTINGS) para persistir en sus preferencias de backend de LLM. La configuración se guarda y restauran automáticamente entre los lanzamientos de aplicaciones, con ubicaciones de almacenamiento optimizadas para cada plataforma:

• Windows: Registro
• MacOS:.
• Linux: archivos de estilo INI

Puede configurar su configuración de Backend y API de LLM preferido a través de la interfaz de la aplicación. Las siguientes opciones están disponibles:

• Backend de LLM : elija entre la herramienta de línea de comandos llm o la biblioteca de litellm

• Configuración de API : proporcione claves API para sus modelos LLM preferidos cuando se usa Litellm, como:

  • Clave de API de OpenAI
  • Llave de API de Groq
  • Clave de API de Google Géminis

• Tenga en cuenta que las LLM instaladas localmente , por ejemplo, a través de Ollama, son compatibles con Litellm.

Ejecutando la aplicación

1. Asegúrese de que su entorno virtual esté activado:

    source venv/bin/activate  # On Windows: venvScriptsactivate

2. Ejecute la aplicación:

    # If inside PromptoLab, then move to the parent directory
   cd ..
   python3 -m PromptoLab

Capturas de pantalla de la aplicación

Aquí hay una descripción visual rápida de las características principales de Precolab:

Catálogo de indicaciones

LLM Playground - Enviar un aviso

LLM Playground - Envíe un aviso con variables

LLM Playground - Mejora el aviso

Gerente de conjuntos de pruebas

Evaluación de juegos

Informe de resultados de evaluación

Desarrollo

El proyecto usa:

• Pyside6 para la GUI para habilitar el uso de la plataforma cruzada
• Herramienta llm de Simon Willison para interacciones LLM
• Biblioteca litellm de Berriai
• venv incorporado para la gestión del medio ambiente de Python

Licencia

Este proyecto tiene licencia bajo la licencia MIT. Consulte el archivo de licencia en el repositorio para ver el texto completo de la licencia.