PromptoLab

Promptolab

PromptoLab est une application de bureau multiplateforme pour le catalogage, l'évaluation, le test et l'amélioration des invites LLM. Il fournit un terrain de jeu pour le développement d'invite interactif et un gestionnaire de tests de test pour les tests d'invite systématiques.

Caractéristiques clés

• Catalogue des invites : Définissez et organisez de manière transparente les invites en utilisant trois catégories d'invites distinctes. Ce centre centralisé garantit que vos invites sont toujours accessibles et bien structurées pour une réutilisation facile.

• LLM Playground : plongez dans l'expérimentation avec deux options dynamiques. Choisissez de soumettre une invite sélectionnée dans votre catalogue ou demandez des améliorations pour une invite donnée en utilisant l'un des trois modèles d'invite éprouvés. Personnalisez davantage votre expérience en sélectionnant votre modèle LLM préféré et en ajustant trois paramètres de contrôle LLM critiques. La prise en charge de la syntaxe {{variable}} dans les invites permet les tests rapides des variations invites via une table de variables interactives.

• Invite Test Set Gestion : Simplifier les tests d'invites de système complexes dans les applications génératrices de l'IA. Définissez et gérez les cas de test pour garantir efficacement vos invites de système Guides LLM entre les diverses invites utilisateur.

• Playground de l'évaluation : évaluez facilement l'impact des ajustements rapides. Cet outil puissant vous aide à évaluer si les modifications d'une invite de système améliorent ou entravent les réponses LLM dans divers scénarios utilisateur, vous donnant la confiance nécessaire pour optimiser avec précision.

Avec Promptolab, naviguer dans la complexité de la conception rapide n'a jamais été aussi intuitif ou excitant. Prêt à optimiser les performances de votre invite?

Condition préalable

• Python 3.10 ou plus
• L'un des backends LLM suivants:
  • outil de ligne de commande LLM

    pip install llm

  • Bibliothèque Litellm

    pip install litellm (NOTE: not needed because it is already defined inside requirements.txt)

• Configuration QSettings pour stocker les préférences backend LLM

Installation

1. Clone le référentiel:

   git clone https://github.com/crjaensch/PromptoLab.git
   cd PromptoLab

2. Créer et activer un environnement virtuel:

   python3 -m venv venv
   source venv/bin/activate  # On Windows: venvScriptsactivate

3. Installez les dépendances:

   python3 -m pip install -r requirements.txt

Configuration

PromptoLab utilise le système de configuration natif de QT (QSettings) pour persister vos préférences backend LLM. Les paramètres sont automatiquement enregistrés et restaurés entre les lancements d'applications, avec des emplacements de stockage optimisés pour chaque plate-forme:

• Windows: Registre
• macOS: fichiers .plist
• Linux: fichiers de style ini-I

Vous pouvez configurer vos paramètres de backend LLM et d'API préférés via l'interface de l'application. Les options suivantes sont disponibles:

• Backend LLM : Choisissez entre l'outil de ligne de commande llm ou la bibliothèque Litellm

• Configuration de l'API : fournissez des touches API pour vos modèles LLM préférés lors de l'utilisation de Litellm, tels que:

  • Clé API Openai
  • Clé API GROQ
  • Clé API Google Gemini

• Notez que les LLMs installés localement , par exemple via Olllama, sont pris en charge pour Litellm.

Exécution de l'application

1. Assurez-vous que votre environnement virtuel est activé:

    source venv/bin/activate  # On Windows: venvScriptsactivate

2. Exécutez l'application:

    # If inside PromptoLab, then move to the parent directory
   cd ..
   python3 -m PromptoLab

Captures d'écran de l'application

Voici un aperçu visuel rapide des principales caractéristiques d'ImprompoLab:

Invite le catalogue

LLM Playground - Soumettre l'invite

LLM Playground - Soumettre l'invite avec des variables

LLM Playground - Améliorer l'invite

Gestionnaire de tests de test

Évaluation de l'aire de jeux

Rapport des résultats d'évaluation

Développement

Le projet utilise:

• Pyside6 pour l'interface graphique pour permettre une utilisation multiplateforme
• L'outil llm de Simon Willison pour les interactions LLM
• Bibliothèque litellm de Berriai
• venv intégré de Python pour la gestion de l'environnement

Licence

Ce projet est autorisé sous la licence du MIT. Voir le fichier de licence dans le référentiel pour le texte complet de licence.