qevals

qEvals

Table des matières

• Qu'est-ce que les évaluations ?
• Commencer
• Conditions préalables
• Compatibilité
• Exécution de tests
• Contribuer
• Notes de version

Qu'est-ce que les évaluations ?

Evals est un cadre de génération et d'évaluation de données synthétiques pour les applications LLM et RAG.

Il comporte 2 modules principaux :

• générateur de données
• évaluer

Un schéma d'architecture de haut niveau des évaluations est le suivant :

Schéma d'architecture

Commencer

Pour commencer avec les évaluations, procédez comme suit :

1. Clonez le référentiel sur votre ordinateur local.
2. Installez les dépendances nécessaires en exécutant pip install -r requirements.txt dans le répertoire du projet.
3. Créez une copie de config/config.toml.template et nommez- config/config.toml .
4. Mettez à jour 2 sections dans le fichier config.toml :
   1. MISC
      • Configurez l'emplacement de votre fichier de certificat SSL.
   2. DATAGEN
      • La variable Set DATA_DIR contrôle l'emplacement du corpus de données à partir duquel générer des données synthétiques, il est relatif au répertoire datagen/data/ . En d’autres termes, ajoutez-y vos répertoires de données et précisez leur nom dans la variable.
      • La variable GEN_PROVIDER permet de choisir entre azure ou vertex .
      • Ajoutez les autres variables souhaitées à des fins génératives.
   3. DATAEVAL
      • EVAL_TESTS propose une liste de tests d'évaluation pris en charge par le framework. Les options possibles sont AnswerRelevancy , Hallucination , Faithfulness , Bias , Toxicity , Correctness , Coherence , PromptInjection , PromptBreaking , PromptLeakage .
      • La variable EVAL_RPVODER permet de choisir entre azure ou vertex .
      • Ajoutez le reste des variables requises pour le modèle que vous souhaitez utiliser comme juge pour les évaluations.

Pour exécuter le module de génération de données synthétiques :

1. Modifier/adapter l'exemple de client fourni ( datagen/client.py )

2. Exécutez python -m datagen.client

3. Les données générées synthétiquement seront stockées dans le répertoire datagen/qa_out/ sous forme de fichier CSV au format :

    ```csv
    question,context,ground_truth
    ```
   

Pour exécuter le module d'évaluation :

1. Modifier/adapter l'exemple de client fourni ( eval/client.py )
   1. Les données d'entrée doivent correspondre au format des données produites par la génération de données synthétiques ( question , context , ground_truth ).
   2. Le ground_truth peut ou non être utilisé en fonction du paramètre use_answers_from_dataset . Lorsqu'il est défini sur False il ignorera cette colonne de données et générera de nouvelles sorties à l'aide du modèle génératif configuré.
2. Démarrez MlFlow en exécutant :

   mlflow ui --port 5000

3. Exécutez python -m eval.client
4. Surveillez et analysez les résultats de l'évaluation sur votre interface MlFlow locale ici : http://localhost:5000