qevals

qEvals

Inhaltsverzeichnis

• Was heißt evals?
• Erste Schritte
• Voraussetzungen
• Kompatibilität
• Ausführen von Tests
• Mitwirken
• Versionshinweise

Was heißt evals?

Evals ist ein synthetisches Datengenerierungs- und Bewertungsframework für LLMs und RAG-Anwendungen.

Es besteht aus 2 Hauptmodulen:

• Datengen
• evalu

Ein High-Level-Architekturdiagramm von Evals sieht wie folgt aus:

Architekturdiagramm

Erste Schritte

Um mit Auswertungen zu beginnen, führen Sie die folgenden Schritte aus:

1. Klonen Sie das Repository auf Ihren lokalen Computer.
2. Installieren Sie die erforderlichen Abhängigkeiten, indem Sie pip install -r requirements.txt im Projektverzeichnis ausführen.
3. Erstellen Sie eine Kopie von config/config.toml.template und nennen Sie sie config/config.toml .
4. Aktualisieren Sie zwei Abschnitte in der Datei config.toml :
   1. MISC
      • Konfigurieren Sie den Speicherort Ihrer SSL-Zertifikatdatei.
   2. DATAGEN
      • Die Variable „Set DATA_DIR steuert den Speicherort des Datenkorpus, aus dem synthetische Daten generiert werden sollen. Sie ist relativ zum Verzeichnis datagen/data/ . Mit anderen Worten: Fügen Sie dort Ihre Datenverzeichnisse hinzu und geben Sie deren Namen in der Variablen an.
      • Die Variable GEN_PROVIDER ermöglicht die Wahl zwischen azure oder vertex .
      • Fügen Sie die restlichen für generative Zwecke gewünschten Variablen hinzu.
   3. DATAEVAL
      • EVAL_TESTS bietet eine Liste der vom Framework unterstützten Evaluierungstests. Die möglichen Optionen sind AnswerRelevancy , Hallucination , Faithfulness , Bias , Toxicity , Correctness , Coherence , PromptInjection , PromptBreaking , PromptLeakage .
      • Die Variable EVAL_RPVODER ermöglicht die Wahl zwischen azure oder vertex .
      • Fügen Sie die restlichen Variablen hinzu, die für das Modell erforderlich sind, das als Beurteilungsfaktor für Bewertungen verwendet werden soll.

So führen Sie das Modul zur Generierung synthetischer Daten aus:

1. Den bereitgestellten Beispielclient ( datagen/client.py ) ändern/anpassen.

2. Führen Sie python -m datagen.client aus

3. Die synthetisch generierten Daten werden im Verzeichnis datagen/qa_out/ als CSV-Datei im Format gespeichert:

    ```csv
    question,context,ground_truth
    ```
   

So führen Sie das Evaluierungsmodul aus:

1. Den bereitgestellten Beispiel-Client ( eval/client.py ) ändern/anpassen.
   1. Die Eingabedaten müssen mit dem Format der durch die synthetische Datengenerierung erzeugten Daten ( question , context , ground_truth ) übereinstimmen.
   2. Abhängig von der Einstellung use_answers_from_dataset kann die ground_truth verwendet werden oder nicht. Bei der Einstellung False wird diese Datenspalte ignoriert und mithilfe des konfigurierten generativen Modells neue Ausgaben generiert.
2. Starten Sie MlFlow, indem Sie Folgendes ausführen:

   mlflow ui --port 5000

3. Führen Sie python -m eval.client aus
4. Überwachen und analysieren Sie die Evaluierungsergebnisse auf Ihrer lokalen MlFlow-Schnittstelle hier: http://localhost:5000