genai system evaluation

GenAI-Systembewertung

Dieses Repository enthält Beispielnotizbücher, die veranschaulichen, wie ein LLM-erweitertes System evaluiert wird. Es stellt Werkzeuge und Methoden für die lokale Bewertung bereit.

Umfeld

1. Stellen Sie sicher, dass Sie Claude Sonnet und Claude Haiku in der Bedrock-Konsole aktiviert haben
2. Stellen Sie sicher, dass Sie über ausreichende Berechtigungen zum Aufrufen von Bedrock über das Python SDK (Boto3) verfügen.

Lokal

Diese Notebooks wurden mit Python 3.12 getestet. Wenn Sie lokal ausführen, stellen Sie sicher, dass Sie 3.12 verwenden. Stellen Sie außerdem sicher, dass Sie über die AWS CLI-Einrichtung mit den Anmeldeinformationen verfügen, die Sie auf das Standardprofil festlegen möchten. Diese Anmeldeinformationen benötigen Zugriff auf Amazon Bedrock Models

Inhaltsverzeichnis

• Ordnerstruktur
• Erste Schritte
• Verwendung
• Autoren
• Danksagungen
• Mitwirken
• Lizenz

Ordnerstruktur

 LLM-System-Validation/
├── data/                  # RAG context and validation datasets
├── example-notebooks/     # Notebooks for evaluating various components
|__ script/                # Various scripts for setting up environment.
|__ .github/               # Example github actions

Einzelheiten

• data/ : Enthält die Datensätze, die für den Kontext und die Validierung der Retrieval-Augmented Generation (RAG) verwendet werden.
• example-notebooks/ : Jupyter-Notebooks, die die Auswertung von Folgendem demonstrieren:
  • Einbettungen und Chunking-Strategie
  • Reranking mit großen Chunk-Größen
  • LLM-As-A-Judge Prompt Engineering
  • RAG Prompt Engineering
  • E2E-RAG-Tests

Erste Schritte

1. Klonen Sie das Repository:

    git clone [email protected]:aws-samples/genai-system-evaluation.git
   cd genai-system-evaluation
   

2. Richten Sie eine virtuelle Umgebung ein:

    python -m venv venv
   source venv/bin/activate  # On Windows, use `venvScriptsactivate`
   

3. Installieren Sie die erforderlichen Abhängigkeiten:

    pip install -r requirements.txt
   

4. Laden Sie Opensearch-Dokumente für den RAG-Kontext herunter.

   $ cd data && mkdir opensearch-docs && cd  opensearch-docs
   $ git clone https://github.com/opensearch-project/documentation-website.git

5. Gehen Sie zu Notebook-Beispielen und starten Sie Jupyter-Notebooks!

   $ cd ../../example-notebooks
   $ jupyter notebook

6. Beginnen Sie mit Notizbuch 1 und arbeiten Sie sich durch!

Verwendung

1. Erkunden Sie die Beispielnotizbücher im Verzeichnis example-notebooks/ um verschiedene Bewertungstechniken zu verstehen.

Autoren

• Tanner McRae – Erste Arbeit – Github
• Felix Huthmacher – Erste Arbeit – Github

Sicherheit

Weitere Informationen finden Sie unter BEITRAGEN.

Lizenz

Diese Bibliothek ist unter der MIT-0-Lizenz lizenziert. Siehe die LICENSE-Datei.