genai system evaluation

Évaluation du système GenAI

Ce référentiel contient des exemples de cahiers pour montrer comment évaluer un système augmenté par LLM. Il fournit des outils et des méthodes pour l’évaluation locale.

Environnement

1. Assurez-vous d'avoir activé Claude Sonnet et Claude Haiku dans la console Bedrock
2. Assurez-vous que vous disposez des autorisations adéquates pour appeler Bedrock à partir du SDK Python (Boto3)

Locale

Ces notebooks ont été testés avec Python 3.12. Si vous exécutez localement, assurez-vous que vous utilisez la version 3.12. Assurez-vous également que vous disposez de la configuration AWS CLI avec les informations d'identification que vous souhaitez définir sur le profil par défaut. Ces informations d'identification doivent accéder aux modèles Amazon Bedrock

Table des matières

• Structure des dossiers
• Commencer
• Usage
• Auteurs
• Remerciements
• Contribuer
• Licence

Structure des dossiers

 LLM-System-Validation/
├── data/                  # RAG context and validation datasets
├── example-notebooks/     # Notebooks for evaluating various components
|__ script/                # Various scripts for setting up environment.
|__ .github/               # Example github actions

Détails

• data/ : contient les ensembles de données utilisés pour le contexte et la validation de la génération de récupération augmentée (RAG).
• example-notebooks/ : carnets Jupyter démontrant l'évaluation de :
  • Stratégie d'intégration et de segmentation
  • Reclassement avec des morceaux de grande taille
  • Ingénierie rapide LLM-As-A-Judge
  • Ingénierie des invites RAG
  • Tests E2E RAG

Commencer

1. Clonez le dépôt :

    git clone [email protected]:aws-samples/genai-system-evaluation.git
   cd genai-system-evaluation
   

2. Configurez un environnement virtuel :

    python -m venv venv
   source venv/bin/activate  # On Windows, use `venvScriptsactivate`
   

3. Installez les dépendances requises :

    pip install -r requirements.txt
   

4. Téléchargez les documents opensearch pour le contexte RAG.

   $ cd data && mkdir opensearch-docs && cd  opensearch-docs
   $ git clone https://github.com/opensearch-project/documentation-website.git

5. Accédez aux exemples de notebooks et démarrez les notebooks Jupyter !

   $ cd ../../example-notebooks
   $ jupyter notebook

6. Commencez par le cahier 1 et parcourez-le !

Usage

1. Explorez les exemples de cahiers dans le répertoire example-notebooks/ pour comprendre les différentes techniques d'évaluation.

Auteurs

• Tanner McRae - Travaux initiaux - github
• Felix Huthmacher - Travaux initiaux - github

Sécurité

Voir CONTRIBUTION pour plus d'informations.

Licence

Cette bibliothèque est sous licence MIT-0. Voir le fichier LICENCE.