genai system evaluation

Evaluación del sistema GenAI

Este repositorio contiene cuadernos de muestra para demostrar cómo evaluar un sistema mejorado con LLM. Proporciona herramientas y métodos para la evaluación local.

Ambiente

1. Asegúrese de haber habilitado Claude Sonnet y Claude Haiku en Bedrock Console
2. Asegúrese de tener los permisos adecuados para llamar a Bedrock desde el SDK de Python (Boto3)

Local

Estos portátiles se probaron con Python 3.12. Si está ejecutando localmente, asegúrese de utilizar 3.12. Asegúrese también de tener la configuración de AWS CLI con las credenciales que desea configurar en el perfil predeterminado. Estas credenciales necesitan acceso a Amazon Bedrock Models

Tabla de contenido

• Estructura de carpetas
• Empezando
• Uso
• Autores
• Expresiones de gratitud
• Contribuyendo
• Licencia

Estructura de carpetas

 LLM-System-Validation/
├── data/                  # RAG context and validation datasets
├── example-notebooks/     # Notebooks for evaluating various components
|__ script/                # Various scripts for setting up environment.
|__ .github/               # Example github actions

Detalles

• data/ : Contiene los conjuntos de datos utilizados para el contexto y la validación de recuperación-generación aumentada (RAG).
• example-notebooks/ : cuadernos de Jupyter que demuestran la evaluación de:
  • Incorporaciones y estrategia de fragmentación
  • Reclasificación con fragmentos de gran tamaño
  • LLM-Ingeniería rápida como juez
  • Ingeniería rápida RAG
  • Pruebas de RAG E2E

Empezando

1. Clonar el repositorio:

    git clone [email protected]:aws-samples/genai-system-evaluation.git
   cd genai-system-evaluation
   

2. Configure un entorno virtual:

    python -m venv venv
   source venv/bin/activate  # On Windows, use `venvScriptsactivate`
   

3. Instale las dependencias requeridas:

    pip install -r requirements.txt
   

4. Descargue documentos de opensearch para el contexto RAG.

   $ cd data && mkdir opensearch-docs && cd  opensearch-docs
   $ git clone https://github.com/opensearch-project/documentation-website.git

5. ¡Vaya a ejemplos de cuadernos y comience con cuadernos jupyter!

   $ cd ../../example-notebooks
   $ jupyter notebook

6. ¡Comience en el cuaderno 1 y avance a través de ellos!

Uso

1. Explore los cuadernos de ejemplo en el directorio example-notebooks/ para comprender las diferentes técnicas de evaluación.

Autores

• Tanner McRae - Trabajo inicial - github
• Felix Huthmacher - Trabajo inicial - github

Seguridad

Consulte CONTRIBUCIÓN para obtener más información.

Licencia

Esta biblioteca tiene la licencia MIT-0. Ver el archivo de LICENCIA.