qevals

qEvals

Tabla de contenido

• ¿Qué son las evaluaciones?
• Empezando
• Requisitos previos
• Compatibilidad
• Ejecución de pruebas
• Contribuyendo
• Notas de la versión

¿Qué son las evaluaciones?

Evals es un marco de evaluación y generación de datos sintéticos para aplicaciones LLM y RAG.

Tiene 2 módulos principales:

• generador de datos
• evaluar

Un diagrama de arquitectura de alto nivel de evaluaciones es el siguiente:

Diagrama de arquitectura

Empezando

Para comenzar con las evaluaciones, siga estos pasos:

1. Clona el repositorio en tu máquina local.
2. Instale las dependencias necesarias ejecutando pip install -r requirements.txt en el directorio del proyecto.
3. Cree una copia de config/config.toml.template y asígnele el nombre config/config.toml .
4. Actualice 2 secciones en el archivo config.toml :
   1. MISC
      • Configure la ubicación de su archivo de certificado SSL.
   2. DATAGEN
      • Establecer la variable DATA_DIR controla la ubicación del corpus de datos para generar datos sintéticos, es relativo al directorio datagen/data/ . En otras palabras, agregue sus directorios de datos allí y especifique su nombre en la variable.
      • La variable GEN_PROVIDER permite elegir entre azure o vertex .
      • Agregue el resto de las variables deseadas para fines generativos.
   3. DATAEVAL
      • EVAL_TESTS ofrece una lista de pruebas de evaluación compatibles con el marco. Las opciones posibles son AnswerRelevancy , Hallucination , Faithfulness , Bias , Toxicity , Correctness , Coherence , PromptInjection , PromptBreaking , PromptLeakage .
      • La variable EVAL_RPVODER permite elegir entre azure o vertex .
      • Agregue el resto de variables requeridas por el modelo que desea utilizar como juez para las evaluaciones.

Para ejecutar el módulo de generación de datos sintéticos:

1. Modificar/adaptar el cliente de muestra proporcionado ( datagen/client.py )

2. Ejecute python -m datagen.client

3. Los datos generados sintéticamente se almacenarán en el directorio datagen/qa_out/ como un archivo CSV con el formato:

    ```csv
    question,context,ground_truth
    ```
   

Para ejecutar el módulo de evaluación:

1. Modificar/adaptar el cliente de muestra proporcionado ( eval/client.py )
   1. Los datos de entrada deben coincidir con el formato de los datos producidos por la generación de datos sintéticos ( question , context , ground_truth ).
   2. ground_truth puede usarse o no dependiendo de la configuración use_answers_from_dataset . Cuando se establece en False ignorará esa columna de datos y generará nuevos resultados utilizando el modelo generativo configurado.
2. Inicie MlFlow ejecutando:

   mlflow ui --port 5000

3. Ejecute python -m eval.client
4. Supervise y analice los resultados de la evaluación en su interfaz MlFlow local aquí: http://localhost:5000