evidently

Otro código fuente

v0.4.40

Descargar

Evidentemente

Un marco de código abierto para evaluar, probar y monitorear sistemas impulsados por ML y LLM.

Evidentemente

Documentación | Comunidad de discordia | Blog | Gorjeo | Evidentemente nube

? Nuevo lanzamiento

Evidentemente 0.4.25 . Evaluación LLM -> Tutorial

¿Qué es evidentemente?

Evidentemente es una biblioteca Python de código abierto para evaluación y observabilidad de ML y LLM. Ayuda a evaluar, probar y monitorear sistemas impulsados por IA y canales de datos desde la experimentación hasta la producción.

? Funciona con datos tabulares, de texto e incrustaciones.
Soporta sistemas predictivos y generativos, desde clasificación hasta RAG.
Más de 100 métricas integradas, desde detección de deriva de datos hasta jueces de LLM.
Interfaz Python para métricas y pruebas personalizadas.
? Tanto evaluaciones fuera de línea como monitoreo en vivo.
Arquitectura abierta: exporte datos fácilmente e intégrelos con herramientas existentes.

Evidentemente es muy modular. Puede comenzar con evaluaciones únicas utilizando Reports o Test Suites en Python u obtener un servicio Dashboard de monitoreo en tiempo real.

1. Informes

Los informes calculan diversos datos, métricas de calidad de ML y LLM. Puede comenzar con ajustes preestablecidos o personalizarlos.

Imágenes interactivas listas para usar.
Lo mejor para análisis exploratorios y depuración.
Obtenga resultados en Python, expórtelos como JSON, diccionario de Python, HTML, DataFrame o visualícelos en la interfaz de usuario de monitoreo.

Informes

2. Conjuntos de pruebas

Los conjuntos de pruebas comprueban las condiciones definidas en los valores de las métricas y devuelven un resultado de aprobado o reprobado.

Lo mejor para pruebas de regresión, comprobaciones de CI/CD o procesos de validación de datos.
Opción de configuración cero: genera automáticamente condiciones de prueba a partir del conjunto de datos de referencia.
Sintaxis simple para establecer condiciones de prueba personalizadas como gt (mayor que), lt (menor que), etc.
Obtenga resultados en Python, expórtelos como JSON, diccionario de Python, HTML, DataFrame o visualícelos en la interfaz de usuario de monitoreo.

Conjunto de pruebas

3. Panel de seguimiento

El servicio de interfaz de usuario de monitoreo ayuda a visualizar métricas y resultados de pruebas a lo largo del tiempo.

Puedes elegir:

Hospede automáticamente la versión de código abierto. Demostración en vivo.
Regístrese en Evidfully Cloud (recomendado).

Evidentemente, Cloud ofrece un generoso nivel gratuito y funciones adicionales como administración de usuarios, alertas y evaluaciones sin código.

Panel

?‍ Instalar evidentemente

Evidentemente está disponible como paquete PyPI. Para instalarlo usando el administrador de paquetes pip, ejecute:

pip install evidently

Para instalar Evidentemente usando el instalador conda, ejecute:

conda install -c conda-forge evidently

▶️ Empezando

Opción 1: conjuntos de pruebas

Este es un simple Hola Mundo. Consulte los tutoriales para obtener más información: datos tabulares o evaluación LLM.

Importe el Test Suite , el preset de evaluación y el conjunto de datos tabulares de juguetes.

 import pandas as pd

from sklearn import datasets

from evidently . test_suite import TestSuite
from evidently . test_preset import DataStabilityTestPreset

iris_data = datasets . load_iris ( as_frame = True )
iris_frame = iris_data . frame

Divida el DataFrame en referencia y actual. Ejecute el conjunto de pruebas de estabilidad de datos que generará automáticamente comprobaciones de rangos de valores de columnas, valores faltantes, etc. de la referencia. Obtenga el resultado en el cuaderno Jupyter:

 data_stability = TestSuite ( tests = [
    DataStabilityTestPreset (),
])
data_stability . run ( current_data = iris_frame . iloc [: 60 ], reference_data = iris_frame . iloc [ 60 :], column_mapping = None )
data_stability

También puede guardar un archivo HTML. Deberá abrirlo desde la carpeta de destino.

 data_stability . save_html ( "file.html" )

Para obtener el resultado como JSON:

 data_stability . json ()

Puede elegir otros ajustes preestablecidos, pruebas individuales y condiciones establecidas.

Opción 2: Informes

Importe el informe , el valor preestablecido de evaluación y el conjunto de datos tabulares de juguetes.

 import pandas as pd

from sklearn import datasets

from evidently . report import Report
from evidently . metric_preset import DataDriftPreset

iris_data = datasets . load_iris ( as_frame = True )
iris_frame = iris_data . frame

Ejecute el Informe de deriva de datos que comparará las distribuciones de columnas entre current y reference :

 data_drift_report = Report ( metrics = [
    DataDriftPreset (),
])

data_drift_report . run ( current_data = iris_frame . iloc [: 60 ], reference_data = iris_frame . iloc [ 60 :], column_mapping = None )
data_drift_report

Guarde el informe como HTML. Luego deberás abrirlo desde la carpeta de destino.

 data_drift_report . save_html ( "file.html" )

Para obtener el resultado como JSON:

 data_drift_report . json ()

Puede elegir otros ajustes preestablecidos y métricas individuales, incluidas evaluaciones LLM para datos de texto.

Opción 3: panel de monitoreo de ML

Esto inicia un proyecto de demostración en la interfaz de usuario de Evidentemente. Consulta los tutoriales de Self-hosting o Evidfully Cloud.

Paso recomendado: crear un entorno virtual y activarlo.

 pip install virtualenv
virtualenv venv
source venv/bin/activate

Después de instalar Evidentemente ( pip install evidently ), ejecute la interfaz de usuario de Evidentemente con los proyectos de demostración:

 evidently ui --demo-projects all

Acceda al servicio Evidentemente UI en su navegador. Vaya al localhost:8000 .

? ¿Qué puedes evaluar?

Evidentemente tiene más de 100 evaluaciones integradas. También puedes agregar unos personalizados. Cada métrica tiene una visualización opcional: puede usarla en Reports , Test Suites o trazarla en un Dashboard .

A continuación se muestran ejemplos de cosas que puede comprobar:


? Descriptores de texto	Resultados del LLM
Longitud, sentimiento, toxicidad, lenguaje, símbolos especiales, coincidencias de expresiones regulares, etc.	Similitud semántica, relevancia de recuperación, calidad de resumen, etc. con evaluaciones basadas en modelos y LLM.
? Calidad de datos	Deriva de la distribución de datos
Valores faltantes, duplicados, rangos mínimo-máximo, nuevos valores categóricos, correlaciones, etc.	Más de 20 pruebas estadísticas y métricas de distancia para comparar cambios en la distribución de datos.
Clasificación	? Regresión
Exactitud, precisión, recuperación, ROC AUC, matriz de confusión, sesgo, etc.	MAE, ME, RMSE, distribución de errores, normalidad de errores, sesgo de errores, etc.
? Clasificación (incluido RAG)	? Recomendaciones
NDCG, MAP, MRR, tasa de aciertos, etc.	Serendipia, novedad, diversidad, sesgo de popularidad, etc.