evidently

Anderer Quellcode

v0.4.40

Herunterladen

Offensichtlich

Ein Open-Source-Framework zum Bewerten, Testen und Überwachen von ML- und LLM-basierten Systemen.

Offensichtlich

Dokumentation | Discord-Community | Blog | Twitter | Offensichtlich Cloud

? Neue Veröffentlichung

Offensichtlich 0,4,25 . LLM-Evaluation -> Tutorial

Was ist offensichtlich?

Offensichtlich handelt es sich um eine Open-Source-Python-Bibliothek für die Evaluierung und Beobachtbarkeit von ML und LLM. Es hilft bei der Bewertung, Prüfung und Überwachung KI-gestützter Systeme und Datenpipelines vom Experiment bis zur Produktion.

? Funktioniert mit Tabellendaten, Textdaten und Einbettungen.
Unterstützt prädiktive und generative Systeme, von der Klassifizierung bis zur RAG.
Über 100 integrierte Metriken von der Datendrift-Erkennung bis hin zu LLM-Juroren.
Python-Schnittstelle für benutzerdefinierte Metriken und Tests.
? Sowohl Offline-Bewertungen als auch Live-Überwachung.
Offene Architektur: Einfaches Exportieren von Daten und Integration in vorhandene Tools.

Offensichtlich ist es sehr modular. Sie können mit einmaligen Auswertungen mithilfe von Reports oder Test Suites in Python beginnen oder einen Dashboard Dienst zur Echtzeitüberwachung erhalten.

1. Berichte

Berichte berechnen verschiedene Daten-, ML- und LLM-Qualitätsmetriken. Sie können mit Voreinstellungen beginnen oder diese anpassen.

Sofort einsatzbereite interaktive Visuals.
Am besten für explorative Analysen und Debugging geeignet.
Erhalten Sie Ergebnisse in Python, exportieren Sie sie als JSON, Python-Wörterbuch, HTML, DataFrame oder zeigen Sie sie in der Überwachungs-Benutzeroberfläche an.

Berichte

2. Testsuiten

Testsuiten prüfen, ob definierte Bedingungen für Metrikwerte vorliegen, und geben ein „Bestanden“- oder „Nicht bestanden“-Ergebnis zurück.

Am besten geeignet für Regressionstests, CI/CD-Prüfungen oder Datenvalidierungspipelines.
Null-Setup-Option: Testbedingungen automatisch aus dem Referenzdatensatz generieren.
Einfache Syntax zum Festlegen benutzerdefinierter Testbedingungen als gt (größer als), lt (kleiner als) usw.
Erhalten Sie Ergebnisse in Python, exportieren Sie sie als JSON, Python-Wörterbuch, HTML, DataFrame oder zeigen Sie sie in der Überwachungs-Benutzeroberfläche an.

Testsuite

3. Überwachungs-Dashboard

Der Überwachungs-UI- Dienst hilft bei der Visualisierung von Metriken und Testergebnissen im Zeitverlauf.

Sie können wählen:

Hosten Sie die Open-Source-Version selbst. Live-Demo.
Melden Sie sich für Evidently Cloud an (empfohlen).

Offensichtlich bietet Cloud ein großzügiges kostenloses Kontingent und zusätzliche Funktionen wie Benutzerverwaltung, Benachrichtigungen und No-Code-Bewertungen.

Armaturenbrett

?‍ Offensichtlich installieren

Offensichtlich ist es als PyPI-Paket verfügbar. Um es mit dem Pip-Paketmanager zu installieren, führen Sie Folgendes aus:

pip install evidently

Um Evidently mit dem Conda-Installationsprogramm zu installieren, führen Sie Folgendes aus:

conda install -c conda-forge evidently

▶️ Erste Schritte

Option 1: Testsuiten

Dies ist eine einfache Hello World. Weitere Informationen finden Sie in den Tutorials: Tabellendaten oder LLM-Auswertung.

Importieren Sie die Testsuite , die Evaluierungsvoreinstellung und den tabellarischen Spielzeugdatensatz.

 import pandas as pd

from sklearn import datasets

from evidently . test_suite import TestSuite
from evidently . test_preset import DataStabilityTestPreset

iris_data = datasets . load_iris ( as_frame = True )
iris_frame = iris_data . frame

Teilen Sie den DataFrame in Referenz und aktuell auf. Führen Sie die Data Stability Test Suite aus, die automatisch Überprüfungen von Spaltenwertbereichen, fehlenden Werten usw. aus der Referenz generiert. Holen Sie sich die Ausgabe im Jupyter-Notebook:

 data_stability = TestSuite ( tests = [
    DataStabilityTestPreset (),
])
data_stability . run ( current_data = iris_frame . iloc [: 60 ], reference_data = iris_frame . iloc [ 60 :], column_mapping = None )
data_stability

Sie können auch eine HTML-Datei speichern. Sie müssen es im Zielordner öffnen.

 data_stability . save_html ( "file.html" )

Um die Ausgabe als JSON zu erhalten:

 data_stability . json ()

Sie können andere Voreinstellungen, einzelne Tests und festgelegte Bedingungen auswählen.

Option 2: Berichte

Importieren Sie den Bericht , die Bewertungsvorgabe und den tabellarischen Spielzeugdatensatz.

 import pandas as pd

from sklearn import datasets

from evidently . report import Report
from evidently . metric_preset import DataDriftPreset

iris_data = datasets . load_iris ( as_frame = True )
iris_frame = iris_data . frame

Führen Sie den Datendriftbericht aus, der die Spaltenverteilungen zwischen current und reference vergleicht:

 data_drift_report = Report ( metrics = [
    DataDriftPreset (),
])

data_drift_report . run ( current_data = iris_frame . iloc [: 60 ], reference_data = iris_frame . iloc [ 60 :], column_mapping = None )
data_drift_report

Speichern Sie den Bericht als HTML. Sie müssen es später im Zielordner öffnen.

 data_drift_report . save_html ( "file.html" )

Um die Ausgabe als JSON zu erhalten:

 data_drift_report . json ()

Sie können weitere Voreinstellungen und individuelle Metriken auswählen, einschließlich LLM-Auswertungen für Textdaten.

Option 3: ML-Überwachungs-Dashboard

Dadurch wird ein Demoprojekt in der Evidently-Benutzeroberfläche gestartet. Sehen Sie sich die Tutorials für Self-Hosting oder Evidently Cloud an.

Empfohlener Schritt: Erstellen Sie eine virtuelle Umgebung und aktivieren Sie diese.

 pip install virtualenv
virtualenv venv
source venv/bin/activate

Führen Sie nach der Installation von Evidently ( pip install evidently ) die Evidently-Benutzeroberfläche mit den Demoprojekten aus:

 evidently ui --demo-projects all

Greifen Sie in Ihrem Browser auf den Evidently UI-Dienst zu. Gehen Sie zu localhost:8000 .

? Was können Sie bewerten?

Verfügt offensichtlich über mehr als 100 integrierte Auswertungen. Sie können auch benutzerdefinierte hinzufügen. Für jede Metrik gibt es eine optionale Visualisierung: Sie können sie in Reports , Test Suites oder in einem Dashboard grafisch darstellen.

Hier sind Beispiele für Dinge, die Sie überprüfen können:


? Textdeskriptoren	LLM-Ausgänge
Länge, Stimmung, Toxizität, Sprache, Sonderzeichen, Übereinstimmungen mit regulären Ausdrücken usw.	Semantische Ähnlichkeit, Retrieval-Relevanz, Zusammenfassungsqualität usw. mit modell- und LLM-basierten Auswertungen.
? Datenqualität	Drift der Datenverteilung
Fehlende Werte, Duplikate, Min-Max-Bereiche, neue kategoriale Werte, Korrelationen usw.	Über 20 statistische Tests und Distanzmetriken zum Vergleich von Verschiebungen in der Datenverteilung.
Einstufung	? Rückschritt
Genauigkeit, Präzision, Rückruf, ROC AUC, Verwirrungsmatrix, Bias usw.	MAE, ME, RMSE, Fehlerverteilung, Fehlernormalität, Fehlerverzerrung usw.
? Ranking (inkl. RAG)	? Empfehlungen
NDCG, MAP, MRR, Trefferquote usw.	Zufall, Neuheit, Vielfalt, Beliebtheitsbias usw.