evidently

Kode sumber lainnya

v0.4.40

Unduh

Ternyata

Kerangka kerja sumber terbuka untuk mengevaluasi, menguji, dan memantau sistem yang didukung ML dan LLM.

Ternyata

Dokumentasi | Komunitas Perselisihan | Blog | Twitter | Rupanya Awan

? Rilis baru

Rupanya 0.4.25 . Evaluasi LLM -> Tutorial

Apa itu Jelas?

Terbukti merupakan pustaka Python sumber terbuka untuk evaluasi dan observasi ML dan LLM. Ini membantu mengevaluasi, menguji, dan memantau sistem dan saluran data yang didukung AI mulai dari eksperimen hingga produksi.

? Bekerja dengan tabel, data teks, dan penyematan.
Mendukung sistem prediktif dan generatif, mulai dari klasifikasi hingga RAG.
100+ metrik bawaan mulai dari deteksi penyimpangan data hingga juri LLM.
Antarmuka Python untuk metrik dan pengujian khusus.
? Baik evaluasi offline maupun pemantauan langsung.
Arsitektur terbuka: mengekspor data dengan mudah dan berintegrasi dengan alat yang ada.

Ternyata sangat modular. Anda dapat memulai dengan evaluasi satu kali menggunakan Reports atau Test Suites dengan Python atau mendapatkan layanan Dashboard pemantauan waktu nyata.

1. Laporan

Laporan menghitung berbagai data, metrik kualitas ML dan LLM. Anda dapat memulai dengan Preset atau menyesuaikan.

Visual interaktif yang out-of-the-box.
Terbaik untuk analisis eksplorasi dan debugging.
Dapatkan hasil dengan Python, ekspor sebagai JSON, kamus Python, HTML, DataFrame, atau lihat di UI pemantauan.

Laporan

2. Ruang Uji

Test Suites memeriksa kondisi yang ditentukan pada nilai metrik dan mengembalikan hasil lulus atau gagal.

Terbaik untuk pengujian regresi, pemeriksaan CI/CD, atau jalur validasi data.
Opsi pengaturan nol: menghasilkan kondisi pengujian secara otomatis dari kumpulan data referensi.
Sintaks sederhana untuk menyetel kondisi pengujian khusus sebagai gt (lebih besar dari), lt (kurang dari), dll.
Dapatkan hasil dengan Python, ekspor sebagai JSON, kamus Python, HTML, DataFrame, atau lihat di UI pemantauan.

Rangkaian Tes

3. Dasbor Pemantauan

Layanan pemantauan UI membantu memvisualisasikan metrik dan hasil pengujian dari waktu ke waktu.

Anda dapat memilih:

Menghosting sendiri versi sumber terbuka. Demo langsung.
Mendaftar ke Evidently Cloud (Disarankan).

Terbukti Cloud menawarkan tingkat gratis yang melimpah dan fitur tambahan seperti manajemen pengguna, peringatan, dan evaluasi tanpa kode.

Dasbor

?‍ Instal Jelas

Rupanya tersedia sebagai paket PyPI. Untuk menginstalnya menggunakan manajer paket pip, jalankan:

pip install evidently

Untuk menginstal Terbukti menggunakan conda installer, jalankan:

conda install -c conda-forge evidently

▶️ Memulai

Opsi 1: Rangkaian Tes

Ini adalah Halo Dunia yang sederhana. Periksa Tutorial untuk mengetahui lebih lanjut: Data tabular atau evaluasi LLM.

Impor Test Suite , Preset evaluasi, dan kumpulan data tabel mainan.

 import pandas as pd

from sklearn import datasets

from evidently . test_suite import TestSuite
from evidently . test_preset import DataStabilityTestPreset

iris_data = datasets . load_iris ( as_frame = True )
iris_frame = iris_data . frame

Pisahkan DataFrame menjadi referensi dan arus. Jalankan Rangkaian Uji Stabilitas Data yang secara otomatis akan menghasilkan pemeriksaan pada rentang nilai kolom, nilai yang hilang, dll. dari referensi. Dapatkan hasilnya di notebook Jupyter:

 data_stability = TestSuite ( tests = [
    DataStabilityTestPreset (),
])
data_stability . run ( current_data = iris_frame . iloc [: 60 ], reference_data = iris_frame . iloc [ 60 :], column_mapping = None )
data_stability

Anda juga dapat menyimpan file HTML. Anda harus membukanya dari folder tujuan.

 data_stability . save_html ( "file.html" )

Untuk mendapatkan output sebagai JSON:

 data_stability . json ()

Anda dapat memilih Preset lain, Tes individual, dan kondisi yang ditetapkan.

Opsi 2: Laporan

Impor Laporan , evaluasi Preset, dan kumpulan data tabel mainan.

 import pandas as pd

from sklearn import datasets

from evidently . report import Report
from evidently . metric_preset import DataDriftPreset

iris_data = datasets . load_iris ( as_frame = True )
iris_frame = iris_data . frame

Jalankan Laporan Penyimpangan Data yang akan membandingkan distribusi kolom antara current dan reference :

 data_drift_report = Report ( metrics = [
    DataDriftPreset (),
])

data_drift_report . run ( current_data = iris_frame . iloc [: 60 ], reference_data = iris_frame . iloc [ 60 :], column_mapping = None )
data_drift_report

Simpan laporan sebagai HTML. Nanti Anda harus membukanya dari folder tujuan.

 data_drift_report . save_html ( "file.html" )

Untuk mendapatkan output sebagai JSON:

 data_drift_report . json ()

Anda dapat memilih Preset lain dan Metrik individual, termasuk evaluasi LLM untuk data teks.

Opsi 3: Dasbor pemantauan ML

Ini meluncurkan proyek demo di UI Terbukti. Periksa tutorial untuk Self-hosting atau Evidently Cloud.

Langkah yang disarankan: buat lingkungan virtual dan aktifkan.

 pip install virtualenv
virtualenv venv
source venv/bin/activate

Setelah menginstal Evidently ( pip install evidently ), jalankan UI Evidently dengan proyek demo:

 evidently ui --demo-projects all

Akses layanan Evidently UI di browser Anda. Pergi ke localhost:8000 .

? Apa yang bisa Anda evaluasi?

Terbukti memiliki 100+ evaluasi bawaan. Anda juga dapat menambahkan yang khusus. Setiap metrik memiliki visualisasi opsional: Anda dapat menggunakannya di Reports , Test Suites , atau plot di Dashboard .

Berikut ini contoh hal yang dapat Anda periksa:


? Deskriptor teks	keluaran LLM
Panjang, sentimen, toksisitas, bahasa, simbol khusus, kecocokan ekspresi reguler, dll.	Kesamaan semantik, relevansi pengambilan, kualitas ringkasan, dll. dengan evaluasi berbasis model dan LLM.
? Kualitas data	Penyimpangan distribusi data
Nilai hilang, duplikat, rentang min-maks, nilai kategorikal baru, korelasi, dll.	20+ uji statistik dan metrik jarak untuk membandingkan pergeseran distribusi data.
Klasifikasi	? Regresi
Akurasi, presisi, perolehan kembali, ROC AUC, matriks konfusi, bias, dll.	MAE, ME, RMSE, distribusi kesalahan, normalitas kesalahan, bias kesalahan, dll.
? Pemeringkatan (inc.RAG)	? Rekomendasi
NDCG, MAP, MRR, Hit Rate, dll.	Kebetulan, kebaruan, keragaman, bias popularitas, dll.