evidently

其他源碼

v0.4.40

下載

顯然

用於評估、測試和監控 ML 和 LLM 支援的系統的開源框架。

文檔 |不和諧社區 |部落格 |推特 |明顯雲

？新發布

顯然是 0.4.25 。 LLM評估->教程

什麼是顯然？

Evidently 是一個用於 ML 和 LLM 評估和可觀察性的開源 Python 函式庫。它有助於評估、測試和監控人工智慧驅動的系統以及從實驗到生產的數據管道。

？適用於表格、文字資料和嵌入。
支援從分類到 RAG 的預測和生成系統。
從數據偏差檢測到 LLM 評判的 100 多個內建指標。
用於自訂指標和測試的 Python 介面。
？離線評估和即時監控。
開放架構：輕鬆匯出資料並與現有工具整合。

顯然是非常模組化的。您可以使用 Python 中的Reports或Test Suites開始一次性評估，或取得即時監控Dashboard服務。

1. 報告

報告計算各種數據、ML 和 LLM 品質指標。您可以從預設或自訂開始。

開箱即用的互動式視覺效果。
最適合探索性分析和調試。
在 Python 中取得結果，匯出為 JSON、Python 字典、HTML、DataFrame，或在監控 UI 中查看。

報告

2. 測試套件

測試套件檢查指標值的定義條件並傳回通過或失敗結果。

最適合回歸測試、CI/CD 檢查或資料驗證管道。
零設定選項：從參考資料集自動產生測試條件。
將自訂測試條件設定為gt （大於）、 lt （小於）等的簡單語法。
在 Python 中取得結果，匯出為 JSON、Python 字典、HTML、DataFrame，或在監控 UI 中查看。

測試套件

3. 監控儀表板

監控 UI服務有助於視覺化指標和測試結果。

您可以選擇：

自託管開源版本。現場演示。
註冊 Evidently Cloud（推薦）。

顯然，雲端提供了慷慨的免費套餐和額外功能，例如用戶管理、警報和無代碼評估。

儀表板

? 安裝明顯

顯然可以作為 PyPI 包使用。若要使用 pip 套件管理器安裝它，請執行：

pip install evidently

若要使用 conda 安裝程式安裝 Evidently，請執行：

conda install -c conda-forge evidently

▶️入門

選項 1：測試套件

這是一個簡單的 Hello World。查看教學以了解更多資訊：表格數據或法學碩士評估。

匯入測試套件、評估預設和玩具表格資料集。

 import pandas as pd

from sklearn import datasets

from evidently . test_suite import TestSuite
from evidently . test_preset import DataStabilityTestPreset

iris_data = datasets . load_iris ( as_frame = True )
iris_frame = iris_data . frame

將DataFrame拆分為參考資料幀和目前資料幀。運行資料穩定性測試套件，該套件將根據參考自動產生對列值範圍、缺失值等的檢查。取得 Jupyter Notebook 中的輸出：

 data_stability = TestSuite ( tests = [
    DataStabilityTestPreset (),
])
data_stability . run ( current_data = iris_frame . iloc [: 60 ], reference_data = iris_frame . iloc [ 60 :], column_mapping = None )
data_stability

您也可以儲存 HTML 檔案。您需要從目標資料夾打開它。

 data_stability . save_html ( "file.html" )

取得 JSON 格式的輸出：

 data_stability . json ()

您可以選擇其他預設、單獨的測試和設定條件。

選項 2：報告

匯入報告、評估預設和玩具表格資料集。

 import pandas as pd

from sklearn import datasets

from evidently . report import Report
from evidently . metric_preset import DataDriftPreset

iris_data = datasets . load_iris ( as_frame = True )
iris_frame = iris_data . frame

執行資料漂移報告，比較current和reference之間的列分佈：

 data_drift_report = Report ( metrics = [
    DataDriftPreset (),
])

data_drift_report . run ( current_data = iris_frame . iloc [: 60 ], reference_data = iris_frame . iloc [ 60 :], column_mapping = None )
data_drift_report

將報告另存為 HTML。您稍後需要從目標資料夾打開它。

 data_drift_report . save_html ( "file.html" )

取得 JSON 格式的輸出：

 data_drift_report . json ()

您可以選擇其他預設和單獨的指標，包括文字資料的 LLM 評估。

選項 3：ML 監控儀表板

這將在 Evidently UI 中啟動一個示範專案。查看自架或 Evidently Cloud 的教學。

建議步驟：建立虛擬環境並啟動它。

 pip install virtualenv
virtualenv venv
source venv/bin/activate

安裝 Evidently ( pip install evidently ) 後，使用示範專案執行 Evidently UI：

 evidently ui --demo-projects all

在瀏覽器中存取 Evidly UI 服務。轉到localhost:8000 。

？你能評價什麼？

顯然有 100 多個內建評估。您也可以新增自訂的。每個指標都有一個可選的視覺化：您可以在Reports 、 Test Suites中使用它，或在Dashboard繪圖。

以下是您可以檢查的事項範例：


？文字描述符	法學碩士輸出
長度、情感、毒性、語言、特殊符號、正規表示式匹配等。	基於模型和 LLM 的評估的語意相似性、檢索相關性、摘要品質等。
？數據品質	數據分佈漂移
缺失值、重複值、最小-最大範圍、新分類值、相關性等。	20 多個統計測試和距離指標，用於比較資料分佈的變化。
分類	？回歸
準確率、精確率、回想率、ROC AUC、混淆矩陣、偏差等。	MAE、ME、RMSE、誤差分佈、誤差常態性、誤差偏差等
？排名（包括 RAG）	？建議
NDCG、MAP、MRR、命中率等	機緣巧合、新穎性、多樣性、流行偏見等。