evidently

Другой исходный код

v0.4.40

Скачать

Очевидно

Платформа с открытым исходным кодом для оценки, тестирования и мониторинга систем на базе машинного обучения и LLM.

Очевидно

Документация | Дискорд-сообщество | Блог | Твиттер | Очевидно, Облако

? Новый выпуск

Очевидно 0.4.25 . Оценка LLM -> Учебное пособие

Что такое Очевидно?

Очевидно, это библиотека Python с открытым исходным кодом для оценки и наблюдения ML и LLM. Он помогает оценивать, тестировать и контролировать системы и конвейеры данных на базе искусственного интеллекта — от экспериментов до производства.

? Работает с табличными, текстовыми данными и внедрениями.
Поддерживает прогнозные и генеративные системы, от классификации до RAG.
Более 100 встроенных показателей: от обнаружения отклонения данных до судей LLM.
Интерфейс Python для пользовательских метрик и тестов.
? Как офлайн-оценки, так и мониторинг в реальном времени.
Открытая архитектура: легко экспортируйте данные и интегрируйте их с существующими инструментами.

Очевидно, он очень модульный. Вы можете начать с разовых оценок, используя Reports или Test Suites на Python, или воспользоваться службой Dashboard мониторинга в реальном времени.

1. Отчеты

В отчетах вычисляются различные данные, показатели качества ML и LLM. Вы можете начать с пресетов или настроить их.

Нестандартные интерактивные визуальные эффекты.
Лучше всего подходит для исследовательского анализа и отладки.
Получайте результаты в Python, экспортируйте их в формате JSON, словаря Python, HTML, DataFrame или просматривайте в пользовательском интерфейсе мониторинга.

Отчеты

2. Наборы тестов

Наборы тестов проверяют определенные условия для значений метрик и возвращают результат «пройден» или «не пройден».

Лучше всего подходит для регрессионного тестирования, проверок CI/CD или конвейеров проверки данных.
Опция нулевой настройки: автоматическое создание условий испытаний на основе эталонного набора данных.
Простой синтаксис для установки пользовательских условий тестирования: gt (больше), lt (меньше) и т. д.
Получайте результаты в Python, экспортируйте их в формате JSON, словаря Python, HTML, DataFrame или просматривайте в пользовательском интерфейсе мониторинга.

Тестовый набор

3. Панель мониторинга

Служба мониторинга пользовательского интерфейса помогает визуализировать метрики и результаты тестирования с течением времени.

Вы можете выбрать:

Самостоятельно размещайте версию с открытым исходным кодом. Живая демонстрация.
Зарегистрируйтесь в Evidently Cloud (рекомендуется).

Очевидно, Cloud предлагает щедрый уровень бесплатного пользования и дополнительные функции, такие как управление пользователями, оповещения и оценки без кода.

Панель управления

?‍ Установить очевидно

Очевидно, доступен в виде пакета PyPI. Чтобы установить его с помощью диспетчера пакетов pip, запустите:

pip install evidently

Чтобы установить Очевидно с помощью установщика conda, запустите:

conda install -c conda-forge evidently

▶️ Начиная

Вариант 1. Наборы тестов

Это простой Привет, мир. Дополнительные сведения см. в учебных пособиях: табличные данные или оценка LLM.

Импортируйте набор тестов , предустановку оценки и набор табличных данных.

 import pandas as pd

from sklearn import datasets

from evidently . test_suite import TestSuite
from evidently . test_preset import DataStabilityTestPreset

iris_data = datasets . load_iris ( as_frame = True )
iris_frame = iris_data . frame

Разделите DataFrame на эталонный и текущий. Запустите набор тестов стабильности данных , который автоматически сгенерирует проверки диапазонов значений столбцов, пропущенных значений и т. д. на основе справочника. Получите результат в блокноте Jupyter:

 data_stability = TestSuite ( tests = [
    DataStabilityTestPreset (),
])
data_stability . run ( current_data = iris_frame . iloc [: 60 ], reference_data = iris_frame . iloc [ 60 :], column_mapping = None )
data_stability

Вы также можете сохранить HTML-файл. Вам нужно будет открыть его из папки назначения.

 data_stability . save_html ( "file.html" )

Чтобы получить вывод в формате JSON:

 data_stability . json ()

Вы можете выбрать другие пресеты, отдельные тесты и установить условия.

Вариант 2: Отчеты

Импортируйте отчет , предустановку оценки и набор табличных данных.

 import pandas as pd

from sklearn import datasets

from evidently . report import Report
from evidently . metric_preset import DataDriftPreset

iris_data = datasets . load_iris ( as_frame = True )
iris_frame = iris_data . frame

Запустите отчет о смещении данных , который сравнит распределение столбцов между current и reference :

 data_drift_report = Report ( metrics = [
    DataDriftPreset (),
])

data_drift_report . run ( current_data = iris_frame . iloc [: 60 ], reference_data = iris_frame . iloc [ 60 :], column_mapping = None )
data_drift_report

Сохраните отчет в формате HTML. Позже вам нужно будет открыть его из папки назначения.

 data_drift_report . save_html ( "file.html" )

Чтобы получить вывод в формате JSON:

 data_drift_report . json ()

Вы можете выбрать другие предустановки и отдельные метрики, включая оценки LLM для текстовых данных.

Вариант 3. Панель мониторинга машинного обучения

Это запустит демонстрационный проект в пользовательском интерфейсе Evidently. Ознакомьтесь с учебными пособиями по самостоятельному хостингу или очевидному облаку.

Рекомендуемый шаг: создайте виртуальную среду и активируйте ее.

 pip install virtualenv
virtualenv venv
source venv/bin/activate

После установки Evidently ( pip install evidently ) запустите Evidently UI с демонстрационными проектами:

 evidently ui --demo-projects all

Получите доступ к сервису Evidently UI в своем браузере. Перейдите на локальный хост:8000 .

? Что вы можете оценить?

Очевидно, имеет более 100 встроенных оценок. Вы также можете добавить собственные. Каждая метрика имеет дополнительную визуализацию: ее можно использовать в Reports , Test Suites или отображать на Dashboard .

Вот примеры того, что вы можете проверить:


? Текстовые дескрипторы	Результаты LLM
Длина, тональность, токсичность, язык, специальные символы, совпадения с регулярными выражениями и т. д.	Семантическое сходство, релевантность поиска, качество обобщения и т. д. с помощью оценок на основе моделей и LLM.
? Качество данных	Дрейф распределения данных
Отсутствующие значения, дубликаты, диапазоны мин-макс, новые категориальные значения, корреляции и т. д.	Более 20 статистических тестов и показателей расстояния для сравнения изменений в распределении данных.
Классификация	? Регрессия
Точность, прецизионность, полнота, ROC AUC, матрица путаницы, систематическая ошибка и т. д.	MAE, ME, RMSE, распределение ошибок, нормальность ошибок, смещение ошибок и т. д.
? Рейтинг (включая RAG)	? Рекомендации
NDCG, MAP, MRR, частота попаданий и т. д.	Интуитивность, новизна, разнообразие, предвзятость популярности и т. д.