deepchecks

Deepchecks — непрерывная проверка для AI и ML: тестирование, CI и мониторинг

Deepchecks — это комплексное решение с открытым исходным кодом для всех ваших потребностей в проверке AI и ML, позволяющее тщательно тестировать ваши данные и модели — от исследования до производства.

Присоединяйтесь к Slack | Документация | Блог | ? Твиттер

? Компоненты

Глубокая проверка включает в себя:

• Тестирование Deepchecks (Краткое руководство, документация):
  • Запуск встроенных и ваших собственных проверок и наборов для проверки таблиц, NLP и CV (с открытым исходным кодом).
• Управление CI и тестированием (краткое руководство, документация):
  • Совместная работа над результатами тестирования и эффективное выполнение итераций до тех пор, пока модель не будет готова к производству и не будет развернута (предложение с открытым исходным кодом и управляемое предложение).
• Мониторинг глубоких проверок (Краткое руководство, документация):
  • Отслеживание и проверка поведения развернутых моделей в производстве (предложение с открытым исходным кодом и управляемое предложение).

Этот репозиторий является нашим основным репозиторием, поскольку все компоненты в своем ядре используют проверки Deepchecks. Дополнительную информацию об установке и кратких руководствах по каждому из компонентов см. в разделе «Начало работы». Если вы хотите увидеть код мониторинга deepchecks, вы можете просмотреть репозиторий deepchecks/monitoring.

⏩ Начало работы

Установка

Установка тестирования Deepchecks (и CI)

pip install deepchecks -U --user

Для установки субмодулей nlp/vision или с помощью conda:

• Для NLP: замените deepchecks на "deepchecks[nlp]" и при необходимости установите также deepchecks[nlp-properties]
• Для компьютерного зрения: замените deepchecks на "deepchecks[vision]" .
• Для установки с помощью conda аналогичным образом используйте: conda install -c conda-forge deepchecks .

Полные инструкции по установке для тестирования Deepchecks можно найти здесь.

Установка мониторинга Deepchecks

Чтобы использовать глубокие проверки для мониторинга производства, вы можете воспользоваться нашим сервисом SaaS или развернуть локальный экземпляр одной строкой на Linux/MacOS (Windows — это незавершенное производство!) с помощью Docker. Создайте новый каталог для установочных файлов, откройте терминал в этом каталоге и выполните следующее:

 pip install deepchecks-installer
deepchecks-installer install-monitoring

Это автоматически загрузит необходимые зависимости, запустит процесс установки, а затем запустит приложение локально.

Установка займет несколько минут. Затем вы можете открыть URL-адрес развертывания (по умолчанию http://localhost) и начать регистрацию системы. Ознакомьтесь с полным мониторингом установки с открытым исходным кодом и кратким руководством.

Обратите внимание, что продукт с открытым исходным кодом построен таким образом, что каждое развертывание поддерживает мониторинг одной модели.

?‍♀️ Краткое руководство

Краткое руководство по тестированию Deepchecks

Перейдите сразу к соответствующей документации по быстрому запуску:

• Табличные краткие руководства
• Краткое руководство по НЛП
• Краткое руководство по видению

чтобы он работал на ваших данных.

В кратких руководствах вы увидите, как создать соответствующий объект глубокой проверки для хранения ваших данных и метаданных (Dataset, TextData или VisionData, в зависимости от типа данных) и запустить Suite или Check. Фрагмент кода для его запуска будет выглядеть примерно так, в зависимости от выбранного Suite или Check.

 from deepchecks . tabular . suites import model_evaluation
suite = model_evaluation ()
suite_result = suite . run ( train_dataset = train_dataset , test_dataset = test_dataset , model = model )
suite_result . save_as_html () # replace this with suite_result.show() or suite_result.show_in_window() to see results inline or in window
# or suite_result.results[0].value with the relevant check index to process the check result's values in python

Результатом будет отчет, который позволит вам проверить статус и результаты выбранных проверок:

Краткое руководство по мониторингу Deepchecks

Перейдите прямо к краткой документации по мониторингу с открытым исходным кодом, чтобы начать работу с вашими данными. После этого вы сможете видеть результаты проверок с течением времени, устанавливать оповещения и взаимодействовать с пользовательским интерфейсом динамических глубоких проверок, который выглядит следующим образом:

Краткое руководство по управлению CI и тестированием Deepchecks

Управление CI и тестированием под управлением Deepchecks в настоящее время находится в закрытой предварительной версии. Закажите демо-версию, чтобы получить дополнительную информацию о предложении.

Чтобы создать и поддерживать собственный процесс CI с использованием для него тестирования Deepchecks, ознакомьтесь с нашей документацией по использованию Deepchecks в CI/CD.

? Как это работает?

По своей сути глубокие проверки включают в себя широкий спектр встроенных проверок для тестирования всех типов данных и проблем, связанных с моделями. Эти проверки реализованы для различных моделей и типов данных (табличные, NLP, Vision) и могут быть легко настроены и расширены.

Результаты проверки можно использовать для автоматического принятия обоснованных решений о готовности вашей модели к производству, а также для ее мониторинга в процессе производства. Результаты проверки можно просматривать с помощью визуальных отчетов (сохраняя их в файл HTML или просматривая их в Jupyter), обрабатывать с помощью кода (используя выходные данные Pythonic/JSON), а также проверять и совместно использовать динамический пользовательский интерфейс Deepchecks (для проверки результаты испытаний и для контроля производства).

✅ Ядро Deepchecks: проверки

• Все проверки и среда их настройки реализованы в пакете Deepchecks Testing Python (этот репозиторий).
• Каждая проверка проверяет конкретную потенциальную проблему. В Deepchecks имеется множество предварительно реализованных проверок для обнаружения проблем с производительностью модели (например, выявление слабых сегментов), распределением данных (например, обнаружение дрейфов или утечек) и целостностью данных (например, поиск конфликтующих меток).
• Настраиваемость: каждая проверка имеет множество настраиваемых параметров, и пользовательские проверки можно легко реализовать.
• Может запускаться вручную (во время исследования) или автоматически (в процессах CI или мониторинге производства).
• Результаты проверки могут быть использованы:
  • Визуальный отчет о выводе — сохранение в HTML ( result.save_to_html('output_report_name.html') ) или просмотр их в Jupyter ( result.show() ).
  • Обработка с помощью кода — с помощью Python с использованием атрибута value результата проверки или сохранения вывода JSON.
  • Пользовательский интерфейс Deepchecks — для динамического контроля и совместной работы (результатов испытаний и мониторинга производства)
• Можно добавить и настроить дополнительные условия для автоматической проверки результатов проверки с помощью ✓ прохода, провала ✖ или предупреждения ! статус
• Упорядоченный список проверок (с дополнительными условиями) можно запускать вместе в «Наборе» (и выходными данными является итоговый отчет обо всех выполненных проверках).

Открытый исходный код против платного

Проекты Deepchecks ( deepchecks/deepchecks и deepchecks/monitoring ) имеют открытый исходный код и выпускаются под AGPL 3.0.

Единственным исключением являются компоненты мониторинга Deepchecks (в репозитории deepchecks/monitoring ), находящиеся в каталоге (backend/deepchecks_monitoring/ee), на которые распространяется коммерческая лицензия (см. лицензию здесь). Этот каталог не используется по умолчанию и упаковывается как часть репозитория мониторинга deepchecks просто для поддержки обновления до коммерческой версии без простоя.

Для включения премиум-функций (содержащихся в каталоге backend/deepchecks_monitoring/ee ) с помощью локального экземпляра требуется лицензия Deepchecks. Чтобы узнать больше, закажите демо-версию или посетите нашу страницу цен.

Ищете ?%-решение с открытым исходным кодом для глубокого мониторинга? Посетите репозиторий Monitoring OSS, который очищен от всего проприетарного кода и функций.

? Сообщество, участие, документация и поддержка

Deepchecks — это решение с открытым исходным кодом. Мы стремимся к прозрачному процессу разработки и высоко ценим любой вклад. Если вы помогаете нам исправлять ошибки, предлагаете новые функции, улучшаете нашу документацию или распространяете информацию, мы будем рады видеть вас частью нашего сообщества.

• Поставьте нам звездочку ️ github ️ вверху этой страницы, чтобы поддержать то, что мы делаем, это очень много значит для проектов с открытым исходным кодом!
• Прочтите нашу документацию, чтобы получить дополнительную информацию о том, как использовать и настраивать глубокие проверки, а также пошаговые руководства.
• Опубликуйте проблему на Github, чтобы отправить отчет об ошибке, запросить функцию или предложить улучшение.
• Чтобы внести свой вклад в пакет, ознакомьтесь с нашими первыми хорошими выпусками и рекомендациями по вкладу, а также откройте PR.

Присоединяйтесь к нашему Slack, чтобы оставить нам отзыв, связаться с сопровождающими и другими пользователями, задать вопросы, получить помощь по использованию пакетов или внести свой вклад, а также участвовать в обсуждениях тестирования машинного обучения!

Авторы

Спасибо этим замечательным людям (ключ смайлика):

Итай Габбай ?	матанпер ?	JKL98ISR ?	Юрий Романишин ?	Ноам Бресслер ?	Нир Хутник ?	Надав-Барак ?
Сол ?	ДэнАрловски ?	ДБИ	ОрлыШморлы ?	шир22 ? ?	Яронзо1 ? ?	птаннор ? ?
авизд ? ?	ДэнБассон ?	С.Кишор ?	Шей Палачи-Аффек ? ?	Джемаль ГУРПИНАР ?	Давид де ла Иглесиа Кастро	Леви Бард
Жюльен Шуерманс ?	Нир Бен-Цви ?	Шив Шанкар Даял ?	РонИтай ?	Йерун Ван Гой ?	idow09 ?	Икко Ашимине
Джейсон Вольгемут	Локин Сетия ?	Инго Маркварт ?	Оскар	Ричард В. ?	Бернардо	Оливье Бинетт ?
陈鼎彦 ?	Андрес Варгас	Майкл Мариен ?	ОрдоАбЧао	Мэтт Чан	Суровый Джайн ?	артерм-седов
АЙТ АЛИ ЯХИЯ Райан ?	Крис Сантьяго ?

Этот проект соответствует спецификации всех участников. Вклад любого рода приветствуется!