

ClearMl - Автомагический набор инструментов для оптимизации вашего рабочего процесса ИИ
Менеджер эксперимента, MLOPS/LLMOPS и управление данными
? ClearML is open-source - Leave a star to support the project! ?
Clearml
Ранее известный как поезда Аллегро
ClearML - это ML/DL Development и производственный набор. Он содержит пять основных модулей:
- Менеджер эксперимента - автоматическое отслеживание экспериментов, среды и результаты
- MLOPS / LLMOPS - Орхестрация, автоматизация и трубопроводы Решение для заданий ML / DL / Genai (Kubernetes / Cloud / Bare -Metal)
- Управление данными-Полностью дифференцируемое управление данными и управление версиями в верхней части хранилища объекта (S3 / GS / Azure / NAS)
- Проверка модели- готовое к облачно масштабируемому модельному решению модели!
- Развернуть новые конечные точки модели менее чем за 5 минут
- Включает оптимизированную поддержку обслуживания графических процессоров, поддерживаемая Nvidia-Triton
- С мониторинг моделей вне коробки
- Отчеты - Создайте и делитесь богатыми документами, поддерживающими встраиваемый онлайн -контент
- Орчесструйная панель - живая богатая панель инструментов для всего вашего Compute Cluster (Cloud / Kubernetes / On -Prem)
- НОВЫЙ ? Дробные графические процессоры - на основе контейнера, ограничение памяти на уровне графического процессора на уровне драйвера? !!!
Инструментация этих компонентов-это Clearml-сервер , см. Самоурастание и бесплатное хостинг уровня
Зарегистрируйтесь и начните использовать менее чем за 2 минуты
Дружественные учебники, чтобы вы начали
Шаг 1 - Управление экспериментами | |
Шаг 2 - Настройка агента удаленного выполнения | |
Шаг 3 - Удаленно выполнять задачи | |
Управление экспериментом | Наборы данных |
 |  |
|
Оркестровка | Трубопроводы |
 |  |
ClearMl Manager Experiment
Добавление только 2 строки в ваш код дает вам следующее
- Полный журнал настройки эксперимента
- Информация о управлении полного источника, включая не связанные локальные изменения
- Среда исполнения (включая конкретные пакеты и версии)
- Гиперпараметры
-
argparse
/Click /PythonFire для параметров командной строки с использованными значениями в настоящее время - Явные параметры словаря
- Tensorflow определяет (absl-py)
- Конфигурация Hydra и переопределение
- Файл веса начальной модели
- Полный эксперимент вывод автоматического захвата
- stdout и stderr
- Мониторинг ресурсов (использование процессора/графического процессора, температура, IO, сеть и т. Д.)
- Модельные снимки (с дополнительной автоматической загрузкой в центральное хранение: общая папка, S3, GS, Azure, HTTP)
- Artifacts Log & Store (общая папка, S3, GS, Azure, http)
- Tensorboard/Tensorboardx Scalars, метрики, гистограммы, изображения, образцы аудио и видео
- Matplotlib & Seaborn
- Интерфейс Logger Clearml для полной гибкости.
- Обширная поддержка платформы и интеграции
- Поддерживаемые фреймворки ML / DL: Pytorch (Incl 'Ignite / Lightning), Tensorflow, Keras, Autokeras, Fastai, Xgboost, Lightgbm, Megengine и Scikit-Learn
- Бесплатная интеграция (включая контроль версий) с ноутбуком Jupyter и дистанционной отладкой Pycharm
Начните использовать clearml
Зарегистрируйтесь бесплатно в службу размещения ClearML (в качестве альтернативы, вы можете настроить свой собственный сервер, см. Здесь).
DEMO SERVER CLEARML: CLEARML больше не использует демонстрационный сервер по умолчанию. Чтобы включить демонстрационный сервер, установите CLEARML_NO_DEFAULT_SERVER=0
переменная среды. Учетные данные не нужны, но эксперименты, выпущенные на демонстрационном сервере, являются общедоступными, поэтому убедитесь, что не запускайте конфиденциальные эксперименты, если использование демонстрационного сервера.
Установите пакет python clearml
:
Подключите Clearml SDK к серверу, создав учетные данные, затем выполните команду ниже и следуйте инструкциям:
Добавьте две строки в свой код:
from clearml import Task
task = Task . init ( project_name = 'examples' , task_name = 'hello world' )
И ты закончил! Все, что вы вывод, выходец вашего процесса, теперь автоматически вошел в ClearMl.
Следующий шаг, автоматизация! Узнайте больше об автоматизации двух щелчков Clearml здесь .
Clearml Architecture
Компоненты времени выполнения Clearml:
- Пакет Plearml Python - для интеграции ClearML в существующие сценарии, добавив только две строки кода, и, опционально расширив ваши эксперименты и другие рабочие процессы с мощным и универсальным набором классов и методов ClearML.
- Clearml Server - для хранения эксперимента, модели и данных рабочего процесса; Поддержка менеджера экспериментов Web UI и автоматизации MLOPS для воспроизводимости и настройки. Он доступен в качестве размещенной службы и открытого исходного кода для развертывания собственного сервера ClearML.
- Agent Clearml - для оркестровки MLOPS, эксперимента и воспроизводимости рабочего процесса и масштабируемости.
Дополнительные модули
- Clearml-Session- запустить удаленную jupyterlab / vscode-server внутри любого докера, на облачных / в машинах
- Clearml -Task - Запустите любую кодовую базу на удаленных машинах с полным удаленным журналом Tensorboard, Matplotlib & Console выходов
- ClearMl -Data - CLI для управления и выпуска версий ваших наборов данных, включая создание/загрузку/загрузку данных из S3/GS/Azure/NAS
- AWS Auto -Scaler - Автоматически вращайте экземпляры EC2 на основе ваших рабочих нагрузок с предварительно сконфигурированным бюджетом! Нет необходимости в Аке!
- Оптимизация гиперпараметра-оптимизируйте любой код с подходом черного ящика и современными алгоритмами байесовской оптимизации
- Автоматическая трубопровод - строительство трубопроводов на основе существующих экспериментов / рабочих мест, поддерживает строительные трубопроводы трубопроводов!
- Slack Integration - Сообщите об экспериментах прогресс / сбой непосредственно в Slack (полностью настраиваемый!)
Почему Clearml?
ClearML-это наше решение проблемы, которую мы разделяем с бесчисленными другими исследователями и разработчиками во вселенной машинного обучения/глубокого обучения: обучение моделей глубокого обучения в производстве-это славный, но грязный процесс. ClearML отслеживает и контролирует процесс, связывая контроль версий кода, исследовательские проекты, показатели эффективности и модель Provenance.
Мы разработали ClearMl специально для того, чтобы потребовать легкую интеграцию, чтобы команды могли сохранить свои существующие методы и практики.
- Используйте его ежедневно, чтобы повысить сотрудничество и видимость в вашей команде
- Создайте удаленную работу из любого эксперимента с нажатием кнопки
- Автоматизируйте процессы и создайте трубопроводы для сбора журналов, выходов и данных экспериментов
- Сохраните все ваши данные в любом решении для хранения объектов, с наиболее простым возможным интерфейсом
- Сделайте ваши данные прозрачными, каталогизируя все это на платформе ClearML
Мы считаем, что Clearml является новаторским. Мы хотим установить новые стандарты истинной бесшовной интеграции между управлением экспериментами, MLOP и управлением данными.
Кто мы
ClearML поддерживается вами и командой Clear.ML, которая помогает корпоративным компаниям создавать масштабируемые MLOPS.
Мы создали ClearML для отслеживания и контроля славного, но грязного процесса обучения моделей глубокого обучения производственного уровня. Мы стремимся энергично поддержать и расширять возможности ClearMl.
Мы обещаем всегда быть обратно совместимым, следя за тем, чтобы все ваши журналы, данные и трубопроводы всегда обновляются с вами.
Лицензия
Apache License, версия 2.0 (см. Лицензию для получения дополнительной информации)
Если ClearMl является частью вашего процесса / проекта / проекта / публикации, пожалуйста, цитируйте нас ❤:
@misc{clearml,
title = {ClearML - Your entire MLOps stack in one open-source tool},
year = {2024},
note = {Software available from http://github.com/allegroai/clearml},
url={https://clear.ml/},
author = {ClearML},
}
Документация, сообщество и поддержка
Для получения дополнительной информации см. Официальную документацию и на YouTube.
Для примеров и вариантов использования проверьте папку «Примеры» и соответствующую документацию.
Если у вас есть какие -либо вопросы: опубликовать на нашем канале Slack или отметьте ваши вопросы на Stackoverflow с тегом « ClearMl » ( ранее Trains Tag ).
Для запросов на функции или отчетов об ошибках, пожалуйста, используйте проблемы GitHub.
Кроме того, вы всегда можете найти нас по адресу [email protected]
Внося
PR всегда приветствуются ❤ Смотрите более подробную информацию в руководящих принципах Clearml для участия.
Пусть сила (и богиня ставок обучения) будет с вами!