clearml agent

Агент ClearML — MLOps/LLMOps стало проще
Решение для планировщика и оркестрации MLOps/LLMOps, поддерживающее Linux, macOS и Windows

? ClearML is open-source - Leave a star to support the project! ?

---

ClearML-Агент

Ранее известный как Агент поездов

• Запускайте задания (эксперименты) на любом локальном или облачном ресурсе.
• Внедрение политик оптимизированного использования ресурсов.
• Развертывайте среды выполнения с помощью Virtualenv или полностью Docker-контейнера без каких-либо усилий.
• Сервисные контейнеры «запусти и забудь»
• Автомасштабирование облака
• Настраиваемая очистка
• Расширенное построение и реализация конвейера

Это агент выполнения с нулевой конфигурацией, работающий по принципу «запустил и забыл», предоставляющий полное кластерное решение ML/DL.

Полная автоматизация за 5 шагов

1. Самостоятельный или бесплатный хостинг ClearML Server
2. pip install clearml-agent (установите агент ClearML на любой компьютер с графическим процессором: локально/облако/...)
3. Создайте задание или добавьте ClearML в свой код всего с помощью двух строк кода.
4. Измените параметры пользовательского интерфейса и запланируйте выполнение (или автоматизируйте с помощью конвейера AutoML).
5. ? ? ? ?

«Все DevOps глубокого/машинного обучения, которые нужны вашим исследованиям, а также кое-что… Потому что ни у кого нет на это времени»

Попробуйте ClearML сейчас на самостоятельном хостинге или на бесплатном хостинге

Простая и гибкая организация эксперимента

Агент ClearML был создан для удовлетворения потребностей DevOps в области исследований и разработок DL/ML:

• Легко добавлять и удалять машины из кластера
• Повторное использование машин без необходимости использования каких-либо специальных контейнеров или изображений.
• Объедините ресурсы графического процессора в любом облаке и локально.
• Нет необходимости в какой-либо конфигурации yaml/json/шаблона.
• Удобный пользовательский интерфейс
• Управляемое распределение ресурсов, которое могут использовать исследователи и инженеры.
• Гибкий и управляемый планировщик с приоритетной поддержкой
• Автоматическое вращение экземпляра в облаке

Используя агент ClearML, теперь вы можете настроить динамический кластер с *epsilon DevOps.

*эпсилон - Потому что мы такие? и ничего на самом деле ноль работы

Интеграция Kubernetes (необязательно)

Мы считаем, что Kubernetes — это здорово, но не обязательно начинать работу с агентами удаленного выполнения и управлением кластером. Мы разработали clearml-agent , чтобы вы могли запускать его как на «голом железе», так и поверх Kubernetes, в любой комбинации, подходящей для вашей среды.

Вы можете найти файлы Dockerfile в папке docker и диаграмму Helm в https://github.com/allegroai/clearml-helm-charts.

Преимущества интеграции существующего кластера Kubernetes с ClearML

• ClearML-Agent добавляет недостающие возможности планирования в ваш кластер Kubernetes.
• Пользователям не обязательно иметь прямой доступ к Kubernetes!
• Простота обучения благодаря пользовательскому интерфейсу и интерфейсу командной строки, не требующая от конечных пользователей знаний DevOps.
• В отличие от других решений, ClearML-Agents работают в тандеме с другими клиентами вашего кластера Kubernetes.
• Обеспечивает более гибкую автоматизацию кода, построения конвейеров и прозрачности.
• Программный интерфейс для простых рабочих процессов CI/CD, позволяющий GitOps запускать задания внутри вашего кластера.
• Полная интеграция с менеджером экспериментов ClearML ML/DL/GenAI.
• Веб-интерфейс для настройки, планирования и определения приоритетов заданий.
• Корпоративные функции : RBAC, хранилище, многопользовательская среда, планировщик, управление квотами, частичная поддержка графического процессора.

Запустите агент в режиме Kubernetes Glue, чтобы сопоставить задания ClearML непосредственно с заданиями K8s:

• Используйте контрольную диаграмму агента ClearML для запуска модуля агента, действующего в качестве контроллера.
  • Или запустите связующее средство Clearml-k8s на узле процессора Kubernetes.
• Связующий элементclearml-k8s извлекает задания из очереди выполнения заданий ClearML и подготавливает задание Kubernetes (на основе предоставленного шаблона yaml).
• Внутри каждого модуля Clearml-агент установит среду задания (эксперимента), будет вращаться и контролировать процесс эксперимента, полностью видимый в пользовательском интерфейсе Clearml.
• Преимущества: полный обзор Kubernetes всех запущенных заданий в системе.
• Корпоративные функции
  • В Top of Kubernetes добавлены полные функции планировщика с управлением квотами и превышениями квот, приоритетами и порядком.
  • Поддержка дробного графического процессора, позволяющая нескольким изолированным контейнерам использовать один и тот же графический процессор с ограничением памяти/вычислений для каждого контейнера.

СЛУРМ (необязательно)

Да! Доступна интеграция Slurm, дополнительную информацию можно найти в документации.

Использование агента ClearML

Полномасштабные высокопроизводительные вычисления одним нажатием кнопки

Агент ClearML — это планировщик заданий, который прослушивает очереди заданий, извлекает задания, устанавливает среду заданий, выполняет задание и отслеживает его ход.

Любой эксперимент «Проект» можно запланировать для выполнения агентом ClearML.

Ранее проведенный эксперимент можно перевести в состояние «Черновик» одним из двух способов:

• Использование действия «Сброс» в контекстном меню эксперимента, вызываемого правой кнопкой мыши в пользовательском интерфейсе ClearML. Это приведет к удалению всех результатов и артефактов, созданных предыдущим запуском.
• Использование действия «Клонировать» в контекстном меню эксперимента, вызываемого правой кнопкой мыши в пользовательском интерфейсе ClearML. При этом будет создан новый эксперимент «Черновик» с той же конфигурацией, что и исходный эксперимент.

Выполнение эксперимента планируется с помощью действия «Поставить в очередь» из контекстного меню эксперимента, вызываемого правой кнопкой мыши в пользовательском интерфейсе ClearML, и выбора очереди выполнения.

См. раздел Создание эксперимента и постановка его в очередь на выполнение.

Как только эксперимент будет поставлен в очередь, он будет выбран и выполнен агентом ClearML, контролирующим эту очередь.

Страница ClearML UI Workers & Queues предоставляет информацию о текущем выполнении:

• Вкладка «Рабочие»: мониторинг кластера
  • Просмотрите доступные ресурсы
  • Мониторинг статистики машин (ЦП/ГП/Диск/Сеть)
• Вкладка «Очереди»:
  • Контролируйте порядок планирования заданий
  • Отменить или прервать выполнение задания
  • Перемещайте задания между очередями выполнения

Что на самом деле делает агент ClearML

Агент ClearML выполняет эксперименты, используя следующий процесс:

• Создайте новую виртуальную среду (или запустите выбранный образ докера)
• Клонируйте код в виртуальную среду (или внутри докера).
• Установите пакеты Python в соответствии с требованиями пакета, указанными для эксперимента.
  • Специальное примечание для PyTorch: агент ClearML автоматически выберет пакеты torch на основе переменной среды CUDA_VERSION компьютера.
• Выполняйте код, наблюдая за процессом
• Регистрируйте все stdout/stderr в пользовательском интерфейсе ClearML, включая процесс клонирования и установки, для упрощения отладки.
• Контролируйте выполнение и позвольте вам вручную прервать задание с помощью пользовательского интерфейса ClearML (или, в случае неудачного сбоя кода, уловить ошибку и сообщить, что эксперимент не удался).

Проектирование системы и поток

Установка агента ClearML

pip install clearml-agent

Примеры использования агента ClearML

Полный интерфейс и возможности доступны с

clearml-agent --help
clearml-agent daemon --help

Настройка агента ClearML

clearml-agent init

Примечание. Агент ClearML использует папку кэша для кэширования пакетов pip, пакетов apt и клонированных репозиториев. Папкой кэша агента ClearML по умолчанию является ~/.clearml .

Полную информацию смотрите в файле конфигурации ~/clearml.conf .

Примечание. Агент ClearML расширяет файл конфигурации ClearML ~/clearml.conf . Они предназначены для использования одного и того же файла конфигурации, см. пример здесь.

Запуск агента ClearML

Для отладки и экспериментов запустите агент ClearML в режиме foreground , где все выходные данные выводятся на экран:

clearml-agent daemon --queue default --foreground

В реальном режиме обслуживания весь стандартный вывод будет автоматически сохранен во временный файл (нет необходимости в конвейере). Примечание: с флагом --detached агент Clearml будет работать в фоновом режиме.

clearml-agent daemon --detached --queue default

Распределение графического процессора контролируется с помощью стандартной среды ОС NVIDIA_VISIBLE_DEVICES или флага --gpus (или отключается с помощью --cpu-only ).

Если флаг не установлен и переменная NVIDIA_VISIBLE_DEVICES не существует, все графические процессоры будут выделены для clearml-agent .
Если установлен флаг --cpu-only или NVIDIA_VISIBLE_DEVICES="none" , графический процессор не будет выделен для clearml-agent .

Пример: запустите два агента, по одному на каждый графический процессор, на одной машине:

Примечание: с флагом --detached агент Clearml будет работать в фоновом режиме.

clearml-agent daemon --detached --gpus 0 --queue default
clearml-agent daemon --detached --gpus 1 --queue default

Пример: задействовать два агента, извлекая их из выделенной очереди dual_gpu , по два графических процессора на агента.

clearml-agent daemon --detached --gpus 0,1 --queue dual_gpu
clearml-agent daemon --detached --gpus 2,3 --queue dual_gpu

Запуск агента ClearML в режиме докера

Для отладки и экспериментов запустите агент ClearML в режиме foreground , где все выходные данные выводятся на экран.

clearml-agent daemon --queue default --docker --foreground

В реальном режиме обслуживания весь стандартный вывод будет автоматически сохранен в файле (нет необходимости в конвейере). Примечание: с флагом --detached агент Clearml будет работать в фоновом режиме.

clearml-agent daemon --detached --queue default --docker

Пример: запустите два агента, по одному на каждый графический процессор, на одном компьютере с докером nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04 по умолчанию:

clearml-agent daemon --detached --gpus 0 --queue default --docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04
clearml-agent daemon --detached --gpus 1 --queue default --docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04

Пример: запустите два агента, извлекая их из выделенной очереди dual_gpu , по два графических процессора на агент, с докером nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04 по умолчанию:

clearml-agent daemon --detached --gpus 0,1 --queue dual_gpu --docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04
clearml-agent daemon --detached --gpus 2,3 --queue dual_gpu --docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04

Запуск агента ClearML — приоритетные очереди

Также поддерживаются приоритетные очереди, пример использования:

Очередь с высоким приоритетом: important_jobs , очередь с низким приоритетом: default

clearml-agent daemon --queue important_jobs default

Агент ClearML сначала попытается извлечь задания из очереди important_jobs , и только если она пуста, агент попытается извлечь задания из очереди default .

Добавление очередей, управление порядком заданий внутри очереди и перемещение заданий между очередями доступны с помощью веб-интерфейса, см. пример на нашем бесплатном сервере.

Остановка агента ClearML

Чтобы остановить работу агента ClearML в фоновом режиме, запустите ту же командную строку, которая использовалась для запуска агента, с добавлением --stop . Например, чтобы остановить первый из показанных выше компьютеров, агенты с одним графическим процессором:

clearml-agent daemon --detached --gpus 0 --queue default --docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04 --stop

Как создать эксперимент на сервере ClearML?

• Интегрируйте ClearML в свой код

• Выполните код на своем компьютере (Вручную/PyCharm/Jupyter Notebook)

• Пока ваш код выполняется, ClearML создает эксперимент, записывая всю необходимую информацию о выполнении:

  • Ссылка на репозиторий Git и идентификатор фиксации (или весь блокнот Jupyter)
  • Git diff (мы не говорим, что вы никогда не коммитите и не отправляете, но все же...)
  • Пакеты Python, используемые вашим кодом (включая определенные используемые версии)
  • Гиперпараметры
  • Входные артефакты

  Теперь у вас есть «шаблон» вашего эксперимента со всем необходимым для автоматического выполнения.

• В пользовательском интерфейсе ClearML щелкните эксперимент правой кнопкой мыши и выберите «клонировать». Будет создана копия вашего эксперимента.

• Теперь у вас есть новый проект эксперимента, клонированный из исходного эксперимента. Не стесняйтесь его редактировать.

  • Измените гиперпараметры
  • Переключиться на последнюю кодовую базу репозитория
  • Обновить версии пакета
  • Выберите конкретный образ Docker для запуска (см. раздел «Режим выполнения Docker»).
  • Или просто ничего не менять, чтобы снова провести тот же эксперимент...

• Запланируйте выполнение только что созданного эксперимента: щелкните эксперимент правой кнопкой мыши и выберите «Поставить в очередь».

Режим служб ClearML-агента

ClearML-Agent Services — это специальный режим ClearML-Agent, который обеспечивает возможность запуска длительных заданий, которые раньше приходилось выполнять на локальных/выделенных машинах. Он позволяет одному агенту запускать несколько докеров (задач) для разных вариантов использования:

• Услуга автомасштабирования (раскручивание экземпляров, когда возникает необходимость и позволяет бюджет)
• Контроллеры (реализация конвейеров и более сложной логики DevOps)
• Оптимизатор (например, оптимизация гиперпараметров или очистка)
• Приложение (например, интерактивные приложения Bokeh для повышения прозрачности данных)

В режиме ClearML-Agent Services любая задача, поставленная в указанную очередь, будет вращаться. Каждая задача, запущенная ClearML-Agent Services, будет зарегистрирована как новый узел в системе, что обеспечивает возможности отслеживания и прозрачности. В настоящее время Clearml-агент в режиме служб поддерживает настройку только ЦП. Режим служб ClearML-Agent можно запустить вместе с агентами GPU.

clearml-agent daemon --services-mode --detached --queue services --create-queue --docker ubuntu:18.04 --cpu-only

Примечание . Пользователь несет ответственность за то, чтобы правильные задачи помещались в указанную очередь.

AutoML и конвейеры оркестрации

Агент ClearML также можно использовать для реализации оркестрации AutoML и конвейеров экспериментов в сочетании с пакетом ClearML.

Примеры примеров AutoML и оркестровки можно найти в папке примеров/автоматизации ClearML.

Примеры АвтоМЛ:

• Тренировочный эксперимент игрушечного Кераса
  • Для того, чтобы создать в системе эксперимент-шаблон, этот код необходимо один раз выполнить вручную.
• Случайный поиск по приведенному выше шаблону эксперимента Keras
  • В этом примере будет создано несколько копий шаблона эксперимента Keras с различными комбинациями гиперпараметров.

Примеры экспериментального конвейера:

• Первый шаг эксперимента
  • Этот пример будет «обрабатывать данные», и после завершения запустит копию шаблона эксперимента «второго шага».
• Второй этап эксперимента
  • Для того, чтобы создать в системе эксперимент-шаблон, этот код необходимо один раз выполнить вручную.

Лицензия

Лицензия Apache, версия 2.0 (дополнительную информацию см. в ЛИЦЕНЗИИ)