clearml agent

Agente ClearML: MLOps/LLMOps simplificados
Solución de programación y orquestación MLOps/LLMOps compatible con Linux, macOS y Windows

? ClearML is open-source - Leave a star to support the project! ?

---

Agente ClearML

Anteriormente conocido como Agente de Trenes

• Ejecute trabajos (experimentos) en cualquier recurso local o basado en la nube.
• Implementar políticas optimizadas de utilización de recursos.
• Implemente entornos de ejecución con virtualenv o completamente en contenedores acoplables sin esfuerzo
• Contenedores de servicios de lanzamiento y olvido
• Escalado automático en la nube
• Limpieza personalizable
• Construcción y ejecución avanzada de tuberías

Es un agente de ejecución de configuración cero que se activa y se olvida, y que proporciona una solución de clúster ML/DL completa.

Automatización completa en 5 pasos

1. ClearML Server hosting de nivel gratuito o autohospedado
2. pip install clearml-agent (instale el agente ClearML en cualquier máquina GPU: local/nube/...)
3. Cree un trabajo o agregue ClearML a su código con solo 2 líneas de código
4. Cambie los parámetros en la interfaz de usuario y programe la ejecución (o automatice con una canalización de AutoML)
5. ? ? ? ?

"Todos los DevOps de aprendizaje profundo/máquina que tu investigación necesita, y algo más... Porque nadie tiene tiempo para eso"

Pruebe ClearML ahora con alojamiento propio o de nivel gratuito

Orquestación de experimentos sencilla y flexible

El agente ClearML se creó para abordar las necesidades de DevOps de investigación y desarrollo de DL/ML:

• Agregue y elimine fácilmente máquinas del clúster
• Reutilizar máquinas sin necesidad de contenedores o imágenes dedicadas
• Combine recursos de GPU en cualquier nube y localmente
• No es necesario configurar yaml/json/plantilla de ningún tipo
• Interfaz de usuario fácil de usar
• Asignación de recursos manejable que pueden utilizar investigadores e ingenieros.
• Programador flexible y controlable con soporte prioritario
• Instancia automática girando en la nube

Con el agente ClearML, ahora puede configurar un clúster dinámico con *epsilon DevOps

*epsilon - ¿Porque lo somos? y nada es realmente trabajo cero

Integración de Kubernetes (opcional)

Creemos que Kubernetes es increíble, pero no es imprescindible para comenzar con agentes de ejecución remota y administración de clústeres. Diseñamos clearml-agent para que pueda ejecutarlo desde cero y sobre Kubernetes, en cualquier combinación que se adapte a su entorno.

Puede encontrar los Dockerfiles en la carpeta Docker y el gráfico de timón en https://github.com/allegroai/clearml-helm-charts

Beneficios de integrar el clúster de Kubernetes existente con ClearML

• ClearML-Agent agrega las capacidades de programación que faltan a su clúster de Kubernetes
• ¡Los usuarios no necesitan tener acceso directo a Kubernetes!
• Curva de aprendizaje sencilla con UI y CLI que no requiere conocimientos de DevOps por parte de los usuarios finales
• A diferencia de otras soluciones, los ClearML-Agents trabajan en conjunto con otros clientes de su clúster de Kubernetes.
• Permite una automatización más flexible desde el código, la construcción de canales y la visibilidad.
• Una interfaz programática para flujos de trabajo de CI/CD sencillos, que permite a GitOps activar trabajos dentro de su clúster
• Integración perfecta con el administrador de experimentos ClearML ML/DL/GenAI
• Interfaz de usuario web para personalización, programación y priorización de trabajos
• Funciones empresariales : RBAC, bóveda, multiinquilino, programador, gestión de cuotas, compatibilidad con GPU fraccionada

Ejecute el agente en modo Kubernetes Glue y asigne los trabajos de ClearML directamente a los trabajos de K8:

• Utilice el gráfico de timón del agente ClearML para hacer girar un módulo de agente que actúa como controlador
  • O ejecute el pegamento clearml-k8s en un nodo de CPU de Kubernetes
• El pegamento clearml-k8s extrae trabajos de la cola de ejecución de trabajos de ClearML y prepara un trabajo de Kubernetes (basado en la plantilla yaml proporcionada).
• Dentro de cada pod, el agente clearml instalará el entorno de trabajo (experimento), girará y monitoreará el proceso del experimento, completamente visible en la interfaz de usuario de clearml.
• Beneficios: vista completa de Kubernetes de todos los trabajos en ejecución en el sistema
• Funciones empresariales
  • Funciones completas del programador agregadas en la parte superior de Kubernetes, con gestión de cuotas/sobrecuotas, prioridades y orden.
  • Compatibilidad con GPU fraccionada, lo que permite que varios contenedores aislados compartan la misma GPU con límite de memoria/cómputo por contenedor

SLURM (Opcional)

¡Sí! La integración de Slurm está disponible, consulte la documentación para obtener más detalles.

Usando el agente ClearML

HPC a gran escala con solo hacer clic en un botón

El agente ClearML es un programador de trabajos que escucha colas de trabajos, extrae trabajos, configura los entornos de trabajo, ejecuta el trabajo y monitorea su progreso.

Cualquier experimento 'borrador' puede programarse para su ejecución por parte de un agente de ClearML.

Un experimento ejecutado previamente se puede poner en estado "Borrador" mediante cualquiera de dos métodos:

• Usar la acción "Restablecer" desde el menú contextual del botón derecho del experimento en la interfaz de usuario de ClearML: esto borrará todos los resultados y artefactos que haya creado la ejecución anterior.
• Uso de la acción "Clonar" desde el menú contextual del botón derecho del experimento en la interfaz de usuario de ClearML: esto creará un nuevo experimento "Borrador" con la misma configuración que el experimento original.

Se programa la ejecución de un experimento mediante la acción "Poner en cola" en el menú contextual del botón derecho del experimento en la interfaz de usuario de ClearML y seleccionando la cola de ejecución.

Consulte crear un experimento y ponerlo en cola para su ejecución.

Una vez que un experimento está en cola, un agente ClearML que monitorea esta cola lo recogerá y ejecutará.

La página ClearML UI Workers & Queues proporciona información de ejecución continua:

• Pestaña Trabajadores: Supervise su clúster
  • Revisar los recursos disponibles
  • Monitorear estadísticas de máquinas (CPU / GPU / Disco / Red)
• Pestaña Colas:
  • Controlar el orden de programación de los trabajos.
  • Cancelar o abortar la ejecución del trabajo
  • Mover trabajos entre colas de ejecución

Qué hace realmente el agente ClearML

El agente ClearML ejecuta experimentos mediante el siguiente proceso:

• Cree un nuevo entorno virtual (o inicie la imagen acoplable seleccionada)
• Clonar el código en el entorno virtual (o dentro de la ventana acoplable)
• Instale paquetes de Python según los requisitos de paquete enumerados para el experimento.
  • Nota especial para PyTorch: el agente ClearML seleccionará automáticamente los paquetes de antorcha según la variable de entorno CUDA_VERSION de la máquina
• Ejecutar el código, mientras se monitorea el proceso.
• Registre todas las salidas estándar/stderr en la interfaz de usuario de ClearML, incluido el proceso de clonación e instalación, para facilitar la depuración.
• Supervise la ejecución y le permita cancelar manualmente el trabajo utilizando la interfaz de usuario de ClearML (o, en el desafortunado caso de un fallo del código, detectar el error e indicar que el experimento ha fallado).

Diseño y flujo del sistema

Instalación del agente ClearML

pip install clearml-agent

Ejemplos de uso del agente ClearML

La interfaz completa y las capacidades están disponibles con

clearml-agent --help
clearml-agent daemon --help

Configuración del agente ClearML

clearml-agent init

Nota: El agente ClearML utiliza una carpeta de caché para almacenar en caché los paquetes pip, los paquetes apt y los repositorios clonados. La carpeta de caché predeterminada del Agente ClearML es ~/.clearml .

Vea todos los detalles en su archivo de configuración en ~/clearml.conf .

Nota: El agente ClearML amplía el archivo de configuración de ClearML ~/clearml.conf . Están diseñados para compartir el mismo archivo de configuración, vea el ejemplo aquí

Ejecutando el agente ClearML

Para depurar y experimentar, inicie el agente ClearML en modo foreground , donde toda la salida se imprime en la pantalla:

clearml-agent daemon --queue default --foreground

Para el modo de servicio real, toda la salida estándar se almacenará automáticamente en un archivo temporal (no es necesario canalizar). Aviso: con el indicador --detached , el agente clearml se ejecutará en segundo plano

clearml-agent daemon --detached --queue default

La asignación de GPU se controla a través del entorno del sistema operativo estándar NVIDIA_VISIBLE_DEVICES o el indicador --gpus (o se deshabilita con --cpu-only ).

Si no se establece ningún indicador y la variable NVIDIA_VISIBLE_DEVICES no existe, todas las GPU se asignarán para clearml-agent .
Si se establece el indicador --cpu-only , o NVIDIA_VISIBLE_DEVICES="none" , no se asignará ninguna gpu para clearml-agent .

Ejemplo: hacer girar dos agentes, uno por GPU en la misma máquina:

Aviso: con el indicador --detached , el agente clearml se ejecutará en segundo plano

clearml-agent daemon --detached --gpus 0 --queue default
clearml-agent daemon --detached --gpus 1 --queue default

Ejemplo: girar dos agentes, extrayendo de la cola dual_gpu dedicada, dos GPU por agente

clearml-agent daemon --detached --gpus 0,1 --queue dual_gpu
clearml-agent daemon --detached --gpus 2,3 --queue dual_gpu

Iniciar el agente ClearML en modo acoplable

Para depurar y experimentar, inicie el agente ClearML en modo foreground , donde toda la salida se imprime en la pantalla.

clearml-agent daemon --queue default --docker --foreground

Para el modo de servicio real, toda la salida estándar se almacenará automáticamente en un archivo (no es necesario canalizar). Aviso: con el indicador --detached , el agente clearml se ejecutará en segundo plano

clearml-agent daemon --detached --queue default --docker

Ejemplo: haga girar dos agentes, uno por gpu en la misma máquina, con la ventana acoplable nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04 predeterminada:

clearml-agent daemon --detached --gpus 0 --queue default --docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04
clearml-agent daemon --detached --gpus 1 --queue default --docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04

Ejemplo: haga girar dos agentes, extrayendo de la cola dual_gpu dedicada, dos GPU por agente, con la ventana acoplable nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04 predeterminada:

clearml-agent daemon --detached --gpus 0,1 --queue dual_gpu --docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04
clearml-agent daemon --detached --gpus 2,3 --queue dual_gpu --docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04

Inicio del agente ClearML: colas prioritarias

También se admiten colas prioritarias; caso de uso de ejemplo:

Cola de alta prioridad: important_jobs , cola de baja prioridad: default

clearml-agent daemon --queue important_jobs default

El agente ClearML primero intentará extraer trabajos de la cola important_jobs y, solo si está vacía, el agente intentará extraer trabajos de la cola default .

Agregar colas, administrar el orden de los trabajos dentro de una cola y mover trabajos entre colas está disponible mediante la interfaz de usuario web; consulte el ejemplo en nuestro servidor gratuito.

Detener el agente ClearML

Para detener la ejecución de un agente ClearML en segundo plano, ejecute la misma línea de comando utilizada para iniciar el agente con --stop agregado. Por ejemplo, para detener el primero de los agentes de una sola gpu de la misma máquina que se muestran arriba:

clearml-agent daemon --detached --gpus 0 --queue default --docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04 --stop

¿Cómo creo un experimento en ClearML Server?

• Integre ClearML con su código

• Ejecute el código en su máquina (Manualmente/PyCharm/Jupyter Notebook)

• Mientras se ejecuta su código, ClearML crea un experimento que registra toda la información de ejecución necesaria:

  • Enlace al repositorio de Git e ID de confirmación (o un cuaderno jupyter completo)
  • Git diff (no estamos diciendo que nunca te comprometas y presiones, pero aun así...)
  • Paquetes de Python utilizados por su código (incluidas las versiones específicas utilizadas)
  • Hiperparámetros
  • Artefactos de entrada

  Ahora tiene una "plantilla" de su experimento con todo lo necesario para la ejecución automatizada.

• En la interfaz de usuario de ClearML, haga clic derecho en el experimento y seleccione "clonar". Se creará una copia de su experimento.

• Ahora tiene un nuevo borrador de experimento clonado de su experimento original; no dude en editarlo.

  • Cambiar los hiperparámetros
  • Cambiar a la última base de código del repositorio
  • Actualizar versiones de paquetes
  • Seleccione una imagen de Docker específica para ejecutar (consulte la sección Modo de ejecución de Docker)
  • O simplemente no cambiar nada para ejecutar el mismo experimento nuevamente...

• Programe la ejecución del experimento recién creado: haga clic con el botón derecho en el experimento y seleccione "poner en cola".

Modo de servicios ClearML-Agent

ClearML-Agent Services es un modo especial de ClearML-Agent que brinda la capacidad de iniciar trabajos de larga duración que antes debían ejecutarse en máquinas locales/dedicadas. Permite que un solo agente inicie múltiples ventanas acoplables (tareas) para diferentes casos de uso:

• Servicio de auto-scaler (girando instancias cuando surge la necesidad y el presupuesto lo permite)
• Controladores (implementación de canalizaciones y lógica DevOps más sofisticada)
• Optimizador (como optimización de hiperparámetros o barrido)
• Aplicación (como aplicaciones Bokeh interactivas para una mayor transparencia de los datos)

El modo ClearML-Agent Services girará cualquier tarea puesta en cola en la cola especificada. Cada tarea iniciada por ClearML-Agent Services se registrará como un nuevo nodo en el sistema, proporcionando capacidades de seguimiento y transparencia. Actualmente, clearml-agent en modo de servicios admite la configuración solo de CPU. El modo de servicios ClearML-Agent se puede iniciar junto con los agentes GPU.

clearml-agent daemon --services-mode --detached --queue services --create-queue --docker ubuntu:18.04 --cpu-only

Nota : Es responsabilidad del usuario asegurarse de que las tareas adecuadas se envíen a la cola especificada.

Canalizaciones de AutoML y orquestación

El agente ClearML también se puede utilizar para implementar la orquestación de AutoML y los canales de experimentos junto con el paquete ClearML.

Se pueden encontrar ejemplos de AutoML y orquestación en la carpeta de ejemplo/automatización de ClearML.

Ejemplos de AutoML:

• Experimento de entrenamiento de Toy Keras
  • Para crear una plantilla de experimento en el sistema, este código debe ejecutarse una vez manualmente.
• Búsqueda aleatoria sobre la plantilla de experimento de Keras anterior
  • Este ejemplo creará múltiples copias de la plantilla de experimento de Keras, con diferentes combinaciones de hiperparámetros.

Ejemplos de canalización de experimentos:

• Experimento del primer paso
  • Este ejemplo "procesará datos" y, una vez hecho esto, lanzará una copia de la plantilla de experimento del "segundo paso".
• Experimento del segundo paso
  • Para crear una plantilla de experimento en el sistema, este código debe ejecutarse una vez manualmente.

Licencia

Licencia Apache, Versión 2.0 (consulte la LICENCIA para obtener más información)