clearml agent

ClearML Agent - MLOps/LLMOps simplifiés
Solution de planification et d'orchestration MLOps/LLMOps prenant en charge Linux, macOS et Windows

? ClearML is open-source - Leave a star to support the project! ?

---

Agent ClearML

Anciennement connu sous le nom d'agent des trains

• Exécutez des tâches (expériences) sur n'importe quelle ressource locale ou basée sur le cloud
• Mettre en œuvre des politiques d’utilisation optimisée des ressources
• Déployez des environnements d'exécution avec virtualenv ou entièrement conteneurisés Docker sans effort
• Conteneurs de services Lancer et oublier
• Mise à l'échelle automatique du cloud
• Nettoyage personnalisable
• Création et exécution avancées de pipelines

Il s'agit d'un agent d'exécution sans configuration, sans configuration, fournissant une solution de cluster ML/DL complète.

Automatisation complète en 5 étapes

1. Hébergement ClearML Server auto-hébergé ou de niveau gratuit
2. pip install clearml-agent (installez l'agent ClearML sur n'importe quelle machine GPU : sur site / cloud / ...)
3. Créez une tâche ou ajoutez ClearML à votre code avec seulement 2 lignes de code
4. Modifiez les paramètres dans l'interface utilisateur et planifiez l'exécution (ou automatisez avec un pipeline AutoML)
5. ? ? ? ?

"Tous les DevOps Deep/Machine Learning dont votre recherche a besoin, et plus encore... Parce que personne n'a le temps pour ça"

Essayez ClearML maintenant Hébergement auto-hébergé ou gratuit

Orchestration d’expériences simple et flexible

L'agent ClearML a été conçu pour répondre aux besoins DevOps R&D DL/ML :

• Ajoutez et supprimez facilement des machines du cluster
• Réutilisez les machines sans avoir besoin de conteneurs ou d'images dédiés
• Combinez les ressources GPU sur n'importe quel cloud et sur site
• Pas besoin de configuration yaml / json / template d'aucune sorte
• Interface utilisateur conviviale
• Allocation de ressources gérable qui peut être utilisée par les chercheurs et les ingénieurs
• Planificateur flexible et contrôlable avec support prioritaire
• Instance automatique tournant dans le cloud

À l'aide de l'agent ClearML, vous pouvez désormais configurer un cluster dynamique avec *epsilon DevOps

*epsilon - Parce que nous le sommes ? et rien n'est vraiment zéro travail

Intégration Kubernetes (facultatif)

Nous pensons que Kubernetes est génial, mais ce n'est pas indispensable pour se lancer dans les agents d'exécution à distance et la gestion de cluster. Nous avons conçu clearml-agent pour que vous puissiez exécuter à la fois sur système nu et sur Kubernetes, dans n'importe quelle combinaison adaptée à votre environnement.

Vous pouvez trouver les fichiers Dockerfiles dans le dossier docker et le graphique helm sur https://github.com/allegroai/clearml-helm-charts

Avantages de l'intégration du cluster Kubernetes existant avec ClearML

• ClearML-Agent ajoute les fonctionnalités de planification manquantes à votre cluster Kubernetes
• Les utilisateurs n’ont pas besoin d’avoir un accès direct à Kubernetes !
• Courbe d'apprentissage facile avec l'interface utilisateur et la CLI ne nécessitant aucune connaissance DevOps de la part des utilisateurs finaux
• Contrairement à d'autres solutions, les ClearML-Agents fonctionnent en tandem avec d'autres clients de votre cluster Kubernetes.
• Permet une automatisation plus flexible du code, de la création de pipelines et de la visibilité
• Une interface de programmation pour des flux de travail CI/CD simples, permettant à GitOps de déclencher des tâches au sein de votre cluster
• Intégration transparente avec le gestionnaire d'expériences ClearML ML/DL/GenAI
• Interface utilisateur Web pour la personnalisation, la planification et la priorisation des tâches
• Fonctionnalités d'entreprise : RBAC, coffre-fort, multilocation, planificateur, gestion des quotas, prise en charge du GPU fractionné

Exécutez l'agent en mode Kubernetes Glue et mappez les tâches ClearML directement aux tâches K8 :

• Utilisez le ClearML Agent Helm Chart pour faire tourner un pod d'agent agissant en tant que contrôleur
  • Ou exécutez la colle clearml-k8s sur un nœud CPU Kubernetes
• La colle clearml-k8s extrait les tâches de la file d'attente d'exécution des tâches ClearML et prépare une tâche Kubernetes (basée sur le modèle yaml fourni)
• À l'intérieur de chaque pod, l'agent clearml installera l'environnement de travail (expérience), tournera et surveillera le processus de l'expérience, entièrement visible dans l'interface utilisateur clearml.
• Avantages : vue complète Kubernetes de toutes les tâches en cours d'exécution dans le système
• Fonctionnalités d'entreprise
  • Fonctionnalités complètes de planification ajoutées sur Top de Kubernetes, avec gestion des quotas/sur-quotas, des priorités et de l'ordre.
  • Prise en charge fractionnée du GPU, permettant à plusieurs conteneurs isolés partageant le même GPU avec une limite de mémoire/calcul par conteneur

SLURM (Facultatif)

Oui! L'intégration Slurm est disponible, consultez la documentation pour plus de détails

Utilisation de l'agent ClearML

HPC à grande échelle en un seul clic

L'agent ClearML est un planificateur de travaux qui écoute les files d'attente de travaux, extrait les travaux, définit les environnements de travail, exécute le travail et surveille sa progression.

Toute expérience « brouillon » peut être programmée pour être exécutée par un agent ClearML.

Une expérience précédemment exécutée peut être mise à l'état « Brouillon » par l'une des deux méthodes suivantes :

• Utilisation de l'action « Réinitialiser » dans le menu contextuel du clic droit de l'expérience dans l'interface utilisateur ClearML : cela effacera tous les résultats et artefacts créés par l'exécution précédente.
• Utilisation de l'action « Cloner » dans le menu contextuel du clic droit de l'expérience dans l'interface utilisateur ClearML : cela créera une nouvelle expérience « Brouillon » avec la même configuration que l'expérience d'origine.

L'exécution d'une expérience est planifiée à l'aide de l'action « Mettre en file d'attente » dans le menu contextuel de l'expérience en cliquant avec le bouton droit dans l'interface utilisateur ClearML et en sélectionnant la file d'attente d'exécution.

Voir créer une expérience et la mettre en file d'attente pour son exécution.

Une fois qu'une expérience est mise en file d'attente, elle sera récupérée et exécutée par un agent ClearML surveillant cette file d'attente.

La page Travailleurs et files d'attente de l'interface utilisateur ClearML fournit des informations sur l'exécution continue :

• Onglet Workers : surveillez votre cluster
  • Examiner les ressources disponibles
  • Surveiller les statistiques des machines (CPU / GPU / Disque / Réseau)
• Onglet Files d'attente :
  • Contrôler l'ordre de planification des tâches
  • Annuler ou abandonner l'exécution du travail
  • Déplacer les tâches entre les files d'attente d'exécution

Ce que fait réellement l'agent ClearML

L'agent ClearML exécute des expériences en utilisant le processus suivant :

• Créez un nouvel environnement virtuel (ou lancez l'image Docker sélectionnée)
• Clonez le code dans l'environnement virtuel (ou dans le docker)
• Installez les packages Python en fonction des exigences de package répertoriées pour l'expérience
  • Note spéciale pour PyTorch : l'agent ClearML sélectionnera automatiquement les packages Torch en fonction de la variable d'environnement CUDA_VERSION de la machine.
• Exécuter le code, tout en surveillant le processus
• Enregistrez tous les stdout/stderr dans l'interface utilisateur ClearML, y compris le processus de clonage et d'installation, pour un débogage facile
• Surveillez l'exécution et permettez-vous d'abandonner manuellement le travail à l'aide de l'interface utilisateur ClearML (ou, dans le cas malheureux d'un crash de code, détectez l'erreur et signalez que l'expérience a échoué)

Conception et flux du système

Installation de l'agent ClearML

pip install clearml-agent

Exemples d'utilisation de l'agent ClearML

L'interface complète et les fonctionnalités sont disponibles avec

clearml-agent --help
clearml-agent daemon --help

Configuration de l'agent ClearML

clearml-agent init

Remarque : L'agent ClearML utilise un dossier de cache pour mettre en cache les packages pip, les packages apt et les référentiels clonés. Le dossier de cache par défaut de l'agent ClearML est ~/.clearml .

Voir tous les détails dans votre fichier de configuration à ~/clearml.conf .

Remarque : L' agent ClearML étend le fichier de configuration ClearML ~/clearml.conf . Ils sont conçus pour partager le même fichier de configuration, voir exemple ici

Exécution de l'agent ClearML

Pour le débogage et l'expérimentation, démarrez l'agent ClearML en mode foreground , où toutes les sorties sont imprimées à l'écran :

clearml-agent daemon --queue default --foreground

Pour le mode service réel, toutes les sorties standard seront automatiquement stockées dans un fichier temporaire (pas besoin de canaliser). Remarque : avec l'indicateur --detached , l' agent clearml s'exécutera en arrière-plan

clearml-agent daemon --detached --queue default

L'allocation GPU est contrôlée via l'environnement de système d'exploitation standard NVIDIA_VISIBLE_DEVICES ou l'indicateur --gpus (ou désactivée avec --cpu-only ).

Si aucun indicateur n'est défini et que la variable NVIDIA_VISIBLE_DEVICES n'existe pas, tous les GPU seront alloués au clearml-agent .
Si l'indicateur --cpu-only est défini, ou NVIDIA_VISIBLE_DEVICES="none" , aucun GPU ne sera alloué pour le clearml-agent .

Exemple : faites tourner deux agents, un par GPU sur la même machine :

Remarque : avec l'indicateur --detached , l' agent clearml s'exécutera en arrière-plan

clearml-agent daemon --detached --gpus 0 --queue default
clearml-agent daemon --detached --gpus 1 --queue default

Exemple : faites tourner deux agents, en les extrayant de la file d'attente dual_gpu dédiée, deux GPU par agent

clearml-agent daemon --detached --gpus 0,1 --queue dual_gpu
clearml-agent daemon --detached --gpus 2,3 --queue dual_gpu

Démarrage de l'agent ClearML en mode Docker

Pour le débogage et l'expérimentation, démarrez l'agent ClearML en mode foreground , où toutes les sorties sont imprimées à l'écran.

clearml-agent daemon --queue default --docker --foreground

Pour le mode service réel, toutes les sorties standard seront automatiquement stockées dans un fichier (pas besoin de canaliser). Remarque : avec l'indicateur --detached , l' agent clearml s'exécutera en arrière-plan

clearml-agent daemon --detached --queue default --docker

Exemple : faites tourner deux agents, un par GPU sur la même machine, avec le docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04 par défaut :

clearml-agent daemon --detached --gpus 0 --queue default --docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04
clearml-agent daemon --detached --gpus 1 --queue default --docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04

Exemple : faites tourner deux agents, en extrayant de la file d'attente dual_gpu dédiée, deux GPU par agent, avec le docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04 par défaut :

clearml-agent daemon --detached --gpus 0,1 --queue dual_gpu --docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04
clearml-agent daemon --detached --gpus 2,3 --queue dual_gpu --docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04

Démarrage de l'agent ClearML - Files d'attente prioritaires

Les files d'attente prioritaires sont également prises en charge, exemple de cas d'utilisation :

File d'attente haute priorité : important_jobs , file d'attente basse priorité : default

clearml-agent daemon --queue important_jobs default

L' agent ClearML essaiera d'abord d'extraire les tâches de la file d' important_jobs , et seulement si elle est vide, l'agent tentera d'extraire les tâches de la file d' default .

L'ajout de files d'attente, la gestion de l'ordre des tâches dans une file d'attente et le déplacement des tâches entre les files d'attente sont disponibles à l'aide de l'interface utilisateur Web, voir l'exemple sur notre serveur gratuit.

Arrêt de l'agent ClearML

Pour arrêter un agent ClearML exécuté en arrière-plan, exécutez la même ligne de commande utilisée pour démarrer l'agent avec --stop ajouté. Par exemple, pour arrêter la première des mêmes machines illustrées ci-dessus, des agents GPU uniques :

clearml-agent daemon --detached --gpus 0 --queue default --docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04 --stop

Comment créer une expérience sur le serveur ClearML ?

• Intégrez ClearML à votre code

• Exécutez le code sur votre machine (Manuellement / PyCharm / Jupyter Notebook)

• Pendant l'exécution de votre code, ClearML crée une expérience enregistrant toutes les informations d'exécution nécessaires :

  • Lien du référentiel Git et ID de validation (ou un notebook Jupyter entier)
  • Git diff (nous ne disons pas que vous ne vous engagez jamais et ne poussez jamais, mais quand même...)
  • Packages Python utilisés par votre code (y compris les versions spécifiques utilisées)
  • Hyperparamètres
  • Artefacts d'entrée

  Vous disposez désormais d'un « modèle » de votre expérience avec tout ce qui est requis pour une exécution automatisée.

• Dans l'interface utilisateur ClearML, cliquez avec le bouton droit sur l'expérience et sélectionnez « cloner ». Une copie de votre expérience sera créée.

• Vous disposez désormais d'un nouveau brouillon de test cloné à partir de votre test d'origine. N'hésitez pas à le modifier.

  • Changer les hyperparamètres
  • Basculer vers la dernière base de code du référentiel
  • Mettre à jour les versions du package
  • Sélectionnez une image Docker spécifique à exécuter (voir la section Mode d'exécution Docker)
  • Ou simplement ne rien changer pour refaire la même expérience...

• Planifiez l'exécution de l'expérience nouvellement créée : cliquez avec le bouton droit sur l'expérience et sélectionnez « mettre en file d'attente »

Mode de services ClearML-Agent

ClearML-Agent Services est un mode spécial de ClearML-Agent qui offre la possibilité de lancer des tâches de longue durée qui devaient auparavant être exécutées sur des machines locales/dédiées. Il permet à un seul agent de lancer plusieurs dockers (tâches) pour différents cas d'utilisation :

• Service de mise à l'échelle automatique (instances tournantes lorsque le besoin s'en fait sentir et que le budget le permet)
• Contrôleurs (implémentation de pipelines et d'une logique DevOps plus sophistiquée)
• Optimiseur (tel que l'optimisation des hyperparamètres ou le balayage)
• Application (telle que les applications interactives Bokeh pour une transparence accrue des données)

Le mode ClearML-Agent Services fera tourner toutes les tâches mises en file d'attente dans la file d'attente spécifiée. Chaque tâche lancée par ClearML-Agent Services sera enregistrée en tant que nouveau nœud dans le système, offrant des capacités de suivi et de transparence. Actuellement, clearml-agent en mode services prend en charge la configuration du processeur uniquement. Le mode services ClearML-Agent peut être lancé avec les agents GPU.

clearml-agent daemon --services-mode --detached --queue services --create-queue --docker ubuntu:18.04 --cpu-only

Remarque : Il est de la responsabilité de l'utilisateur de s'assurer que les tâches appropriées sont placées dans la file d'attente spécifiée.

Pipelines AutoML et d'orchestration

L'agent ClearML peut également être utilisé pour implémenter l'orchestration AutoML et les pipelines d'expérimentation en conjonction avec le package ClearML.

Des exemples d’exemples AutoML et Orchestration peuvent être trouvés dans le dossier ClearML example/automation.

Exemples AutoML :

• Expérience de formation Toy Keras
  • Afin de créer un modèle d'expérience dans le système, ce code doit être exécuté une fois manuellement
• Recherche aléatoire sur le modèle d'expérience Keras ci-dessus
  • Cet exemple créera plusieurs copies du modèle d'expérience Keras, avec différentes combinaisons d'hyperparamètres.

Exemples de pipelines d'expérimentation :

• Expérience de première étape
  • Cet exemple "traitera les données" et, une fois terminé, lancera une copie du modèle d'expérience "deuxième étape".
• Expérience de deuxième étape
  • Afin de créer un modèle d'expérience dans le système, ce code doit être exécuté une fois manuellement

Licence

Licence Apache, version 2.0 (voir la LICENCE pour plus d'informations)