clearml agent

ClearML Agent – ​​MLOps/LLMOps leicht gemacht
MLOps/LLMOps-Planer- und Orchestrierungslösung, die Linux, macOS und Windows unterstützt

? ClearML is open-source - Leave a star to support the project! ?

---

ClearML-Agent

Früher bekannt als Trains Agent

• Führen Sie Jobs (Experimente) auf jeder lokalen oder cloudbasierten Ressource aus
• Implementieren Sie optimierte Richtlinien zur Ressourcennutzung
• Stellen Sie Ausführungsumgebungen mit Virtualenv oder vollständig Docker-Container ohne Aufwand bereit
• Servicecontainer zum Starten und Vergessen
• Cloud-Autoskalierung
• Anpassbare Bereinigung
• Erweiterter Pipeline-Aufbau und -Ausführung

Es handelt sich um einen Fire-and-Forget-Ausführungsagenten ohne Konfiguration, der eine vollständige ML/DL-Clusterlösung bietet.

Vollständige Automatisierung in 5 Schritten

1. Selbstgehosteter ClearML-Server oder kostenloses Hosting
2. pip install clearml-agent (Installieren Sie den ClearML-Agenten auf einer beliebigen GPU-Maschine: lokal / in der Cloud / ...)
3. Erstellen Sie einen Job oder fügen Sie ClearML mit nur zwei Codezeilen zu Ihrem Code hinzu
4. Ändern Sie die Parameter in der Benutzeroberfläche und planen Sie die Ausführung (oder automatisieren Sie mit einer AutoML-Pipeline).
5. ? ? ? ?

„Alle Deep/Machine-Learning-DevOps, die Ihre Forschung braucht, und noch mehr … Denn dafür hat niemand Zeit.“

Testen Sie ClearML jetzt selbst gehostet oder als kostenloses Hosting

Einfache, flexible Experimentorchestrierung

Der ClearML-Agent wurde entwickelt, um die Anforderungen von DL/ML R&D DevOps zu erfüllen:

• Fügen Sie ganz einfach Maschinen zum Cluster hinzu und entfernen Sie sie daraus
• Verwenden Sie Maschinen wieder, ohne dass spezielle Container oder Bilder erforderlich sind
• Kombinieren Sie GPU-Ressourcen in jeder Cloud und vor Ort
• Es ist keine Yaml-/JSON-/Template-Konfiguration jeglicher Art erforderlich
• Benutzerfreundliche Benutzeroberfläche
• Überschaubare Ressourcenzuweisung, die von Forschern und Ingenieuren genutzt werden kann
• Flexibler und kontrollierbarer Planer mit Prioritätsunterstützung
• Automatisches Instanz-Spinning in der Cloud

Mit dem ClearML Agent können Sie jetzt einen dynamischen Cluster mit *epsilon DevOps einrichten

*epsilon – Weil wir es sind? und nichts ist wirklich null Arbeit

Kubernetes-Integration (optional)

Wir finden Kubernetes großartig, aber es ist kein Muss, um mit Remote-Ausführungsagenten und Cluster-Management zu beginnen. Wir haben clearml-agent so entwickelt, dass Sie sowohl Bare-Metal als auch auf Kubernetes ausführen können, in jeder Kombination, die zu Ihrer Umgebung passt.

Sie finden die Docker-Dateien im Docker-Ordner und das Helm-Chart unter https://github.com/allegroai/clearml-helm-charts

Vorteile der Integration vorhandener Kubernetes-Cluster mit ClearML

• ClearML-Agent fügt Ihrem Kubernetes-Cluster die fehlenden Planungsfunktionen hinzu
• Benutzer benötigen keinen direkten Kubernetes-Zugriff!
• Einfache Lernkurve mit UI und CLI, die keine DevOps-Kenntnisse von Endbenutzern erfordern
• Im Gegensatz zu anderen Lösungen arbeiten ClearML-Agents mit anderen Kunden Ihres Kubernetes-Clusters zusammen
• Ermöglicht eine flexiblere Automatisierung von Code, Erstellung von Pipelines und Sichtbarkeit
• Eine programmgesteuerte Schnittstelle für einfache CI/CD-Workflows, die es GitOps ermöglicht, Jobs innerhalb Ihres Clusters auszulösen
• Nahtlose Integration mit dem ClearML ML/DL/GenAI-Experimentmanager
• Web-Benutzeroberfläche zur Anpassung, Planung und Priorisierung von Jobs
• Unternehmensfunktionen : RBAC, Tresor, Mandantenfähigkeit, Planer, Kontingentverwaltung, teilweise GPU-Unterstützung

Führen Sie den Agenten im Kubernetes-Glue-Modus aus und ordnen Sie ClearML-Jobs direkt K8s-Jobs zu:

• Verwenden Sie das ClearML Agent Helm Chart, um einen Agenten-Pod zu drehen, der als Controller fungiert
  • Oder führen Sie den Kleber „clearml-k8s“ auf einem Kubernetes-CPU-Knoten aus
• Der Kleber „clearml-k8s“ ruft Jobs aus der ClearML-Jobausführungswarteschlange ab und bereitet einen Kubernetes-Job vor (basierend auf der bereitgestellten Yaml-Vorlage).
• In jedem Pod installiert der ClearML-Agent die Job-(Experiment-)Umgebung und dreht und überwacht den Prozess des Experiments, vollständig sichtbar in der ClearML-Benutzeroberfläche
• Vorteile: Kubernetes-Vollansicht aller laufenden Jobs im System
• Unternehmensfunktionen
  • Vollständige Scheduler-Funktionen zu Top of Kubernetes hinzugefügt, mit Kontingent-/Überkontingent-Verwaltung, Prioritäten und Reihenfolge.
  • Teilweise GPU-Unterstützung, die es mehreren isolierten Containern ermöglicht, dieselbe GPU mit Speicher-/Rechenlimit pro Container zu teilen

SLURM (optional)

Ja! Slurm-Integration ist verfügbar. Weitere Informationen finden Sie in der Dokumentation

Verwendung des ClearML-Agenten

Vollwertiges HPC per Knopfdruck

Der ClearML-Agent ist ein Jobplaner, der Jobwarteschlangen abhört, Jobs abruft, die Jobumgebungen festlegt, den Job ausführt und seinen Fortschritt überwacht.

Jedes „Entwurfsexperiment“ kann zur Ausführung durch einen ClearML-Agenten geplant werden.

Ein zuvor ausgeführtes Experiment kann auf zwei Arten in den Entwurfsstatus versetzt werden:

• Verwenden der Aktion „Zurücksetzen“ aus dem Kontextmenü des Experiments mit Rechtsklick in der ClearML-Benutzeroberfläche – Dadurch werden alle Ergebnisse und Artefakte gelöscht, die beim vorherigen Lauf erstellt wurden.
• Verwenden der Aktion „Klonen“ aus dem Kontextmenü des Experiments mit Rechtsklick in der ClearML-Benutzeroberfläche – Dadurch wird ein neues „Entwurf“-Experiment mit derselben Konfiguration wie das ursprüngliche Experiment erstellt.

Die Ausführung eines Experiments wird geplant, indem Sie die Aktion „In die Warteschlange stellen“ im Kontextmenü des Experiments mit der rechten Maustaste in der ClearML-Benutzeroberfläche auswählen und die Ausführungswarteschlange auswählen.

Weitere Informationen finden Sie unter Erstellen eines Experiments und Einreihen in die Warteschlange zur Ausführung.

Sobald ein Experiment in die Warteschlange gestellt wird, wird es von einem ClearML-Agenten, der diese Warteschlange überwacht, aufgenommen und ausgeführt.

Die Seite „Arbeiter und Warteschlangen“ der ClearML-Benutzeroberfläche bietet Informationen zur laufenden Ausführung:

• Registerkarte „Arbeiter“: Überwachen Sie Ihren Cluster
  • Überprüfen Sie die verfügbaren Ressourcen
  • Maschinenstatistiken überwachen (CPU/GPU/Festplatte/Netzwerk)
• Registerkarte „Warteschlangen“:
  • Steuern Sie die Planungsreihenfolge von Jobs
  • Jobausführung abbrechen oder abbrechen
  • Verschieben Sie Jobs zwischen Ausführungswarteschlangen

Was der ClearML-Agent tatsächlich tut

Der ClearML-Agent führt Experimente mit dem folgenden Prozess aus:

• Erstellen Sie eine neue virtuelle Umgebung (oder starten Sie das ausgewählte Docker-Image).
• Klonen Sie den Code in die virtuelle Umgebung (oder in den Docker)
• Installieren Sie Python-Pakete basierend auf den für das Experiment aufgeführten Paketanforderungen
  • Besonderer Hinweis für PyTorch: Der ClearML-Agent wählt die Torch-Pakete automatisch basierend auf der Umgebungsvariablen CUDA_VERSION der Maschine aus
• Führen Sie den Code aus und überwachen Sie dabei den Prozess
• Protokollieren Sie alle stdout/stderr in der ClearML-Benutzeroberfläche, einschließlich des Klon- und Installationsprozesses, um das Debuggen zu erleichtern
• Überwachen Sie die Ausführung und ermöglichen Sie Ihnen, den Job mithilfe der ClearML-Benutzeroberfläche manuell abzubrechen (oder, im unglücklichen Fall eines Codeabsturzes, den Fehler abzufangen und zu signalisieren, dass das Experiment fehlgeschlagen ist).

Systemdesign und -fluss

Installieren des ClearML-Agenten

pip install clearml-agent

Beispiele für die Verwendung von ClearML-Agenten

Vollständige Schnittstelle und Funktionen sind verfügbar mit

clearml-agent --help
clearml-agent daemon --help

Konfigurieren des ClearML-Agenten

clearml-agent init

Hinweis: Der ClearML-Agent verwendet einen Cache-Ordner zum Zwischenspeichern von Pip-Paketen, Apt-Paketen und geklonten Repositorys. Der Standard-Cache-Ordner des ClearML-Agenten ist ~/.clearml .

Ausführliche Informationen finden Sie in Ihrer Konfigurationsdatei unter ~/clearml.conf .

Hinweis: Der ClearML-Agent erweitert die ClearML- Konfigurationsdatei ~/clearml.conf . Sie sind so konzipiert, dass sie dieselbe Konfigurationsdatei verwenden, siehe Beispiel hier

Ausführen des ClearML-Agenten

Starten Sie zum Debuggen und Experimentieren den ClearML-Agenten im foreground , in dem die gesamte Ausgabe auf dem Bildschirm ausgegeben wird:

clearml-agent daemon --queue default --foreground

Für den eigentlichen Servicemodus werden alle Standardausgaben automatisch in einer temporären Datei gespeichert (kein Pipe-Vorgang erforderlich). Hinweis: Mit dem Flag --detached wird der ClearML-Agent im Hintergrund ausgeführt

clearml-agent daemon --detached --queue default

Die GPU-Zuteilung wird über die Standard-Betriebssystemumgebung NVIDIA_VISIBLE_DEVICES oder das Flag --gpus gesteuert (oder mit --cpu-only deaktiviert).

Wenn kein Flag gesetzt ist und die Variable NVIDIA_VISIBLE_DEVICES nicht vorhanden ist, werden alle GPUs für den clearml-agent zugewiesen.
Wenn das Flag --cpu-only oder NVIDIA_VISIBLE_DEVICES="none" gesetzt ist, wird dem clearml-agent keine GPU zugewiesen.

Beispiel: Drehen Sie zwei Agenten, einen pro GPU, auf derselben Maschine:

Hinweis: Mit dem Flag --detached wird der ClearML-Agent im Hintergrund ausgeführt

clearml-agent daemon --detached --gpus 0 --queue default
clearml-agent daemon --detached --gpus 1 --queue default

Beispiel: Drehen Sie zwei Agenten und ziehen Sie zwei GPUs pro Agent aus der dedizierten dual_gpu Warteschlange

clearml-agent daemon --detached --gpus 0,1 --queue dual_gpu
clearml-agent daemon --detached --gpus 2,3 --queue dual_gpu

Starten des ClearML-Agenten im Docker-Modus

Starten Sie zum Debuggen und Experimentieren den ClearML-Agenten im foreground , in dem die gesamte Ausgabe auf dem Bildschirm ausgegeben wird

clearml-agent daemon --queue default --docker --foreground

Für den eigentlichen Servicemodus werden alle Standardausgaben automatisch in einer Datei gespeichert (keine Pipe-Anleitung erforderlich). Hinweis: Mit dem Flag --detached wird der ClearML-Agent im Hintergrund ausgeführt

clearml-agent daemon --detached --queue default --docker

Beispiel: Führen Sie zwei Agenten aus, einen pro GPU auf demselben Computer, mit dem standardmäßigen Docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04 :

clearml-agent daemon --detached --gpus 0 --queue default --docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04
clearml-agent daemon --detached --gpus 1 --queue default --docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04

Beispiel: Zwei Agenten drehen, aus der dedizierten dual_gpu Warteschlange abrufen, zwei GPUs pro Agent, mit standardmäßigem nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04 Docker:

clearml-agent daemon --detached --gpus 0,1 --queue dual_gpu --docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04
clearml-agent daemon --detached --gpus 2,3 --queue dual_gpu --docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04

Starten des ClearML-Agenten – Prioritätswarteschlangen

Priority Queues werden ebenfalls unterstützt, Beispielanwendungsfall:

Warteschlange mit hoher Priorität: important_jobs , Warteschlange mit niedriger Priorität: default

clearml-agent daemon --queue important_jobs default

Der ClearML-Agent versucht zunächst, Jobs aus der Warteschlange important_jobs abzurufen. Nur wenn diese leer ist, versucht der Agent, Jobs aus der default abzurufen.

Das Hinzufügen von Warteschlangen, das Verwalten der Auftragsreihenfolge innerhalb einer Warteschlange und das Verschieben von Aufträgen zwischen Warteschlangen ist über die Web-Benutzeroberfläche möglich, siehe Beispiel auf unserem kostenlosen Server

Stoppen des ClearML-Agenten

Um die Ausführung eines ClearML-Agenten im Hintergrund zu stoppen, führen Sie dieselbe Befehlszeile aus, die zum Starten des Agenten verwendet wurde, mit angehängtem --stop . Um beispielsweise den ersten der oben gezeigten gleichen Computer und einzelnen GPU-Agenten zu stoppen:

clearml-agent daemon --detached --gpus 0 --queue default --docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04 --stop

Wie erstelle ich ein Experiment auf dem ClearML-Server?

• Integrieren Sie ClearML in Ihren Code

• Führen Sie den Code auf Ihrem Computer aus (manuell / PyCharm / Jupyter Notebook)

• Während Ihr Code ausgeführt wird, erstellt ClearML ein Experiment, das alle erforderlichen Ausführungsinformationen protokolliert:

  • Git-Repository-Link und Commit-ID (oder ein ganzes Jupyter-Notebook)
  • Git diff (wir sagen nicht, dass Sie nie Commit und Push durchführen, aber trotzdem ...)
  • Von Ihrem Code verwendete Python-Pakete (einschließlich spezifischer verwendeter Versionen)
  • Hyperparameter
  • Eingabeartefakte

  Sie haben jetzt eine „Vorlage“ Ihres Experiments mit allem, was für die automatisierte Durchführung erforderlich ist

• Klicken Sie in der ClearML-Benutzeroberfläche mit der rechten Maustaste auf das Experiment und wählen Sie „Klonen“. Es wird eine Kopie Ihres Experiments erstellt.

• Sie haben jetzt einen neuen Experimententwurf, der von Ihrem ursprünglichen Experiment geklont wurde. Sie können ihn gerne bearbeiten

  • Ändern Sie die Hyperparameter
  • Wechseln Sie zur neuesten Codebasis des Repositorys
  • Paketversionen aktualisieren
  • Wählen Sie ein bestimmtes Docker-Image zur Ausführung aus (siehe Abschnitt „Docker-Ausführungsmodus“).
  • Oder ändern Sie einfach nichts, um das gleiche Experiment noch einmal durchzuführen ...

• Planen Sie die Ausführung des neu erstellten Experiments: Klicken Sie mit der rechten Maustaste auf das Experiment und wählen Sie „In die Warteschlange stellen“.

ClearML-Agent-Services-Modus

ClearML-Agent Services ist ein spezieller Modus von ClearML-Agent, der die Möglichkeit bietet, langlebige Jobs zu starten, die zuvor auf lokalen/dedizierten Maschinen ausgeführt werden mussten. Es ermöglicht einem einzelnen Agenten, mehrere Docker (Aufgaben) für verschiedene Anwendungsfälle zu starten:

• Auto-Scaler-Service (Instanzen drehen, wenn Bedarf besteht und das Budget es zulässt)
• Controller (Implementierung von Pipelines und ausgefeilterer DevOps-Logik)
• Optimierer (z. B. Hyperparameteroptimierung oder Sweeping)
• Anwendung (z. B. interaktive Bokeh-Apps für erhöhte Datentransparenz)

Der ClearML-Agent Services-Modus dreht jede Aufgabe, die in die angegebene Warteschlange eingereiht ist. Jede von ClearML-Agent Services gestartete Aufgabe wird als neuer Knoten im System registriert und bietet Tracking- und Transparenzfunktionen. Derzeit unterstützt der Clearml-Agent im Dienstemodus nur die CPU-Konfiguration. Der ClearML-Agent-Dienstmodus kann zusammen mit GPU-Agenten gestartet werden.

clearml-agent daemon --services-mode --detached --queue services --create-queue --docker ubuntu:18.04 --cpu-only

Hinweis : Es liegt in der Verantwortung des Benutzers, sicherzustellen, dass die richtigen Aufgaben in die angegebene Warteschlange verschoben werden.

AutoML- und Orchestrierungspipelines

Der ClearML-Agent kann auch zur Implementierung von AutoML-Orchestrierung und Experiment-Pipelines in Verbindung mit dem ClearML-Paket verwendet werden.

Beispielbeispiele für AutoML und Orchestration finden Sie im Ordner „ClearML example/automation“.

AutoML-Beispiele:

• Toy Keras-Trainingsexperiment
  • Um eine Experiment-Vorlage im System zu erstellen, muss dieser Code einmalig manuell ausgeführt werden
• Zufällige Suche über die obige Keras-Experimentvorlage
  • In diesem Beispiel werden mehrere Kopien der Keras-Experimentvorlage mit unterschiedlichen Hyperparameterkombinationen erstellt

Beispiele für Experiment-Pipelines:

• Experiment im ersten Schritt
  • In diesem Beispiel werden „Daten verarbeitet“ und sobald dies erledigt ist, wird eine Kopie der Experimentvorlage „zweiter Schritt“ gestartet
• Experiment im zweiten Schritt
  • Um eine Experiment-Vorlage im System zu erstellen, muss dieser Code einmalig manuell ausgeführt werden

Lizenz

Apache-Lizenz, Version 2.0 (weitere Informationen finden Sie in der LIZENZ)