clearml Download - clearml Quellcode herunterladen

clearml

Anderer Quellcode

v1.16.5 - ClearML

Herunterladen

Klar | ml

Clearml - Auto -Magical -Suite von Werkzeugen zum Strafen Ihres KI -Workflows
Experimentmanager, Mlops/LLMOPS und Datenmanagement

? ClearML is open-source - Leave a star to support the project! ?

Clearml

^{Früher als Allegro -Züge bekannt}

Clearml ist eine ML/DL -Entwicklungs- und Produktionssuite. Es enthält fünf Hauptmodule:

Experiment Manager - Automatische Experimentverfolgung, Umgebungen und Ergebnisse
MLOPS / LLMOPS - Orchestrierung, Automatisierung und Pipelines -Lösung für ML / DL / Genai -Jobs (Kubernetes / Cloud / Bare -Metal)
Datenmanagement-vollständig differenzierbare Datenverwaltung und Versionskontrolllösung auf Object-Storage (S3 / GS / Azure / NAS)
Modell-Districting- Cloud-fertige skalierbare Modell Servinglösung!
- Bereiten Sie neue Modellendpunkte in weniger als 5 Minuten ein
- Beinhaltet eine optimierte GPU-Servic-Unterstützung, die von Nvidia-Triton unterstützt wird
- mit einer optimalen Modellüberwachung
Berichte - Erstellen und teilen Sie Rich Markdown -Dokumente, die einbettbare Online -Inhalte unterstützen
Orchestrierungs -Dashboard - Live -Rich -Dashboard für Ihren gesamten Rechencluster (Cloud / Kubernetes / On -Prem)
NEU ? Fractional GPUs - Containerbasiert, Treiberebene GPU -Speicherbeschränkung? !!!

Instrumentieren dieser Komponenten ist der Clearml-Server , siehe Hosting für Selbsthosting & Free-Stufe

Melden Sie sich an und beginnen Sie in weniger als 2 Minuten

Freundliche Tutorials für den Einstieg

Schritt 1 - Experimentmanagement
Schritt 2 - Remote Execution Agent Setup
Schritt 3 - Ausführliche Aufgaben ausführen

Versuchsmanagement	Datensätze


Orchestrierung	Pipelines

Clearml Experiment Manager

Wenn Sie nur 2 Zeilen zu Ihrem Code hinzufügen, erhalten Sie Folgendes

Komplettes Experiment -Setup -Protokoll
- Vollständige Informationsregelungsinformationen der Quellen, einschließlich nicht übertragbarer lokaler Änderungen
- Ausführungsumgebung (einschließlich spezifischer Pakete und Versionen)
- Hyperparameter
  - argparse /Click /Pythonfire für Befehlszeilenparameter mit aktuell verwendeten Werten
  - Explizite Parameter Wörterbuch
  - TensorFlow Definiert (ABL-PY)
  - Hydra -Konfiguration und Überschreiung
- Erstmodellgewichtsdatei
Vollständige Experiment -Ausgabe Automatische Erfassung
- Stdout und Stderr
- Ressourcenüberwachung (CPU/GPU -Auslastung, Temperatur, IO, Netzwerk usw.)
- Modell -Schnappschüsse (mit optionalem automatischem Upload in den zentralen Speicher: Shared Ordner, S3, GS, Azure, HTTP)
- Artefakte Protokoll & Store (Shared Ordner, S3, GS, Azure, HTTP)
- Tensorboard/Tensorboardx Scalare, Metriken, Histogramme, Bilder, Audio- und Video -Samples
- Matplotlib & Seeborn
- ClearML -Logger -Schnittstelle für vollständige Flexibilität.
Umfangreiche Plattformunterstützung und Integrationen
- Unterstützte ML / DL-Frameworks: Pytorch (inkl. Ignite / Lightning), Tensorflow, Keras, Autokeras, Fastai, Xgboost, LightGBM, Megengine und Scikit-Learn
- Seamless Integration (einschließlich Versionskontrolle) mit Jupyter Notebook und Pycharm Remote -Debugging

Verwenden Sie Clearml

Melden Sie sich kostenlos für den ClearML -Hosted -Service an (alternativ können Sie Ihren eigenen Server einrichten, siehe hier).
ClearML Demo Server: ClearML verwendet den Demo -Server standardmäßig nicht mehr. So setzen Sie den Demo -Server die Umgebungsvariable CLEARML_NO_DEFAULT_SERVER=0 . Anmeldeinformationen sind nicht benötigt, aber Experimente, die auf den Demo -Server gestartet wurden, sind öffentlich. Stellen Sie daher keine sensiblen Experimente auf, wenn Sie den Demo -Server verwenden.
Installieren Sie das clearml Python -Paket:
```
pip install clearml
```
Schließen Sie den ClearML -SDK an den Server an, indem Sie Anmeldeinformationen erstellen, und führen Sie den folgenden Befehl aus und befolgen Sie die Anweisungen:
```
clearml-init
```

Fügen Sie Ihrem Code zwei Zeilen hinzu:

 from clearml import Task
task = Task . init ( project_name = 'examples' , task_name = 'hello world' )

Und du bist fertig! Alles, was Ihr Prozess ausgibt, ist jetzt automatisch in ClearML angemeldet.

Nächster Schritt, Automatisierung! Erfahren Sie hier mehr über Clearmls Zwei-Klick-Automatisierung .

Clearml Architektur

Die Clearml-Laufzeitkomponenten:

Das ClearML Python -Paket - zum Integrieren von ClearML in Ihre vorhandenen Skripte durch Hinzufügen von nur zwei Codezeilen und optional erweitert Ihre Experimente und andere Workflows mit ClearMLs leistungsstarken und vielseitigen Satz von Klassen und Methoden.
Der ClearML -Server - zum Speichern von Experiment-, Modell- und Workflow -Daten; Unterstützung des Web UI Experiment Manager und MLOPS -Automatisierung zur Reproduzierbarkeit und Abstimmung. Es ist als gehosteter Dienst und Open Source erhältlich, damit Sie einen eigenen ClearML -Server bereitstellen können.
Das Clearml -Agent - für Mlops Orchestrierung, Experiment und Reproduzierbarkeit und Skalierbarkeit von Workflows.

Zusätzliche Module

Clearml-Session- Starten
ClearML -Task - Führen Sie eine beliebige Codebasis auf Remote -Maschinen mit vollständiger Fernbedienung von Tensorboard, Matplotlib & Konsolenausgängen aus
ClearMl -DATA - CLI zum Verwalten und Versionen Ihrer Datensätze, einschließlich Erstellen/Hochladen/Herunterladen von Daten aus S3/GS/Azure/Nas
AWS Auto -Scaler - Spin EC2 -Instanzen automatisch auf der Grundlage Ihrer Workloads mit vorkonfiguriertem Budget! Keine Notwendigkeit für Ake!
Hyper-Parameter-Optimierung-Optimieren Sie jeden Code mit Black-Box-Ansatz und hochmodernen Bayes'schen Optimierungsalgorithmen
Automatisierungspipeline - Erstellen Sie Pipelines basierend auf vorhandenen Experimenten / Jobs und unterstützt die Gebäudepipelines von Pipelines!
Slack Integration - Experimente Fortschritt / Misserfolg direkt in Slack (vollständig anpassbar!)

Warum klären?

Clearml ist unsere Lösung für ein Problem, das wir mit unzähligen anderen Forschern und Entwicklern im maschinellen Lern-/Deep-Learning-Universum teilen: Training produktionsgradige Deep Learning-Modelle ist ein herrlicher, aber unordentlicher Prozess. Clearml verfolgt und kontrolliert den Prozess, indem sie Codeversionskontrolle, Forschungsprojekte, Leistungsmetriken und Modellproduktion in Verbindung bringen.

Wir haben ClearML speziell so gestaltet, dass sie mühelose Integration benötigen, damit Teams ihre vorhandenen Methoden und Praktiken bewahren können.

Verwenden Sie es täglich, um die Zusammenarbeit und Sichtbarkeit in Ihrem Team zu steigern
Erstellen Sie einen Remote -Job aus jedem Experiment mit einem Klick auf eine Schaltfläche
Automatisieren Sie Prozesse und erstellen Sie Pipelines, um Ihre Experimentierprotokolle, Ausgänge und Daten zu sammeln
Speichern Sie alle Ihre Daten auf einer beliebigen Objekt-Storage-Lösung, wobei die unkomplizierteste Schnittstelle möglich ist
Machen Sie Ihre Daten transparent, indem Sie alles auf der ClearML -Plattform katalogisieren

Wir glauben, dass Clearml bahnbrechend ist. Wir möchten neue Standards für echte nahtlose Integration zwischen Experimentmanagement, MLOPs und Datenmanagement festlegen.

Wer wir sind

Clearml wird von Ihnen und dem Clear.ML -Team unterstützt, das Unternehmensunternehmen hilft, skalierbare MLOPs aufzubauen.

Wir haben Clearml gebaut, um den herrlichen, aber unordentlichen Prozess der Schulungsproduktionsprozess zu verfolgen und zu kontrollieren. Wir setzen uns dafür ein, die Fähigkeiten von Clearml energisch zu unterstützen und zu erweitern.

Wir versprechen, immer rückwärts kompatibel zu sein und sicherzustellen, dass alle Ihre Protokolle, Daten und Pipelines immer mit Ihnen aktualisieren.

Lizenz

Apache -Lizenz, Version 2.0 (Weitere Informationen finden Sie in der Lizenz)

Wenn ClearML Teil Ihres Entwicklungsprozesses / Projekts / Ihrer Veröffentlichung ist, zitieren Sie uns bitte:

 @misc{clearml,
title = {ClearML - Your entire MLOps stack in one open-source tool},
year = {2024},
note = {Software available from http://github.com/allegroai/clearml},
url={https://clear.ml/},
author = {ClearML},
}

Dokumentation, Community & Support

Weitere Informationen finden Sie in der offiziellen Dokumentation und auf YouTube.

Für Beispiele und Anwendungsfälle überprüfen Sie den Beispiel -Ordner und die entsprechenden Dokumentation.

Wenn Sie Fragen haben: Posten Sie auf unserem Slack -Kanal oder markieren Sie Ihre Fragen auf Stackoverflow mit ' Clearml ' Tag ( zuvor Trains -Tag ).

Für Feature -Anfragen oder Fehlerberichte verwenden Sie bitte GitHub -Probleme.

Zusätzlich finden Sie uns immer unter [email protected]