

ClearML - Suite automatique des outils pour rationaliser votre flux de travail AI
Expérience Manager, Mlops / LLMOPS et gestion des données
? ClearML is open-source - Leave a star to support the project! ?
Clearml
Anciennement connu sous le nom de trains Allegro
ClearML est une suite de développement et de production ML / DL. Il contient cinq modules principaux:
- Expérience Manager - Suivi de l'expérience automagique, environnements et résultats
- MOLPS / LLMOPS - Orchestration, Automation et Pipelines Solution pour les travaux ML / DL / Genai (Kubernetes / Cloud / Bare-Metal)
- Gestion des données - Solution de gestion des données et de version entièrement différenciable en plus du stockage d'objets (S3 / GS / Azure / NAS)
- SERVANT MODÈLE - Solution de service de modèle évolutif prêt pour le cloud !
- Déployer de nouveaux points de terminaison du modèle en moins de 5 minutes
- Comprend un support de service GPU optimisé soutenu par Nvidia-Triton
- avec surveillance du modèle prêt à l'emploi
- Rapports - Créez et partagez des documents de marque riche en soutenant du contenu en ligne intégré
- Tableau de bord d'orchestration - Tableau de bord en direct pour votre cluster de calcul entier (cloud / kubernetes / sur-premier)
- NOUVEAU ? GPU fractionnaire - LIMITATION DE MÉMOIRE GPU du niveau du conducteur basé sur les conteneurs? !!!
Instrumenter ces composants est le ClearML-Server , voir l'auto-hébergement et l'hébergement de niveau gratuit
Inscrivez-vous et commencez à utiliser en moins de 2 minutes
Tutoriels amicaux pour vous aider à démarrer
Étape 1 - Gestion des expériences | |
Étape 2 - Configuration de l'agent d'exécution à distance | |
Étape 3 - Exécuter à distance les tâches | |
Gestion des expériences | Ensembles de données |
 |  |
|
Orchestration | Pipelines |
 |  |
Clearml Experiment Manager
L'ajout de seulement 2 lignes à votre code vous permet
- Journal de configuration de l'expérience complète
- Informations complètes de contrôle de la source, y compris les modifications locales non engagées
- Environnement d'exécution (y compris des packages et versions spécifiques)
- Hyper-paramètres
-
argparse
/ click / pythonfire pour les paramètres de ligne de commande avec des valeurs actuellement utilisées - Dictionnaire paramètres explicites
- TensorFlow définit (ABSL-PY)
- Configuration et remplacements de l'hydra
- Fichier initial de poids du modèle
- Capture automatique de sortie de l'expérience complète
- stdout et stderr
- Surveillance des ressources (utilisation du CPU / GPU, température, IO, réseau, etc.)
- Instantanés modèles (avec téléchargement automatique en option vers le stockage central: dossier partagé, S3, GS, Azure, HTTP)
- Artefacts Log & Store (Folder partagé, S3, GS, Azure, HTTP)
- Tensorboard / Tensorboardx Scalars, métriques, histogrammes, images, échantillons audio et vidéo
- Matplotlib & Seaborn
- Interface ClearML Logger pour une flexibilité complète.
- Prise en charge et intégrations de plate-forme étendues
- Frameworks ML / DL pris en charge: Pytorch (incl 'Ignite / Lightning), TensorFlow, Keras, Autokeras, Fastai, Xgboost, LightGBM, MEGENGINE et SCIKIT-LEARN
- Intégration transparente (y compris le contrôle de version) avec cahier Jupyter et débogage à distance de Pycharm
Commencez à utiliser Clearml
Inscrivez-vous gratuitement au service hébergé ClearML (vous pouvez également configurer votre propre serveur, voir ici).
Clearml Demo Server: Clearml n'utilise plus le serveur de démonstration par défaut. Pour activer le serveur de démonstration, définissez la variable d'environnement CLEARML_NO_DEFAULT_SERVER=0
. Les informations d'identification ne sont pas nécessaires, mais les expériences lancées sur le serveur de démonstration sont publiques, alors assurez-vous de ne pas lancer des expériences sensibles si vous utilisez le serveur de démonstration.
Installez le package clearml
Python:
Connectez le SDK ClearML au serveur en créant des informations d'identification, puis exécutez la commande ci-dessous et suivez les instructions:
Ajoutez deux lignes à votre code:
from clearml import Task
task = Task . init ( project_name = 'examples' , task_name = 'hello world' )
Et vous avez terminé! Tout ce que votre processus sort est désormais automatiquement connecté à ClearML.
Étape suivante, automatisation! En savoir plus sur l'automatisation en deux clics de Clearml ici .
Architecture Clearml
Les composants d'exécution de ClearML:
- Le package ClearML Python - pour l'intégration de ClearML dans vos scripts existants en ajoutant seulement deux lignes de code et en étendant éventuellement vos expériences et autres workflows avec l'ensemble puissant et polyvalent de ClearML de classes et de méthodes.
- Le serveur ClearML - pour stocker des données d'expérience, de modèle et de workflow; Soutenir le WEB UI Experiment Manager et Mlops Automation pour la reproductibilité et le réglage. Il est disponible en tant que service hébergé et open source pour vous déployer votre propre serveur ClearML.
- L'agent ClearML - pour l'orchestration Mlops, l'expérience et la reproductibilité du flux de travail et l'évolutivité.
Modules supplémentaires
- ClearML-SESSION - Lancez à distance JupyterLab / Vscode-Server à l'intérieur de n'importe quel Docker, sur des machines Cloud / sur prémal
- Clearml-task - Exécutez n'importe quelle base de code sur les machines distantes avec une journalisation à distance complète des sorties Tensorboard, Matplotlib et console
- clearml-data - CLI pour gérer et verser vos ensembles de données, y compris la création / téléchargement / téléchargement de données à partir de S3 / GS / Azure / NAS
- AWS Auto-Scaler - Tournez automatiquement les instances EC2 en fonction de vos charges de travail avec un budget préconfiguré! Pas besoin d'Ake!
- Optimisation de l'hyper-paramètre - Optimisez tout code avec une approche de boîte noire et des algorithmes d'optimisation bayésienne de pointe
- Pipeline d'automatisation - Construire des pipelines basés sur des expériences / travaux existants, prend en charge la construction de pipelines de pipelines!
- Intégration de relâchement - Signaler les expériences de progression / échec directement à Slack (entièrement personnalisable!)
Pourquoi Clearml?
ClearML est notre solution à un problème que nous partageons avec d'innombrables autres chercheurs et développeurs dans l'univers de l'apprentissage automatique / du Deep Learning: la formation des modèles d'apprentissage en profondeur de qualité est un processus glorieux mais désordonné. ClearML suit et contrôle le processus en associant le contrôle de la version de code, les projets de recherche, les mesures de performance et la provenance du modèle.
Nous avons conçu ClearML spécifiquement pour nécessiter une intégration sans effort afin que les équipes puissent préserver leurs méthodes et pratiques existantes.
- Utilisez-le quotidiennement pour stimuler la collaboration et la visibilité dans votre équipe
- Créez un travail distant à partir de toute expérience en un clic d'un bouton
- Automatiser les processus et créer des pipelines pour collecter vos journaux d'expérimentation, sorties et données
- Stockez toutes vos données sur n'importe quelle solution de stockage d'objets, avec l'interface la plus simple possible
- Rendez vos données transparentes en cataloguant tout sur la plate-forme ClearML
Nous pensons que Clearml est révolutionnaire. Nous souhaitons établir de nouvelles normes de véritable intégration transparente entre la gestion des expériences, les MLOPS et la gestion des données.
Qui nous sommes
ClearML est soutenu par vous et l'équipe Clear.ML, qui aide les entreprises d'entreprise à construire des MOPS évolutifs.
Nous avons construit ClearML pour suivre et contrôler le processus glorieux mais désordonné de formation de modèles d'apprentissage en profondeur de qualité de production. Nous nous engageons à soutenir et à étendre vigoureusement les capacités de ClearML.
Nous nous promettons d'être toujours compatibles en arrière, en nous assurant que tous vos journaux, données et pipelines mettront toujours à niveau avec vous.
Licence
Licence Apache, version 2.0 (voir la licence pour plus d'informations)
Si ClearML fait partie de votre processus de développement / projet / publication, veuillez nous citer ❤️:
@misc{clearml,
title = {ClearML - Your entire MLOps stack in one open-source tool},
year = {2024},
note = {Software available from http://github.com/allegroai/clearml},
url={https://clear.ml/},
author = {ClearML},
}
Documentation, communauté et soutien
Pour plus d'informations, consultez la documentation officielle et sur YouTube.
Pour des exemples et des cas d'utilisation, consultez le dossier Exemples et la documentation correspondante.
Si vous avez des questions: publiez sur notre canal Slack ou étiquetez vos questions sur Stackoverflow avec la balise ' ClearML ' ( tag de train précédemment ).
Pour les demandes de fonctionnalités ou les rapports de bogues, veuillez utiliser les problèmes GitHub.
De plus, vous pouvez toujours nous trouver à [email protected]
Contributif
Les PR sont toujours les bienvenus ❤️ Voir plus de détails dans les directives ClearML pour la contribution.
Que la force (et la déesse des taux d'apprentissage) soient avec vous!