clearml

ClearML - Suite de herramientas auto -mágicas para racionalizar su flujo de trabajo de IA
Experiment Manager, MLOPS/LLMOPS y gestión de datos

? ClearML is open-source - Leave a star to support the project! ?

---

Clearml

^{Anteriormente conocido como Allegro Trains}

ClearML es un suite de desarrollo y producción de ML/DL. Contiene cinco módulos principales:

• Experiment Manager: seguimiento automático de experimentos, entornos y resultados
• MLOPS / LLMOPS - Solución de orquestación, automatización y tuberías para trabajos ML / DL / Genai (Kubernetes / Cloud / Bare -Metal)
• Gestión de datos: solución de control de datos y control de versiones totalmente diferenciable en la parte superior del almacenamiento de objetos (S3 / GS / Azure / NAS)
• Servicio de modelos-Solución de servicio de modelo escalable listo para la nube !
  • Implementar puntos finales del modelo nuevo en menos de 5 minutos
  • Incluye soporte de servicio de GPU optimizado respaldado por Nvidia-Triton
  • con monitoreo de modelos listos para usar
• Informes: crear y compartir documentos de Markdown enriquecidos que respalden contenido en línea integrable
• Panel de orquestación: panel de control rico en vivo para todo su clúster de cómputo (Cloud / Kubernetes / On -Prem)
• NUEVO ? GPU fraccional: basado en contenedores, nivel de la GPU de nivel de controlador de controlador? !

Instrumentar estos componentes es el servidor ClearML , ver alojamiento de auto-anfitrión y nivel libre

---

Regístrese y comience a usar en menos de 2 minutos

---

Tutoriales amistosos para comenzar

Paso 1 - Gestión del experimento
Paso 2 - Configuración del agente de ejecución remota
Paso 3 - Ejecutar tareas remotamente

---

Gestión de experimentos	Conjuntos de datos
Orquestación	Tuberías

Gerente de Experimentos CLEARML

Agregar solo 2 líneas a su código le brinda lo siguiente

• Registro de configuración de experimento completo
  • Información completa de control de fuente, incluidos los cambios locales no comprometidos
  • Entorno de ejecución (incluidos paquetes y versiones específicos)
  • Hiperparametros
    • argparse /Click /Pythonfire para parámetros de línea de comandos con valores utilizados actualmente
    • Diccionario de parámetros explícitos
    • Tensorflow define (absorado)
    • Configuración de Hydra y anulaciones
  • Archivo inicial de pesas del modelo
• Captura automática de salida de experimento completo
  • stdout y stderr
  • Monitoreo de recursos (utilización de CPU/GPU, temperatura, IO, red, etc.)
  • Instantáneas de modelo (con carga automática opcional al almacenamiento central: carpeta compartida, S3, GS, Azure, HTTP)
  • Artifacts Log & Store (Carpeta compartida, S3, GS, Azure, HTTP)
  • TensorBoard/TensorBoardx Escalares, métricas, histogramas, imágenes, muestras de audio y video
  • Matplotlib y Seaborn
  • Interfaz de registrador ClearML para una flexibilidad completa.
• Soporte e integraciones de plataforma extensa
  • Marcos ML / DL compatibles: Pytorch (incluido 'Ignite / Lightning), TensorFlow, Keras, Autookeras, Fastai, Xgboost, LightGBM, Megengine y Scikit-Learn
  • Integración perfecta (incluido el control de versiones) con el cuaderno Jupyter y la depuración remota de Pycharm

Empiece a usar ClearML

1. Regístrese de forma gratuita en el servicio alojado ClearML (alternativamente, puede configurar su propio servidor, ver aquí).

   ClearML Demo Server: ClearML ya no usa el servidor de demostración de forma predeterminada. Para habilitar el servidor de demostración, establezca CLEARML_NO_DEFAULT_SERVER=0 Variable de entorno. No se necesitan credenciales, pero los experimentos lanzados al servidor de demostración son públicos, así que asegúrese de no iniciar experimentos confidenciales si usa el servidor de demostración.

2. Instale el paquete clearml Python:

   pip install clearml

3. Conecte el ClearML SDK al servidor creando credenciales, luego ejecute el comando a continuación y siga las instrucciones:

   clearml-init

4. Agregue dos líneas a su código:

    from clearml import Task
   task = Task . init ( project_name = 'examples' , task_name = 'hello world' )

¡Y terminaste! Todo lo que sale de proceso ahora se registra automáticamente en ClearML.

Siguiente paso, Automatización! Obtenga más información sobre la automatización de dos clics de ClearML aquí .

Arquitectura clara

Los componentes de tiempo de ejecución de ClearML:

• El paquete ClearML Python: para integrar ClearML en sus scripts existentes agregando solo dos líneas de código, y opcionalmente extendiendo sus experimentos y otros flujos de trabajo con el poderoso y versátil conjunto de clases y métodos de ClearML.
• El servidor ClearML: para el experimento de almacenamiento, el modelo y los datos de flujo de trabajo; Apoyo al administrador de experimentos de interfaz de usuario web y la automatización de MLOPS para reproducibilidad y ajuste. Está disponible como servicio alojado y código abierto para que implique su propio servidor ClearML.
• El agente ClearML: para la orquestación MLOPS, la reproducibilidad de experimentos y flujo de trabajo y escalabilidad.

Módulos adicionales

• ClearML-Session: iniciar JupyterLab / Vscode-servidor remoto dentro de cualquier Docker, en Cloud / On-Prem Machines
• ClearML -Task: ejecute cualquier base de código en máquinas remotas con un registro remoto completo de TensorBoard, Matplotlib y salidas de consola
• ClearML -Data: CLI para administrar y versiones de sus conjuntos de datos, incluida la creación/carga/descarga de datos de S3/GS/Azure/NAS
• AWS Auto -Scaler: ¡gire automáticamente a instancias EC2 basadas en sus cargas de trabajo con un presupuesto preconfigurado! ¡No hay necesidad de Ake!
• Optimización de hiper-parámetros: optimice cualquier código con un enfoque de caja negra y algoritmos de optimización bayesiana de última generación
• Tuberías de automatización: construya tuberías basadas en experimentos / trabajos existentes, ¡admite la construcción de tuberías de tuberías!
• Integración de Slack - Informe los experimentos de experimentos / falla directamente a Slack (¡totalmente personalizable!)

¿Por qué ClearMl?

ClearML es nuestra solución a un problema que compartimos con innumerables investigadores y desarrolladores en el universo de aprendizaje automático/universo de aprendizaje profundo: capacitar modelos de aprendizaje profundo de grado de producción es un proceso glorioso pero desordenado. ClearML rastrea y controla el proceso asociando el control de versiones de código, los proyectos de investigación, las métricas de rendimiento y la procedencia del modelo.

Diseñamos CLEARML específicamente para requerir una integración sin esfuerzo para que los equipos puedan preservar sus métodos y prácticas existentes.

• Úselo diariamente para aumentar la colaboración y la visibilidad en su equipo
• Cree un trabajo remoto a partir de cualquier experimento con un clic de un botón
• Automatizar procesos y crear tuberías para recopilar sus registros de experimentación, salidas y datos
• Almacene todos sus datos en cualquier solución de almacenamiento de objetos, con la interfaz más directa posible
• Haga que sus datos sean transparentes catalogándolo todo en la plataforma ClearML

Creemos que ClearML es innovador. Deseamos establecer nuevos estándares de verdadera integración perfecta entre la gestión de los experimentos, las MLOP y la gestión de datos.

Quien somos

ClearML es compatible con usted y el equipo Clear.ML, que ayuda a las empresas empresas a construir MLOP escalables.

Construimos ClearML para rastrear y controlar el glorioso pero desordenado proceso de capacitación de modelos de aprendizaje profundo de grado de producción. Estamos comprometidos a apoyar y expandir vigorosamente las capacidades de CLEARML.

Prometemos ser siempre compatibles hacia atrás, asegurándonos de que todos sus registros, datos y tuberías siempre se actualicen con usted.

Licencia

Licencia Apache, versión 2.0 (consulte la licencia para obtener más información)

Si ClearML es parte de su proceso de desarrollo / proyecto / publicación, cíquanos ❤️:

 @misc{clearml,
title = {ClearML - Your entire MLOps stack in one open-source tool},
year = {2024},
note = {Software available from http://github.com/allegroai/clearml},
url={https://clear.ml/},
author = {ClearML},
}

Documentación, comunidad y apoyo

Para obtener más información, consulte la documentación oficial y en YouTube.

Para ejemplos y casos de uso, consulte la carpeta de ejemplos y la documentación correspondiente.

Si tiene alguna pregunta: publique en nuestro canal Slack o etiquete sus preguntas en StackOverflow con la etiqueta ' ClearML ' ( etiqueta de trenes previamente ).

Para solicitudes de funciones o informes de errores, utilice los problemas de GitHub.

Además, siempre puede encontrarnos en [email protected]

Que contribuye

Los PR siempre son bienvenidos ❤️ Vea más detalles en las pautas de ClearML para contribuir.

¡Que la fuerza (y la diosa de las tasas de aprendizaje) esté contigo!