clearml

ClearMl - conjunto de ferramentas auto -mágico para otimizar seu fluxo de trabalho de IA
Gerente de Experimento, MLOPS/LLMOPS e gerenciamento de dados

? ClearML is open-source - Leave a star to support the project! ?

---

ClearMl

^{Anteriormente conhecido como trens Allegro}

ClearML é uma suíte de desenvolvimento e produção de ML/DL. Ele contém cinco módulos principais:

• Gerente de Experimento - Rastreamento, ambientes e resultados de experimentos automágicos
• MLOPS / LLMOPS - Solução de orquestração, automação e pipelines para trabalhos de ML / DL / Genai (Kubernetes / Cloud / Bare -Metal)
• Gestão de dados-Gerenciamento de dados totalmente diferenciável e solução de controle de versão em cima do armazenamento de objetos (S3 / GS / Azure / NAS)
• Modelo que serve-Solução de porção de modelo escalável pronto para nuvem !
  • Implantar novos pontos de extremidade do modelo em menos de 5 minutos
  • Inclui suporte de porção de GPU otimizada apoiada por NVIDIA-TRITON
  • com monitoramento de modelo fora do corpo
• Relatórios - Crie e compartilhe ricos documentos de remarca que suportam conteúdo on -line incorporável
• Painel de Orquestração - Painel Rich Live para todo o seu cluster de computação (Cloud / Kubernetes / On -Prem)
• NOVO ? GPUs fracionárias - Baseada em contêiner, limitação de memória da GPU no nível do driver? !!!

Instrumentando esses componentes é o ClearMl-Server , consulte Hosting Auto-Hosting & Free Tier

---

Inscreva -se e comece a usar em menos de 2 minutos

---

Tutoriais amigáveis ​​para você começar

Etapa 1 - Gerenciamento de experimentos
Etapa 2 - Configuração do agente de execução remota
Etapa 3 - Execute as tarefas remotamente

---

Gerenciamento de experimentos	Conjuntos de dados
Orquestração	Pipelines

ClearML Gerente de Experiência

Adicionar apenas 2 linhas ao seu código o segue o seguinte

• Log de configuração de experimento completo
  • Informações completas de controle de fonte, incluindo alterações locais não comprometidas
  • Ambiente de execução (incluindo pacotes e versões específicas)
  • Hiper-parâmetros
    • argparse /click /pythonfire para parâmetros da linha de comando com valores atualmente usados
    • Dicionário de parâmetros explícitos
    • Tensorflow define (ABSL-PY)
    • Configuração e substituição do Hydra
  • Arquivo de pesos do modelo inicial
• Experiência completa Saída de captura automática
  • stdout e stderr
  • Monitoramento de recursos (utilização da CPU/GPU, temperatura, IO, rede etc.)
  • Modelo Instantâneos (com upload automático opcional para armazenamento central: pasta compartilhada, S3, GS, Azure, HTTP)
  • Artefatos Log & Store (pasta compartilhada, S3, GS, Azure, HTTP)
  • Tensorboard/Tensorboardx escalares, métricas, histogramas, imagens, amostras de áudio e vídeo
  • Matplotlib e Seaborn
  • Interface do ClearMl Logger para flexibilidade completa.
• Extenso suporte e integrações da plataforma
  • ML / DL Frameworks suportados: Pytorch (incl 'Ignite / Lightning), Tensorflow, Keras, Autokeras, Fastai, XGBoost, LightGBM, Megengine e Scikit-Learn
  • Integração sem costura (incluindo controle de versão) com notebook Jupyter e Pycharm Remote Debugging

Comece a usar o ClearML

1. Inscreva -se gratuitamente no serviço hospedado ClearML (alternativamente, você pode configurar seu próprio servidor, veja aqui).

   ClearMl Demo Server: ClearML não usa mais o servidor de demonstração por padrão. Para ativar o servidor de demonstração, defina a variável de ambiente CLEARML_NO_DEFAULT_SERVER=0 . As credenciais não são necessárias, mas os experimentos lançados no servidor de demonstração são públicos, portanto, não seja necessário iniciar experimentos confidenciais se estiver usando o servidor de demonstração.

2. Instale o pacote clearml Python:

   pip install clearml

3. Conecte o SDK ClearML ao servidor criando credenciais, execute o comando abaixo e siga as instruções:

   clearml-init

4. Adicione duas linhas ao seu código:

    from clearml import Task
   task = Task . init ( project_name = 'examples' , task_name = 'hello world' )

E você terminou! Tudo o que seu processo sai agora está conectado automaticamente ao ClearML.

Próximo passo, automação! Saiba mais sobre a automação de dois cliques da ClearML aqui .

Arquitetura ClearML

Os componentes de tempo de execução do ClearML:

• O pacote ClearML Python - para integrar o ClearML em seus scripts existentes, adicionando apenas duas linhas de código e, opcionalmente, estendendo seus experimentos e outros fluxos de trabalho com o conjunto poderoso e versátil de classes e métodos da ClearML.
• O servidor ClearML - para armazenar dados de experimentos, modelo e fluxo de trabalho; Suportando o gerente de experimentos da interface do usuário da web e a automação do MLOPS para reprodutibilidade e ajuste. Está disponível como um serviço hospedado e código aberto para você implantar seu próprio servidor ClearML.
• O agente ClearML - para reprodutibilidade de orquestração, experimento e fluxo de trabalho MLOPS e escalabilidade.

Módulos adicionais

• ClearMl-Session- Lançar o remoto JupyterLab / VScode-Server dentro de qualquer docker, em máquinas Cloud / On-Prem
• ClearMl -Task - Execute qualquer base de código em máquinas remotas com logs remoto completo de saídas de tensorboard, matplotlib e console
• ClearMl -Data - CLI para gerenciar e versificar seus conjuntos de dados, incluindo criar/fazer upload/download de dados de S3/GS/Azure/NAS
• AWS Auto -Scaler - Spin automaticamente instâncias EC2 com base em suas cargas de trabalho com orçamento pré -configurado! Não há necessidade de Ake!
• Otimização de hiper-parâmetro-otimize qualquer código com abordagem de caixa preta e algoritmos de otimização bayesiana de última geração
• Pipeline de automação - Construa dutos com base em experimentos / trabalhos existentes, suporta a construção de dutos de oleodutos!
• Integração do Slack - Relatório Experiências Progresso / falha diretamente para Slack (totalmente personalizável!)

Por que clearml?

A ClearML é a nossa solução para um problema que compartilhamos com inúmeros outros pesquisadores e desenvolvedores no universo de aprendizado de máquina/aprendizado profundo: o treinamento de modelos de aprendizado profundo da produção é um processo glorioso, mas confuso. A ClearML rastreia e controla o processo associando o controle da versão de código, projetos de pesquisa, métricas de desempenho e proveniência do modelo.

Projetamos o ClearML especificamente para exigir integração sem esforço, para que as equipes possam preservar seus métodos e práticas existentes.

• Use -o diariamente para aumentar a colaboração e a visibilidade em sua equipe
• Crie um trabalho remoto a partir de qualquer experimento com um clique de um botão
• Automatize processos e crie pipelines para coletar seus registros, saídas e dados de experimentação
• Armazene todos os seus dados em qualquer solução de armazenamento de objetos, com a interface mais direta possível
• Torne seus dados transparentes catalogando tudo na plataforma ClearML

Acreditamos que o ClearML é inovador. Desejamos estabelecer novos padrões de verdadeira integração perfeita entre gerenciamento de experimentos, MLOPs e gerenciamento de dados.

Quem somos

O ClearML é suportado por você e pela equipe Clear.ML, que ajuda as empresas corporativas a criar MLOPs escaláveis.

Construímos o ClearML para rastrear e controlar o processo glorioso, mas confuso, de treinamento de modelos de aprendizado profundo da produção. Estamos comprometidos em apoiar e expandir vigorosamente as capacidades do ClearML.

Prometemos sempre ser compatíveis com antecedência, certificando -se de que todos os seus logs, dados e pipelines sempre atualizem com você.

Licença

Licença Apache, versão 2.0 (consulte a licença para obter mais informações)

Se o ClearML fizer parte do seu processo de desenvolvimento / projeto / publicação, cite -nos ❤️:

 @misc{clearml,
title = {ClearML - Your entire MLOps stack in one open-source tool},
year = {2024},
note = {Software available from http://github.com/allegroai/clearml},
url={https://clear.ml/},
author = {ClearML},
}

Documentação, comunidade e apoio

Para mais informações, consulte a documentação oficial e no YouTube.

Para exemplos e casos de uso, verifique a pasta Exemplos e a documentação correspondente.

Se você tiver alguma dúvida: poste em nosso canal Slack ou marque suas perguntas no StackOverflow com a tag ' clearml ' ( tag de trens anteriormente ).

Para solicitações de recursos ou relatórios de bugs, use problemas do GitHub.

Além disso, você sempre pode nos encontrar em [email protected]

Contribuindo

Os PRs são sempre bem -vindos ❤️ Veja mais detalhes nas diretrizes da ClearML para contribuir.

Que a força (e a deusa das taxas de aprendizado) estejam com você!