pipelines

Visão geral do serviço de pipelines Kubeflow

Kubeflow é um kit de ferramentas de aprendizado de máquina (ML) dedicado a tornar as implantações de fluxos de trabalho de ML no Kubernetes simples, portáteis e escalonáveis.

Os pipelines do Kubeflow são fluxos de trabalho de ML reutilizáveis ​​de ponta a ponta criados usando o SDK do Kubeflow Pipelines.

O serviço de pipelines Kubeflow tem os seguintes objetivos:

• Orquestração ponta a ponta: habilitando e simplificando a orquestração de pipelines de aprendizado de máquina ponta a ponta
• Experimentação fácil: tornando mais fácil para você experimentar inúmeras ideias e técnicas e gerenciar seus vários testes/experimentos.
• Reutilização fácil: permite reutilizar componentes e pipelines para montar rapidamente soluções completas, sem precisar reconstruir todas as vezes.

Instalação

• Kubeflow Pipelines pode ser instalado como parte da plataforma Kubeflow. Como alternativa, você pode implantar o Kubeflow Pipelines como um serviço independente.

• O tempo de execução do contêiner Docker foi descontinuado no Kubernetes 1.20+. O Kubeflow Pipelines mudou para usar o Emissary Executor por padrão do Kubeflow Pipelines 1.8. O executor do Emissary é independente do tempo de execução do Container, o que significa que você pode executar Kubeflow Pipelines no cluster Kubernetes com qualquer tempo de execução do Container.

Documentação

Comece com seu primeiro pipeline e leia mais informações na visão geral do Kubeflow Pipelines.

Veja as várias maneiras de usar o SDK do Kubeflow Pipelines.

Consulte o documento da API Kubeflow Pipelines para especificações da API.

Consulte os documentos de referência do Python SDK ao escrever pipelines usando o Python SDK.

Contribuindo para pipelines do Kubeflow

Antes de começar a contribuir com o Kubeflow Pipelines, leia as diretrizes em Como contribuir. Para saber como criar e implantar Kubeflow Pipelines a partir do código-fonte, leia o guia do desenvolvedor.

Reunião da comunidade Kubeflow Pipelines

A reunião acontecerá todas as quartas-feiras, das 10h às 11h (PST). Calendário Convide ou participe da reunião diretamente

Notas de reunião

Canal Slack do Kubeflow Pipelines

#kubeflow-pipelines

Postagens de blog

• Primeiros passos com Kubeflow Pipelines (por Amy Unruh)
• Como criar e implantar um pipeline de aprendizado de máquina Kubeflow (por Lak Lakshmanan)
  • Parte 1: Como criar e implantar um pipeline de aprendizado de máquina Kubeflow
  • Parte 2: Como implantar notebooks Jupyter como componentes de um pipeline Kubeflow ML
  • Parte 3: Como realizar CI/CD em Machine Learning (“MLOps”) usando pipelines Kubeflow ML
• Otimizações Tekton para Kubeflow Pipelines 2.0 (por Tommy Li)

Agradecimentos

Os pipelines do Kubeflow usam Argo Workflows por padrão para orquestrar recursos do Kubernetes. A comunidade Argo tem nos apoiado muito e estamos muito gratos. Além disso, há backend Tekton disponível também. Para acessá-lo, consulte o repositório Kubeflow Pipelines com Tekton.