pipelines

Обзор сервиса конвейеров Kubeflow

Kubeflow — это набор инструментов машинного обучения (ML), предназначенный для упрощения, переносимости и масштабируемости развертывания рабочих процессов машинного обучения в Kubernetes.

Конвейеры Kubeflow — это многоразовые комплексные рабочие процессы машинного обучения, созданные с использованием Kubeflow Pipelines SDK.

Служба конвейеров Kubeflow преследует следующие цели:

• Сквозная оркестровка: включение и упрощение оркестрации сквозных конвейеров машинного обучения.
• Легкость экспериментирования: вам будет легко опробовать множество идей и техник, а также управлять различными испытаниями/экспериментами.
• Простота повторного использования: позволяет повторно использовать компоненты и конвейеры для быстрого объединения комплексных решений без необходимости каждый раз перестраивать их.

Установка

• Kubeflow Pipelines можно установить как часть платформы Kubeflow. Альтернативно вы можете развернуть Kubeflow Pipelines как отдельный сервис.

• Среда выполнения контейнера Docker устарела в Kubernetes 1.20+. Kubeflow Pipelines переключился на использование Emissary Executor по умолчанию из Kubeflow Pipelines 1.8. Исполнитель-эмиссар не зависит от среды выполнения контейнера, что означает, что вы можете запускать Kubeflow Pipelines в кластере Kubernetes с любой средой выполнения контейнера.

Документация

Начните работу со своим первым конвейером и прочтите дополнительную информацию в обзоре конвейеров Kubeflow.

Узнайте о различных способах использования Kubeflow Pipelines SDK.

Спецификацию API см. в документе Kubeflow Pipelines API.

При написании конвейеров с использованием Python SDK обратитесь к справочной документации Python SDK.

Участие в конвейерах Kubeflow

Прежде чем начать вносить вклад в Kubeflow Pipelines, прочтите инструкции в разделе «Как внести свой вклад». Чтобы узнать, как создавать и развертывать конвейеры Kubeflow из исходного кода, прочтите руководство для разработчиков.

Встреча сообщества Kubeflow Pipelines

Встреча проводится каждую вторую среду, 10–11 утра (тихоокеанское стандартное время). Календарь Пригласите или присоединитесь к встрече напрямую

Заметки о встрече

Слабый канал трубопроводов Kubeflow

#kubeflow-pipelines

Сообщения в блоге

• Начало работы с Kubeflow Pipelines (Эми Унру)
• Как создать и развернуть конвейер машинного обучения Kubeflow (Лак Лакшманан)
  • Часть 1. Как создать и развернуть конвейер машинного обучения Kubeflow
  • Часть 2. Как развернуть блокноты Jupyter как компоненты конвейера Kubeflow ML
  • Часть 3. Как выполнить CI/CD в машинном обучении («MLOps») с использованием конвейеров Kubeflow ML.
• Оптимизация Tekton для Kubeflow Pipelines 2.0 (Томми Ли)

Благодарности

Конвейеры Kubeflow по умолчанию используют рабочие процессы Argo для управления ресурсами Kubernetes. Сообщество Argo оказало нам большую поддержку, и мы очень благодарны. Кроме того, доступен бэкэнд Tekton. Чтобы получить к нему доступ, обратитесь к Kubeflow Pipelines с репозиторием Tekton.