Что такое рабочие процессы Argo?

Argo Workflows — это контейнерный механизм рабочих процессов с открытым исходным кодом для организации параллельных заданий в Kubernetes. Рабочие процессы Argo реализованы как CRD Kubernetes (определение пользовательского ресурса).

Определите рабочие процессы, в которых каждый шаг является контейнером.
Моделируйте многоэтапные рабочие процессы как последовательность задач или фиксируйте зависимости между задачами с помощью направленного ациклического графа (DAG).
Легко выполняйте ресурсоемкие задачи по машинному обучению или обработке данных за короткое время, используя рабочие процессы Argo в Kubernetes.

Argo — это дипломный проект Cloud Native Computing Foundation (CNCF).

Варианты использования

Конвейеры машинного обучения
Данные и пакетная обработка
Автоматизация инфраструктуры
CI/CD
Другие варианты использования

Почему рабочие процессы Argo?

Argo Workflows — самый популярный механизм выполнения рабочих процессов для Kubernetes.
Легкий, масштабируемый и простой в использовании.
Разработано с нуля для контейнеров без накладных расходов и ограничений устаревших виртуальных машин и серверных сред.
Независим от облака и может работать в любом кластере Kubernetes.

Прочитайте, что сказали люди в нашем последнем опросе

Попробуйте рабочие процессы Argo

Вы можете попробовать рабочие процессы Argo одним из следующих способов:

Интерактивный учебный материал
Доступ к демонстрационной среде

Скриншот

Кто использует рабочие процессы Argo?

Около 200+ организаций официально используют Argo Workflows.

Экосистема

Вот лишь некоторые из проектов, которые используют или полагаются на рабочие процессы Argo (полный список здесь):

Арго События
Кулер
Гера
Катиб
Кедро
Трубопроводы Kubeflow
Метапоток Netflix
Одна панель
Оркестр
Пайпер
слесарь
Селдон
SQLFlow

Клиентские библиотеки

Ознакомьтесь с нашими клиентами Java, Golang и Python.

Быстрый старт

Начните здесь
Примеры прохождения

Документация

Посмотреть документы

Функции

Неполный список функций, предоставляемых Argo Workflows:

Пользовательский интерфейс для визуализации и управления рабочими процессами
Поддержка артефактов (S3, Artifactory, Alibaba Cloud OSS, хранилище BLOB-объектов Azure, HTTP, Git, GCS, raw)
Шаблоны рабочих процессов для хранения часто используемых рабочих процессов в кластере.
Архивирование рабочих процессов после выполнения для последующего доступа
Запланированные рабочие процессы с использованием cron
Серверный интерфейс с REST API (HTTP и GRPC)
Декларация рабочих процессов на основе DAG или шагов
Входные и выходные данные уровня шага (артефакты/параметры)
Петли
Параметризация
Условные предложения
Таймауты (шаг и уровень рабочего процесса)
Повторить попытку (шаг и уровень рабочего процесса)
Отправить повторно (запомнено)
Приостановить и возобновить
Отмена
оркестровка ресурсов K8s
Хуки выхода (уведомления, очистка)
Сбор мусора завершенного рабочего процесса
Планирование (сходство/допуски/селекторы узлов)
Тома (эфемерные/существующие)
Ограничения параллелизма
Демонические шаги
DinD (докер в докере)
Шаги сценария
Эмиссия событий
Метрики Прометея
Несколько исполнителей
Несколько стратегий сбора мусора для модулей и рабочих процессов
Автоматически рассчитывается использование ресурсов за шаг
SDK Java/Golang/Python
Поддержка бюджета Pod Disruption
Единый вход (OAuth2/OIDC)
Запуск вебхука
интерфейс командной строки
Готовые и настраиваемые метрики Prometheus
Поддержка контейнеров Windows
Встроенные виджеты
Мультиплексный просмотрщик журналов

Встречи сообщества

Мы проводим ежемесячные встречи сообщества, на которых мы и сообщество демонстрируем демо-версии и обсуждаем текущее и будущее состояние проекта. Смело присоединяйтесь к нам! Информацию о собраниях сообщества, протоколы и записи можно найти здесь.

Участие в рабочих процессах Argo регулируется Кодексом поведения CNCF.

Блоги и презентации сообществ

Awesome-Argo: тщательно подобранный список потрясающих проектов и ресурсов, связанных с Argo
Автоматизация всего — как объединить события Argo, рабочие процессы и конвейеры, компакт-диски и развертывания
Рабочие процессы и конвейеры Argo — CI/CD, машинное обучение и другие рабочие процессы Kubernetes
Роль Argo Ansible: Обеспечение рабочих процессов Argo в OpenShift
Рабочие процессы Argo против Apache Airflow
За пределами прототипов: готовые к производству системы машинного обучения с Metaflow и Argo
CI/CD с Argo в Kubernetes
Определите свой конвейер CI/CD с помощью рабочих процессов Argo
Шаблоны распределенного машинного обучения из публикации Мэннинга
Нативная платформа искусственного интеллекта для инженерного облака
Управление тысячами экспериментов по автоматическому машинному обучению с помощью Argo и Katib
Революция в научном моделировании с помощью рабочих процессов Argo
Запуск рабочих процессов Argo в нескольких кластерах Kubernetes
Масштабирование Kubernetes: лучшие практики управления крупномасштабными пакетными заданиями с помощью Spark и Argo Workflow
Обзор управления моделями с открытым исходным кодом: Polyaxon, Argo и Seldon
Создание 200 извлечений OpenStreetMap за 35 минут с использованием масштабируемого рабочего процесса с данными
Готовая к производству платформа искусственного интеллекта на Kubernetes
Обзор интеграции с Арго
TGI Kubernetes с Джо Беда: система рабочих процессов Argo