什么是 Argo 工作流程?
Argo Workflows 是一个开源容器原生工作流引擎,用于在 Kubernetes 上编排并行作业。 Argo 工作流程是作为 Kubernetes CRD(自定义资源定义)实现的。
- 定义工作流程,其中每个步骤都是一个容器。
- 将多步骤工作流建模为任务序列,或使用有向无环图 (DAG) 捕获任务之间的依赖关系。
- 使用 Kubernetes 上的 Argo 工作流,可以在很短的时间内轻松运行用于机器学习或数据处理的计算密集型作业。
Argo 是云原生计算基金会 (CNCF) 毕业的项目。
使用案例
- 机器学习管道
- 数据和批处理
- 基础设施自动化
- 持续集成/持续交付
- 其他用例
为什么选择 Argo 工作流程?
- Argo Workflows 是 Kubernetes 最受欢迎的工作流执行引擎。
- 轻量级、可扩展且更易于使用。
- 专为容器而设计,没有传统虚拟机和基于服务器的环境的开销和限制。
- 与云无关,可以在任何 Kubernetes 集群上运行。
看看人们在我们最新的调查中所说的话
尝试 Argo 工作流程
您可以通过以下方式之一尝试 Argo 工作流程:
- 互动培训材料
- 访问演示环境
谁使用 Argo 工作流程?
大约 200 多个组织正在正式使用 Argo 工作流程
生态系统
只是一些使用或依赖 Argo 工作流程的项目(完整列表见此处):
- 阿尔戈活动
- 库勒
- 赫拉
- 卡提布
- 凯德罗
- Kubeflow 管道
- Netflix 元流
- 一个面板
- 管弦乐队
- 派珀
- 普卢默
- 谢尔顿
- SQL流
客户端库
查看我们的 Java、Golang 和 Python 客户端。
快速入门
文档
查看文档
特征
Argo Workflows 提供的功能的不完整列表:
- 用于可视化和管理工作流程的 UI
- Artifact 支持(S3、Artifactory、阿里云 OSS、Azure Blob 存储、HTTP、Git、GCS、raw)
- 工作流模板用于在集群中存储常用的工作流
- 执行后归档工作流程以供以后访问
- 使用 cron 安排工作流程
- 具有 REST API 的服务器接口(HTTP 和 GRPC)
- 基于 DAG 或步骤的工作流程声明
- 步进级输入和输出(工件/参数)
- 循环
- 参数化
- 条件句
- 超时(步骤和工作流程级别)
- 重试(步骤和工作流程级别)
- 重新提交(已记忆)
- 暂停和恢复
- 消除
- K8s资源编排
- 退出挂钩(通知、清理)
- 已完成工作流程的垃圾收集
- 调度(亲和力/容忍度/节点选择器)
- 卷(临时/现有)
- 并行度限制
- 守护步骤
- DinD(码头工人中的码头工人)
- 脚本步骤
- 事件发射
- 普罗米修斯指标
- 多个执行者
- 多种 Pod 和工作流垃圾收集策略
- 自动计算每步的资源使用情况
- Java/Golang/Python SDK
- Pod 中断预算支持
- 单点登录 (OAuth2/OIDC)
- Webhook 触发
- 命令行界面
- 开箱即用和自定义 Prometheus 指标
- Windows 容器支持
- 嵌入式小部件
- 多路复用日志查看器
社区会议
我们每月举办社区会议,我们和社区会展示演示并讨论项目的当前和未来状态。欢迎加入我们!有关社区会议信息、会议记录和录音,请参阅此处。
参与 Argo 工作流程受 CNCF 行为准则约束
社区博客和演示文稿
- Awesome-Argo:与 Argo 相关的很棒的项目和资源的精选列表
- 一切自动化 - 如何结合 Argo 事件、工作流程和管道、CD 和部署
- Argo 工作流程和管道 - CI/CD、机器学习和其他 Kubernetes 工作流程
- Argo Ansible 角色:在 OpenShift 上配置 Argo 工作流程
- Argo 工作流程与 Apache Airflow
- 超越原型:采用 Metaflow 和 Argo 的生产就绪机器学习系统
- Kubernetes 上使用 Argo 进行 CI/CD
- 使用 Argo 工作流程定义您的 CI/CD 管道
- 曼宁出版社的分布式机器学习模式
- 工程云原生AI平台
- 使用 Argo 和 Katib 管理数千个自动机器学习实验
- 利用 Argo 工作流程彻底改变科学模拟
- 跨多个 Kubernetes 集群运行 Argo 工作流
- 扩展 Kubernetes:使用 Spark 和 Argo 工作流管理大规模批处理作业的最佳实践
- 开源模型管理综述:Polyaxon、Argo 和 Seldon
- 使用可扩展的数据工作流程在 35 分钟内生成 200 个 OpenStreetMap 数据提取
- Kubernetes 上的生产就绪型 AI 平台
- Argo 集成审查
- TGI Kubernetes 与 Joe Beda:Argo 工作流程系统
项目资源
- Argo 项目 GitHub 组织
- 阿尔戈网站
- 阿尔戈·斯莱克
安全
请参阅 SECURITY.md。