Argo 워크플로우란 무엇입니까?
Argo Workflows는 Kubernetes에서 병렬 작업을 조정하기 위한 오픈 소스 컨테이너 기반 워크플로 엔진입니다. Argo Workflows는 Kubernetes CRD(Custom Resource Definition)로 구현됩니다.
- 각 단계가 컨테이너인 워크플로를 정의합니다.
- 다단계 워크플로를 일련의 작업으로 모델링하거나 방향성 비순환 그래프(DAG)를 사용하여 작업 간의 종속성을 캡처합니다.
- Kubernetes에서 Argo Workflows를 사용하면 머신 러닝이나 데이터 처리를 위한 컴퓨팅 집약적인 작업을 짧은 시간 안에 쉽게 실행할 수 있습니다.
Argo는 CNCF(Cloud Native Computing Foundation) 졸업 프로젝트입니다.
사용 사례
- 기계 학습 파이프라인
- 데이터 및 일괄 처리
- 인프라 자동화
- CI/CD
- 기타 사용 사례
왜 Argo 워크플로인가?
- Argo Workflows는 Kubernetes에서 가장 널리 사용되는 워크플로 실행 엔진입니다.
- 가볍고 확장 가능하며 사용하기 쉽습니다.
- 레거시 VM 및 서버 기반 환경의 오버헤드와 제한이 없는 컨테이너를 위해 처음부터 설계되었습니다.
- 클라우드에 구애받지 않으며 모든 Kubernetes 클러스터에서 실행할 수 있습니다.
최신 설문조사에서 사람들이 말한 내용을 읽어보세요.
Argo 워크플로우를 사용해 보세요
다음 중 하나를 통해 Argo Workflows를 사용해 볼 수 있습니다.
- 대화형 교육 자료
- 데모 환경에 액세스
Argo Workflows는 누가 사용하나요?
약 200개 이상의 조직이 공식적으로 Argo Workflows를 사용하고 있습니다.
생태계
Argo Workflows를 사용하거나 이에 의존하는 프로젝트 중 일부(전체 목록은 여기에 있음):
- 아르고 이벤트
- 쿨러
- 헤라
- 카팁
- 케드로
- Kubeflow 파이프라인
- 넷플릭스 메타플로우
- 원패널
- 오케스트라
- 피리 부는 사람
- 배관공
- 셀던
- SQL흐름
클라이언트 라이브러리
Java, Golang 및 Python 클라이언트를 확인해 보세요.
빠른 시작
선적 서류 비치
문서 보기
특징
Argo Workflows가 제공하는 기능의 불완전한 목록은 다음과 같습니다.
- 워크플로우를 시각화하고 관리하는 UI
- 아티팩트 지원(S3, Artifactory, Alibaba Cloud OSS, Azure Blob Storage, HTTP, Git, GCS, raw)
- 일반적으로 사용되는 워크플로를 클러스터에 저장하는 워크플로 템플릿
- 나중에 액세스하기 위해 실행 후 워크플로 보관
- cron을 사용하여 예약된 워크플로
- REST API(HTTP 및 GRPC)를 사용한 서버 인터페이스
- DAG 또는 단계 기반 워크플로 선언
- 단계 수준 입력 및 출력(아티팩트/매개변수)
- 루프
- 매개변수화
- 조건부
- 시간 초과(단계 및 워크플로 수준)
- 재시도(단계 및 워크플로 수준)
- 다시 제출(메모)
- 일시중단 및 재개
- 해제
- K8s 리소스 오케스트레이션
- 종료 후크(알림, 정리)
- 완료된 워크플로의 가비지 컬렉션
- 스케줄링(친화성/허용/노드 선택기)
- 볼륨(임시/기존)
- 병렬성 한계
- 데몬 단계
- DinD(도커인도커)
- 스크립트 단계
- 이벤트 방출
- 프로메테우스 측정항목
- 여러 실행자
- 다중 포드 및 워크플로 가비지 수집 전략
- 단계별 자원 사용량 자동 계산
- Java/Golang/Python SDK
- Pod 중단 예산 지원
- 싱글 사인온(OAuth2/OIDC)
- 웹훅 트리거
- CLI
- 즉시 사용 가능한 및 맞춤형 Prometheus 지표
- Windows 컨테이너 지원
- 내장된 위젯
- 멀티플렉스 로그 뷰어
커뮤니티 회의
우리는 월별 커뮤니티 회의를 개최하여 우리와 커뮤니티가 데모를 선보이고 프로젝트의 현재 및 미래 상태에 대해 논의합니다. 자유롭게 참여해 주세요! 커뮤니티 회의 정보, 회의록, 녹음 내용은 여기를 참조하세요.
Argo Workflows 참여에는 CNCF 행동 강령이 적용됩니다.
커뮤니티 블로그 및 프리젠테이션
- Awesome-Argo: Argo와 관련된 멋진 프로젝트 및 리소스의 선별된 목록
- 모든 것의 자동화 - Argo 이벤트, 워크플로 및 파이프라인, CD 및 롤아웃을 결합하는 방법
- Argo 워크플로 및 파이프라인 - CI/CD, 기계 학습 및 기타 Kubernetes 워크플로
- Argo Ansible 역할: OpenShift에서 Argo 워크플로 프로비저닝
- Argo 워크플로와 Apache Airflow 비교
- 프로토타입을 넘어서: Metaflow 및 Argo를 갖춘 프로덕션 지원 ML 시스템
- Kubernetes에서 Argo를 사용한 CI/CD
- Argo 워크플로우로 CI/CD 파이프라인 정의
- Manning 출판물의 분산 기계 학습 패턴
- 엔지니어링 클라우드 네이티브 AI 플랫폼
- Argo 및 Katib을 사용하여 수천 건의 자동 기계 학습 실험 관리
- Argo 워크플로를 통한 과학적 시뮬레이션 혁신
- 여러 Kubernetes 클러스터에서 Argo 워크플로 실행
- Kubernetes 확장: Spark 및 Argo 워크플로를 사용하여 대규모 배치 작업을 관리하기 위한 모범 사례
- 오픈 소스 모델 관리 요약: Polyaxon, Argo 및 Seldon
- 확장 가능한 데이터 워크플로우를 사용하여 35분 안에 200개의 OpenStreetMap 추출 생성
- Kubernetes의 프로덕션 지원 AI 플랫폼
- 아르고 통합 검토
- Joe Beda가 포함된 TGI Kubernetes: Argo 워크플로우 시스템
프로젝트 자원
- 아르고 프로젝트 GitHub 조직
- 아르고 웹사이트
- 아르고 슬랙
보안
SECURITY.md를 참조하세요.
