obelisk

오벨리스크

WASM 구성 요소 모델을 기반으로 구축된 결정적 워크플로 엔진

프로젝트 상태 / 면책조항

이것은 시험판 입니다.

이 저장소에는 로컬 개발 및 테스트를 위한 백엔드 코드가 포함되어 있습니다. 소프트웨어는 CLI, gRPC 또는 데이터베이스 스키마에 대한 이전 버전과의 호환성을 보장하지 않습니다.

지원되는 플랫폼

• 리눅스 x64

핵심 원칙

• 먼저 스키마는 WASM 구성 요소 모델의 WIT 언어를 워크플로와 활동 간의 인터페이스로 사용합니다.
• 백엔드 개발자의 즐거움
  • 외부 활동을 위한 탈출구가 포함된 실행기, 워크플로 및 활동을 실행하기 위한 단일 프로세스(계획됨)
  • 오류, 시간 초과, 서버 충돌 후 계속되는 워크플로 실행에 대한 자동 재시도입니다.
  • 관찰 가능성(계획) - 함수 계층 구조와 함께 매개변수 및 결과가 보존되어야 합니다.
  • 구성성 - 워크플로 중첩, 지원되는 언어로 작성된 활동 호출
  • 기존 워크플로를 재생하고 분기합니다(예정). 문제를 해결하고 계속하세요.

개념과 특징

• 언제든지 중지하고 재시도할 수 있도록 멱등성(재시도 가능)이어야 하는 활동 입니다. 이 계약은 활동 자체를 통해 이행되어야 합니다.

  • WASI 활동은 WASM 샌드박스에서 실행됩니다.
    • WASI 0.2 HTTP 클라이언트를 사용하여 HTTP 서버에 접속할 수 있습니다.
    • 파일 시스템에 대한 읽기/쓰기가 가능합니다(계획).
  • 최대 실행 기간을 지원하며 그 이후에는 간헐적인 시간 초과로 실행이 일시 중지됩니다.
  • 오류 시 재시도 - WASM 트랩(패닉) 시 또는 오류 결과 반환 시.
  • 지수 백오프를 사용하여 시간 초과 시 재시도합니다.
  • 실행 결과가 유지됩니다.
  • 상위 워크플로 실행을 핫 상태로 유지하거나 이벤트 기록을 언로드하고 재생하는 성능 옵션입니다.

• 결정적 워크플로

  • 재생 가능: 상태가 변경될 때마다 실행이 지속되므로 인터럽트나 오류 후에도 재생할 수 있습니다.
  • 환경으로부터 격리된 WASM 샌드박스에서 실행
  • 데이터베이스 오류, 시간 초과 또는 트랩(패닉)과 같은 오류가 발생하면 자동으로 재시도됩니다.
  • 결과가 도착할 때까지 차단하거나 결과를 비동기적으로 기다리는 등 하위 워크플로 또는 활동을 생성할 수 있습니다.
  • 실행 결정론(계획)을 변경하지 않는 추가 로그 메시지 및 기타 변경 사항을 사용하여 워크플로를 재생할 수 있습니다.
  • 조인 세트는 하위 실행이 완료될 때까지 차단하거나 기다리지 않은(계획된) 실행을 취소하는 구조화된 동시성을 허용합니다.

• WASI 웹훅

  • URL 경로로 마운트되어 HTTP 트래픽을 제공합니다.
  • 하위 워크플로 또는 활동을 생성할 수 있습니다.

• 업무강도 집행자

  • 현재 보류 중인 실행 배치를 주기적으로 잠그고 해당 실행을 시작/계속합니다.
  • 만료된 잠금으로 오래된 실행을 정리합니다. 예산이 있는 실행이 재시도됩니다(계획됨).
  • 동시성 제어 - 동시에 실행할 수 있는 작업자 수를 제한합니다.

설치

도커

CONTAINER_ID= $( docker run -d getobelisk/obelisk )
docker logs --follow $CONTAINER_ID | grep " Serving gRPC requests " 

docker exec $CONTAINER_ID obelisk client component list
# See Usage for more details

사전 빌드된 바이너리

GitHub 릴리스 페이지에서 최신 릴리스를 다운로드하세요.

crates.io의 최신 버전 사용

Cargo-binstall을 사용하여 다운로드

cargo binstall --locked obelisk

또는 화물을 사용하여 건설

cargo install --locked obelisk

닉스 플레이크

nix --extra-experimental-features nix-command --extra-experimental-features flakes run github:obeli-sk/obelisk

용법

샘플 구성 파일 생성

obelisk server generate-config

서버 시작

obelisk server run

로드된 함수 목록 가져오기

obelisk client component list

실행할 함수 제출(워크플로 또는 활동)

 # Call fibonacci(10) activity from the workflow 500 times in series.
obelisk client execution submit testing:fibo-workflow/workflow.fiboa ' [10, 500] ' --follow

마일스톤

마일스톤 1: 바이너리 릴리스 - 완료

• obelisk 애플리케이션을 Linux 바이너리로 시작하고 실행하기
• 워크플로 및 Wasm 활동 예약, 시간 초과 및 실패 시 재시도
• sqlite를 사용한 지속성
• 조인 세트를 사용하여 하위 워크플로/활동을 동시에 시작
• wasm 구성 요소 구성 및 예약을 위한 기본 CLI
• Github 릴리스, 도커 이미지, crates.io에 게시, cargo-binstall 지원

마일스톤 2: CLI를 통한 원격 상호 작용 허용 - 완료

• 구성 요소 및 일반 구성을 TOML 파일로 이동
• OCI 레지스트리에서 구성 요소 가져오기
• Docker Hub(ubuntu, alpine)에 오벨리스크 이미지 게시
• 오벨리스크 클라이언트 구성 요소 푸시
• 실행 관리를 위한 gRPC API
• 최상위 부모 추적
• 생성 시 Params 유형 확인, 시스템의 모든 기능 유형 검사
• 로깅 및 추적 구성, OTLP 수집기로 이벤트 보내기

마일스톤 3: 웹후크, 확인, 구조적 동시성, 웹 UI - 시작됨

• HTTP 웹후크 트리거는 새로운 실행(워크플로 및 활동)을 시작할 수 있고 응답을 보내기 전에 결과를 기다릴 수 있습니다.
• 활동 및 웹후크의 stdout 및 stderr(구성 가능) 전달
• 분산 추적 지원, OTLP에서 수집한 구성 요소의 로깅
• -await-next 통해 실행 결과(예: 트랩, 시간 초과, 오류 변형)를 다른 실행 결과로 매핑
• 서버 확인 - 구성 요소를 다운로드하고 TOML 구성을 확인하며 구성 요소 가져오기와 내보내기를 일치시킵니다.
• 조인 세트에 대한 구조적 동시성 - 모든 하위 실행이 완료될 때까지 상위를 차단합니다.
• 실행, 이벤트 기록 및 관계를 표시하는 HTML 기반 UI
• 각 구성 요소의 가져오기 및 내보내기를 WIT 형식으로 인쇄
• 이기종 조인 세트 - 하나의 조인 세트를 통해 여러 함수 시그니처와 지연을 결합할 수 있음
• 활동, 웹후크에 대한 디렉터리 매핑을 사용하여 파일 시스템 노출
• 활동, 웹훅에 대한 네트워크 구성 노출
• 활동에 대한 Keepalives, 완료될 때까지 잠금 연장
• C#, Go, JS, Python의 예

미래의 아이디어

• 실행 관리를 위한 대화형 CLI
• 외부 활동 gRPC API
• OpenAPI 활동 생성기
• WASM 활동에서 프로세스 생성, 출력 읽기
• Backpressor: 보류 중인 대기열 또는 제거 전략에 대한 제한으로 인해 LimitReached 가 느려집니다.
• 외부 실행자 지원 - WIT 내보내기만을 기반으로 실행을 시작합니다. 외부 실행자는 sqlite 데이터베이스에 대한 쓰기 액세스를 공유해야 합니다.
• 워크플로/활동을 실행자로 제한하는 라벨
• 정기적인 스케줄링
• 마감일 전파
• 취소 전파
• 대기열 용량 설정, 실행 제출에 배압 추가
• 오류가 주입된 시스템 동작을 시뮬레이션하는 기능
• 활동을 알립니다. 호출되면 API 엔드포인트를 통해 반환 값을 제공해야 합니다.
• 공개 알림 활동과 함께 실행을 나열하기 위한 API입니다.
• 대기 지점 동안 또는 실행이 완료된 후에 호출할 수 있는 읽기 전용 쿼리 함수입니다.
• 선택적 stdout,stderr 지속성/전달
• 인터페이스 가져오기를 통해 호출자로부터 이를 내보내는 여러 구성 요소 중 하나로 스마트 종속성 라우팅을 수행합니다.
• 스마트 재시도 - 재시도 예산, 활동이 특정 비율의 요청에 실패할 경우 재시도 비활성화
• 재시도에 구성 가능한 지터가 추가됨
• 더 빠른 재생을 위한 워크플로우 메모리 스냅샷
• WASM 배포 전반에 걸쳐 작동하는 워크플로용 시간 이동 디버거
• 비결정성이 감지된 경우 승인 시스템을 사용하여 일련의 워크플로우를 핫픽스하는 기능
• 워크플로 및 활동 전반에 걸쳐 문자열을 원본으로 추적합니다.
• 웹훅 매핑: 단일 함수 실행, HTTP와 WIT 정의 매개변수 간 변환 및 반환 값
• 나가는 HTTP 및 웹후크에 대한 분산 추적 컨텍스트 전달
• WIT에서 주석으로 영구 오류 변형을 지정할 수 있습니다.
• (분산) sagas 지원 - 활동에 대한 롤백을 정의하고 실패한 워크플로우에 대해 호출합니다.

소스에서 빌드

nix flakes를 사용하여 개발 종속성을 설정합니다.

nix develop
# or `direnv allow`, after simlinking .envrc-example -> .envrc

또는 모든 종속성을 수동으로 다운로드합니다. dev-deps.txt 및 Ubuntu 기반 확인 Dockerfile을 참조하세요. 프로그램 실행

cargo run --release

테스트 실행

./scripts/test.sh

madsim 시뮬레이터를 사용한 결정론적 테스트

./scripts/test-madsim.sh

기여

이 프로젝트에는 로드맵이 있으며 기능은 특정 순서로 추가되고 테스트됩니다. 기능을 제공하고 싶다면 GitHub에서 해당 기능에 대해 토론하세요. 패치 및 기타 기여를 수락하려면 기여자 라이센스 계약("CLA")을 채택해야 합니다. CLA의 최신 버전은 여기에서 찾을 수 있습니다.