obelisk

เสาโอเบลิสค์

เอ็นจิ้นเวิร์กโฟลว์ที่กำหนดซึ่งสร้างขึ้นจากรุ่นส่วนประกอบ WASM

สถานะโครงการ / ข้อสงวนสิทธิ์

นี่เป็น รุ่นก่อนเผยแพร่

Repo นี้มีโค้ดแบ็กเอนด์สำหรับการพัฒนาและการทดสอบในเครื่อง ซอฟต์แวร์ไม่มีการรับประกันความเข้ากันได้แบบย้อนหลังสำหรับ CLI, gRPC หรือสคีมาฐานข้อมูล

แพลตฟอร์มที่รองรับ

• ลินุกซ์ x64

หลักการสำคัญ

• สคีมาก่อนอื่น โดยใช้ภาษา WIT ของโมเดล WASM Component เป็นส่วนติดต่อระหว่างเวิร์กโฟลว์และกิจกรรมต่างๆ
• ความยินดีของนักพัฒนาแบ็กเอนด์
  • กระบวนการเดียวสำหรับการรันตัวดำเนินการ เวิร์กโฟลว์ และกิจกรรม โดยมี Escape Hatch สำหรับกิจกรรมภายนอก (วางแผนไว้)
  • ลองใหม่โดยอัตโนมัติเมื่อเกิดข้อผิดพลาด การหมดเวลา การดำเนินการเวิร์กโฟลว์ดำเนินต่อไปหลังจากเซิร์ฟเวอร์หยุดทำงาน
  • ความสามารถในการสังเกต (ตามแผน) - ต้องรักษาพารามิเตอร์และผลลัพธ์ร่วมกับลำดับชั้นของฟังก์ชันไว้
  • ความสามารถในการเขียน - เวิร์กโฟลว์การซ้อน การเรียกกิจกรรมที่เขียนในภาษาที่รองรับ
  • เล่นซ้ำและแยกเวิร์กโฟลว์ที่มีอยู่ (วางแผนไว้) แก้ไขปัญหาและดำเนินการต่อ

แนวคิดและคุณสมบัติ

• กิจกรรม ที่ต้องเป็น idempotent (retriable) เพื่อให้สามารถหยุดและลองใหม่ได้ทุกเมื่อ สัญญานี้จะต้องปฏิบัติตามโดยกิจกรรมเอง

  • กิจกรรม WASI ดำเนินการในแซนด์บ็อกซ์ WASM
    • สามารถติดต่อเซิร์ฟเวอร์ HTTP โดยใช้ไคลเอนต์ WASI 0.2 HTTP
    • สามารถอ่าน/เขียนระบบไฟล์ได้ (ตามแผน)
  • รองรับระยะเวลาการดำเนินการสูงสุด หลังจากนั้นการดำเนินการจะถูกระงับเป็นการหมดเวลาเป็นระยะๆ
  • ลองใหม่อีกครั้งกับข้อผิดพลาด - บนกับดัก WASM (ตื่นตระหนก) หรือเมื่อส่งคืนผลลัพธ์ข้อผิดพลาด
  • พยายามหมดเวลาอีกครั้งโดยมีการถอยกลับแบบเอ็กซ์โปเนนเชียล
  • ผลการดำเนินการยังคงอยู่
  • ตัวเลือกประสิทธิภาพเพื่อให้การดำเนินการเวิร์กโฟลว์หลักร้อนหรือยกเลิกการโหลดและเล่นประวัติเหตุการณ์ซ้ำ

• ขั้นตอนการทำงานที่กำหนด

  • สามารถเล่นซ้ำได้: การดำเนินการจะคงอยู่ทุกครั้งที่มีการเปลี่ยนแปลงสถานะ เพื่อให้สามารถเล่นซ้ำได้หลังจากการขัดจังหวะหรือเกิดข้อผิดพลาด
  • ทำงานในแซนด์บ็อกซ์ WASM ซึ่งแยกออกจากสภาพแวดล้อม
  • ลองใหม่โดยอัตโนมัติเมื่อเกิดความล้มเหลว เช่น ข้อผิดพลาดของฐานข้อมูล การหมดเวลา หรือแม้แต่กับดัก (ตื่นตระหนก)
  • สามารถวางไข่เวิร์กโฟลว์หรือกิจกรรมย่อยได้ ไม่ว่าจะบล็อกจนกว่าผลลัพธ์จะมาถึงหรือรอผลลัพธ์แบบอะซิงโครนัส
  • สามารถเล่นซ้ำเวิร์กโฟลว์ได้ด้วยข้อความบันทึกที่เพิ่มเข้ามาและการเปลี่ยนแปลงอื่นๆ ที่ไม่เปลี่ยนแปลงระดับของการดำเนินการ (ตามแผน)
  • ชุดการรวมอนุญาตให้มีการทำงานพร้อมกันที่มีโครงสร้าง ไม่ว่าจะบล็อกจนกว่าการดำเนินการย่อยจะเสร็จสิ้น หรือยกเลิกรายการที่ไม่ได้รอ (วางแผนไว้)

• เว็บฮุคของ WASI

  • ติดตั้งเป็นเส้นทาง URL ให้บริการการรับส่งข้อมูล HTTP
  • สามารถวางไข่เวิร์กโฟลว์หรือกิจกรรมย่อยได้

• ผู้ดำเนินการขโมยงาน

  • การล็อกชุดการดำเนินการที่ค้างอยู่ในปัจจุบันเป็นระยะๆ เริ่ม/ดำเนินการดำเนินการต่อไป
  • ทำความสะอาดการประหารชีวิตแบบแขวนเก่าด้วยการล็อคที่หมดอายุ การดำเนินการที่มีงบประมาณจะถูกลองอีกครั้ง (ตามแผน)
  • การควบคุมการทำงานพร้อมกัน - จำกัดจำนวนพนักงานที่สามารถทำงานพร้อมกันได้

การติดตั้ง

นักเทียบท่า

CONTAINER_ID= $( docker run -d getobelisk/obelisk )
docker logs --follow $CONTAINER_ID | grep " Serving gRPC requests " 

docker exec $CONTAINER_ID obelisk client component list
# See Usage for more details

ไบนารีที่สร้างไว้ล่วงหน้า

ดาวน์โหลดรุ่นล่าสุดจากหน้าเผยแพร่ GitHub

ใช้เวอร์ชันล่าสุดจาก crates.io

ดาวน์โหลดโดยใช้ cargo-binstall

cargo binstall --locked obelisk

หรือสร้างโดยใช้สินค้า

cargo install --locked obelisk

ห้ามสะเก็ด

nix --extra-experimental-features nix-command --extra-experimental-features flakes run github:obeli-sk/obelisk

การใช้งาน

การสร้างไฟล์การกำหนดค่าตัวอย่าง

obelisk server generate-config

การเริ่มต้นเซิร์ฟเวอร์

obelisk server run

รับรายการฟังก์ชันที่โหลด

obelisk client component list

การส่งฟังก์ชันเพื่อดำเนินการ (ทั้งเวิร์กโฟลว์หรือกิจกรรม)

 # Call fibonacci(10) activity from the workflow 500 times in series.
obelisk client execution submit testing:fibo-workflow/workflow.fiboa ' [10, 500] ' --follow

เหตุการณ์สำคัญ

เหตุการณ์สำคัญ 1: ปล่อยไบนารี่ - เสร็จแล้ว

• การรับแอปพลิเคชัน obelisk และทำงานเป็นไบนารี Linux
• การจัดกำหนดการเวิร์กโฟลว์และกิจกรรม Wasm การลองใหม่เมื่อหมดเวลาและความล้มเหลว
• ความคงทนในการใช้ sqlite
• การเปิดตัวเวิร์กโฟลว์/กิจกรรมลูกพร้อมกันโดยใช้ชุดการรวม
• CLI พื้นฐานสำหรับการกำหนดค่าและการกำหนดเวลาส่วนประกอบ Wasm
• การเปิดตัว Github, อิมเมจนักเทียบท่า, เผยแพร่ไปยัง crates.io, รองรับ cargo-binstall

เหตุการณ์สำคัญ 2: อนุญาตการโต้ตอบระยะไกลผ่าน CLI - เสร็จสิ้น

• ย้ายส่วนประกอบและการกำหนดค่าทั่วไปไปไว้ในไฟล์ TOML
• ดึงส่วนประกอบ - จากรีจิสทรี OCI
• เผยแพร่รูปภาพ Obelisk ไปยัง Docker Hub (Ubuntu, Alpine)
• การผลักดันคอมโพเนนต์ไคลเอ็นต์ Obelisk
• gRPC API สำหรับการจัดการการดำเนินการ
• ติดตามผู้ปกครองบนสุด
• การตรวจสอบประเภทพารามิเตอร์ในการสร้าง การวิปัสสนาประเภทของฟังก์ชันทั้งหมดในระบบ
• การบันทึกและการติดตามการกำหนดค่า การส่งเหตุการณ์ไปยังตัวรวบรวม OTLP

เหตุการณ์สำคัญ 3: Webhooks, Verify, Structured concurrency, Web UI - เริ่มต้นแล้ว

• ทริกเกอร์ HTTP webhook สามารถเริ่มการดำเนินการใหม่ได้ (เวิร์กโฟลว์และกิจกรรม) สามารถรอผลลัพธ์ก่อนที่จะส่งการตอบกลับ
• ส่งต่อ stdout และ stderr (กำหนดค่าได้) ของกิจกรรมและ webhooks
• รองรับการติดตามแบบกระจาย การบันทึกจากส่วนประกอบที่รวบรวมโดย OTLP
• การจับคู่จากผลการดำเนินการใดๆ (เช่น กับดัก การหมดเวลา ตัวแปรข้อผิดพลาด) ไปยังผลการดำเนินการอื่นๆ ผ่านทาง -await-next
• การยืนยันเซิร์ฟเวอร์ - ดาวน์โหลดส่วนประกอบ ตรวจสอบการกำหนดค่า TOML และจับคู่การนำเข้าส่วนประกอบกับการส่งออก
• การทำงานพร้อมกันอย่างมีโครงสร้างสำหรับชุดการเข้าร่วม - การบล็อกพาเรนต์จนกว่าการดำเนินการย่อยทั้งหมดจะเสร็จสิ้น
• UI ที่ใช้ HTML สำหรับการแสดงการดำเนินการ ประวัติเหตุการณ์ และความสัมพันธ์
• พิมพ์การนำเข้าและส่งออกของแต่ละส่วนประกอบในรูปแบบ WIT
• ชุดการรวมแบบต่างกัน อนุญาตให้ชุดการรวมหนึ่งชุดรวมลายเซ็นฟังก์ชันหลายรายการและความล่าช้า
• เปิดเผยระบบไฟล์ด้วยการแมปไดเร็กทอรีสำหรับกิจกรรม webhooks
• เปิดเผยการกำหนดค่าเครือข่ายสำหรับกิจกรรม webhooks
• Keepalive สำหรับกิจกรรมขยายล็อคจนแล้วเสร็จ
• ตัวอย่างของ C#, Go, JS, Python

ความคิดในอนาคต

• CLI แบบโต้ตอบสำหรับการจัดการการดำเนินการ
• กิจกรรมภายนอก gRPC API
• ตัวสร้างกิจกรรม OpenAPI
• กระบวนการวางไข่จากกิจกรรม WASM โดยอ่านผลลัพธ์
• Backpressure: ขีดจำกัดของคิวที่ค้างอยู่ หรือกลยุทธ์การไล่ออก จะทำให้ LimitReached ช้าลง
• รองรับตัวดำเนินการภายนอก - เริ่มต้นการดำเนินการตามการส่งออก WIT เท่านั้น ผู้ดำเนินการภายนอกจะต้องแชร์การเข้าถึงการเขียนในฐานข้อมูล sqlite
• ป้ายกำกับที่จำกัดขั้นตอนการทำงาน/กิจกรรมไว้เฉพาะผู้ดำเนินการ
• การจัดตารางเวลาเป็นระยะ
• การขยายพันธุ์กำหนดเวลา
• การขยายพันธุ์การยกเลิก
• การตั้งค่าความจุของคิว เพิ่มแรงกดดันย้อนกลับให้กับการส่งการดำเนินการ
• ความสามารถในการจำลองพฤติกรรมของระบบที่มีความล้มเหลวที่เกิดขึ้น
• แจ้งกิจกรรม. เมื่อเรียก ค่าที่ส่งคืนจะต้องระบุผ่านจุดสิ้นสุด API
• API สำหรับแสดงรายการการดำเนินการพร้อมกับกิจกรรมการแจ้งเตือนแบบเปิด
• ฟังก์ชันแบบสอบถามแบบอ่านอย่างเดียวที่สามารถเรียกได้ในระหว่างจุดรอหรือหลังการดำเนินการเสร็จสิ้น
• ตัวเลือก stdout, การคงอยู่ของ stderr / การส่งต่อ
• การกำหนดเส้นทางการพึ่งพาอัจฉริยะจากผู้โทรผ่านอินเทอร์เฟซที่นำเข้าไปยังหนึ่งในหลายองค์ประกอบที่ส่งออก
• การลองใหม่อย่างชาญฉลาด - ลองงบประมาณอีกครั้ง ปิดการใช้งานการลองใหม่เมื่อกิจกรรมล้มเหลวใน % หนึ่งของคำขอ
• เพิ่มการกระวนกระวายใจที่กำหนดค่าได้ในการลองใหม่
• สแน็ปช็อตหน่วยความจำเวิร์กโฟลว์เพื่อการเล่นซ้ำที่รวดเร็วยิ่งขึ้น
• ดีบักเกอร์การเดินทางข้ามเวลาสำหรับเวิร์กโฟลว์ ซึ่งทำงานข้ามการปรับใช้ WASM
• ความสามารถในการแก้ไขชุดเวิร์กโฟลว์พร้อมระบบการอนุมัติเมื่อตรวจพบสิ่งที่ไม่กำหนด
• ติดตามสตริงไปยังต้นทางตลอดเวิร์กโฟลว์และกิจกรรมต่างๆ
• การแมป Webhook: การเรียกใช้ฟังก์ชันเดียว การแปลระหว่างพารามิเตอร์ที่กำหนด HTTP และ WIT และค่าส่งคืน
• การส่งต่อบริบทการติดตามแบบกระจายสำหรับ HTTP ขาออกและ webhooks
• อนุญาตให้ระบุตัวแปรข้อผิดพลาดถาวรในรูปแบบคำอธิบายประกอบใน WIT
• รองรับ (แบบกระจาย) sagas - กำหนดการย้อนกลับของกิจกรรม เรียกใช้เวิร์กโฟลว์ที่ล้มเหลว

การสร้างจากแหล่งที่มา

ตั้งค่าการพึ่งพาการพัฒนาโดยใช้ nix flakes:

nix develop
# or `direnv allow`, after simlinking .envrc-example -> .envrc

หรือดาวน์โหลดการอ้างอิงทั้งหมดด้วยตนเองดู dev-deps.txt และการตรวจสอบตาม Ubuntu Dockerfile เรียกใช้โปรแกรม

cargo run --release

การทดสอบการทำงาน

./scripts/test.sh

การทดสอบเชิงกำหนดโดยใช้เครื่องจำลอง madsim

./scripts/test-madsim.sh

มีส่วนร่วม

โครงการนี้มีแผนงานและมีการเพิ่มและทดสอบคุณสมบัติตามลำดับที่แน่นอน หากคุณต้องการสนับสนุนคุณสมบัติ โปรดหารือเกี่ยวกับคุณสมบัติดังกล่าวบน GitHub เพื่อให้เรายอมรับแพตช์และการสนับสนุนอื่นๆ คุณต้องยอมรับข้อตกลงสิทธิ์การใช้งานผู้สนับสนุน ("CLA") ของเรา สามารถดู CLA เวอร์ชันปัจจุบันได้ที่นี่