obelisk

المسلة

محرك سير العمل الحتمي مبني على نموذج مكون WASM

حالة المشروع / إخلاء المسؤولية

هذا هو الإصدار المسبق .

يحتوي هذا الريبو على كود الواجهة الخلفية للتطوير والاختبار المحلي. لا يحتوي البرنامج على ضمانات التوافق مع الإصدارات السابقة لـ CLI أو gRPC أو مخطط قاعدة البيانات.

المنصات المدعومة

• لينكس x64

المبادئ الأساسية

• المخطط أولاً، باستخدام لغة WIT الخاصة بنموذج مكون WASM كواجهة بين سير العمل والأنشطة.
• فرحة المطور الخلفية
  • عملية واحدة لتشغيل المنفذ وسير العمل والأنشطة، مع مخرج للأنشطة الخارجية (مخطط لها).
  • إعادة المحاولة التلقائية عند حدوث الأخطاء، والمهلات، واستمرار عمليات تنفيذ سير العمل بعد تعطل الخادم.
  • إمكانية الملاحظة (المخطط لها) - يجب الحفاظ على المعلمات والنتائج مع التسلسل الهرمي للوظيفة.
  • قابلية التركيب - تداخل سير العمل، واستدعاء الأنشطة المكتوبة بأي لغة مدعومة
  • إعادة تشغيل مسارات العمل الحالية وتفرعها (مخطط لها). إصلاح المشاكل والمتابعة.

المفاهيم والميزات

• الأنشطة التي يجب أن تكون غير فعالة (قابلة لإعادة المحاولة)، بحيث يمكن إيقافها وإعادة محاولتها في أي لحظة. يجب أن يتم تنفيذ هذا العقد من خلال النشاط نفسه.

  • يتم تنفيذ أنشطة WASI في وضع الحماية WASM
    • القدرة على الاتصال بخوادم HTTP باستخدام عميل WASI 0.2 HTTP.
    • قادر على القراءة/الكتابة إلى نظام الملفات (مخطط له).
  • دعم الحد الأقصى لمدة التنفيذ، وبعد ذلك يتم تعليق التنفيذ في مهلة متقطعة.
  • إعادة المحاولة عند حدوث أخطاء - عند مصائد WASM (الذعر)، أو عند إرجاع نتيجة خطأ.
  • إعادة المحاولة عند انتهاء المهلة مع التراجع الأسي.
  • استمرت نتيجة التنفيذ.
  • خيار الأداء لإبقاء تنفيذ سير العمل الأصلي ساخنًا أو إلغاء تحميل سجل الأحداث وإعادة تشغيله.

• سير العمل الحتمي

  • قابلة لإعادة التشغيل: يستمر التنفيذ عند كل تغيير في الحالة، بحيث يمكن إعادة تشغيله بعد انقطاع أو خطأ.
  • تعمل في بيئة رملية WASM، معزولة عن البيئة
  • إعادة المحاولة تلقائيًا في حالات الفشل مثل أخطاء قاعدة البيانات أو المهلات أو حتى المصائد (الذعر).
  • قادر على إنشاء مسارات عمل أو أنشطة فرعية، إما بالحظر حتى وصول النتيجة أو انتظار النتيجة بشكل غير متزامن.
  • يمكن إعادة تشغيل سير العمل من خلال رسائل السجل المضافة والتغييرات الأخرى التي لا تغير من حتمية التنفيذ (المخطط لها).
  • تسمح مجموعات الانضمام بالتزامن المنظم، إما بالحظر حتى تنتهي عمليات التنفيذ الفرعية، أو إلغاء العمليات التي لم تكن منتظرة (مخطط لها).

• خطافات الويب WASI

  • يتم تثبيته كمسار URL، ويخدم حركة مرور HTTP.
  • قادرة على إنتاج سير عمل أو أنشطة الطفل.

• عمل سرقة المنفذ

  • يؤدي القفل الدوري لمجموعة من عمليات التنفيذ المعلقة حاليًا إلى بدء/استمرار تنفيذها
  • تنظيف عمليات الإعدام المعلقة القديمة بأقفال منتهية الصلاحية. ستتم إعادة محاولة عمليات التنفيذ التي لها ميزانية (مخطط لها).
  • التحكم في التزامن - تحديد عدد العمال الذين يمكنهم العمل في وقت واحد.

تثبيت

عامل ميناء

CONTAINER_ID= $( docker run -d getobelisk/obelisk )
docker logs --follow $CONTAINER_ID | grep " Serving gRPC requests " 

docker exec $CONTAINER_ID obelisk client component list
# See Usage for more details

ثنائي مبني مسبقًا

قم بتنزيل أحدث إصدار من صفحة إصدار GitHub.

باستخدام أحدث إصدار من صناديق.io

قم بالتنزيل باستخدام Cargo-Binstall

cargo binstall --locked obelisk

أو البناء باستخدام البضائع

cargo install --locked obelisk

رقائق لا شىء

nix --extra-experimental-features nix-command --extra-experimental-features flakes run github:obeli-sk/obelisk

الاستخدام

إنشاء ملف تكوين عينة

obelisk server generate-config

بدء تشغيل الخادم

obelisk server run

الحصول على قائمة الوظائف المحملة

obelisk client component list

إرسال وظيفة للتنفيذ (إما سير العمل أو النشاط)

 # Call fibonacci(10) activity from the workflow 500 times in series.
obelisk client execution submit testing:fibo-workflow/workflow.fiboa ' [10, 500] ' --follow

المعالم

المعلم الرئيسي 1: حرر الثنائي - تم

• الحصول على تطبيق obelisk وتشغيله باعتباره ثنائي Linux
• جدولة سير العمل وأنشطة الوسام، وإعادة المحاولة عند انتهاء المهلة والفشل
• المثابرة باستخدام sqlite
• إطلاق مهام سير العمل/الأنشطة الفرعية بشكل متزامن باستخدام مجموعات الانضمام
• واجهة سطر الأوامر (CLI) الأساسية لتكوين وجدولة مكون Wasm
• إصدار Github، صورة عامل الإرساء، النشر على صناديق io، دعم cargo-binstall

المعلم الرئيسي 2: السماح بالتفاعل عن بعد عبر واجهة سطر الأوامر (CLI) - تم

• انقل المكون والتكوين العام إلى ملف TOML
• سحب المكونات - من سجل OCI
• نشر صورة المسلة على Docker Hub (ubuntu، alpine)
• دفع مكون العميل المسلة
• واجهة برمجة تطبيقات gRPC لإدارة التنفيذ
• تتبع الوالد الأعلى
• فحص نوع المعلمات عند الإنشاء، واستبطان أنواع جميع الوظائف في النظام
• تسجيل وتتبع التكوين، وإرسال الأحداث إلى جامع OTLP

المعلم الرئيسي 3: بدء خطافات الويب، والتحقق، والتزامن المنظم، وواجهة مستخدم الويب

• مشغلات HTTP webhook قادرة على بدء عمليات تنفيذ جديدة (سير العمل والأنشطة)، وقادرة على انتظار النتيجة قبل إرسال الاستجابة.
• إعادة توجيه stdout وstderr (قابل للتكوين) للأنشطة وخطافات الويب
• دعم التتبع الموزع والتسجيل من المكونات المجمعة بواسطة OTLP
• التعيين من أي نتيجة تنفيذ (على سبيل المثال، المصائد، المهلات، متغيرات الخطأ) إلى نتائج التنفيذ الأخرى عبر -await-next
• التحقق من الخادم - يقوم بتنزيل المكونات والتحقق من تكوين TOML ويطابق عمليات استيراد المكونات مع عمليات التصدير.
• التزامن المنظم لمجموعات الانضمام - حظر الأصل حتى تنتهي جميع عمليات التنفيذ التابعة
• واجهة مستخدم تعتمد على HTML لعرض عمليات التنفيذ وتاريخ الأحداث والعلاقات
• قم بطباعة واردات وصادرات كل مكون بتنسيق WIT
• مجموعات ربط غير متجانسة، مما يسمح لمجموعة ربط واحدة بدمج توقيعات وتأخيرات الوظائف المتعددة
• كشف نظام الملفات من خلال تعيين الدليل للأنشطة وخطافات الويب
• كشف تكوين الشبكة للأنشطة وخطافات الويب
• Keepalives للأنشطة، وتمديد القفل حتى الانتهاء
• أمثلة مع C#، Go، JS، Python

الأفكار المستقبلية

• واجهة سطر الأوامر التفاعلية لإدارة التنفيذ
• الأنشطة الخارجية gRPC API
• مولد نشاط OpenAPI
• عمليات التكاثر من أنشطة WASM وقراءة مخرجاتها
• الضغط الخلفي: تؤدي القيود المفروضة على قوائم الانتظار المعلقة، أو استراتيجية الإخلاء، إلى إبطاء LimitReached
• دعم المنفذين الخارجيين - بدء عمليات التنفيذ بناءً على صادرات WIT فقط. يجب على المنفذين الخارجيين مشاركة حق الوصول للكتابة إلى قاعدة بيانات sqlite.
• تسميات تقيد سير العمل/الأنشطة على المنفذين
• الجدولة الدورية
• نشر الموعد النهائي
• انتشار الإلغاء
• إعداد سعة قائمة الانتظار، مما يضيف الضغط الخلفي إلى تقديم التنفيذ
• القدرة على محاكاة سلوك النظام مع حالات الفشل المحقونة
• إخطار الأنشطة. عند الاتصال، يجب توفير قيمة الإرجاع الخاصة بهم عبر نقطة نهاية API.
• واجهة برمجة تطبيقات لإدراج عمليات التنفيذ مع أنشطة الإعلام المفتوحة الخاصة بها.
• قراءة وظيفة الاستعلام فقط التي يمكن استدعاؤها أثناء نقطة الانتظار أو بعد انتهاء التنفيذ.
• اختياري stdout، ثبات/إعادة توجيه stderr
• توجيه التبعية الذكي من المتصل عبر استيراد الواجهة إلى أحد المكونات العديدة التي تصدرها.
• إعادة المحاولة الذكية - إعادة المحاولة حسب الميزانية، وتعطيل إعادة المحاولة عندما يفشل النشاط في نسبة معينة من الطلبات
• تمت إضافة الارتعاش القابل للتكوين إلى عمليات إعادة المحاولة
• لقطات ذاكرة سير العمل لإعادة التشغيل بشكل أسرع
• مصحح أخطاء السفر عبر الزمن لسير العمل، والذي يعمل عبر عمليات نشر WASM
• القدرة على إصلاح مجموعة من مسارات العمل، مع نظام الموافقة عند اكتشاف عدم الحتمية
• تتبع السلاسل إلى أصلها عبر سير العمل والأنشطة
• تعيينات Webhook: تشغيل وظيفة واحدة، والترجمة بين المعلمات المحددة لـ HTTP وWIT وقيمة الإرجاع
• إعادة توجيه سياق التتبع الموزع لـ HTTP الصادر بالإضافة إلى خطافات الويب
• السماح بتحديد متغيرات الخطأ الدائم كتعليقات توضيحية في WIT
• دعم الملحمات (الموزعة) - تحديد التراجع عن الأنشطة، واستدعائها في سير العمل الفاشل

البناء من المصدر

قم بإعداد تبعيات التطوير باستخدام رقائق nix:

nix develop
# or `direnv allow`, after simlinking .envrc-example -> .envrc

أو قم بتنزيل جميع التبعيات يدويًا، راجع dev-deps.txt والتحقق المستند إلى Ubuntu Dockerfile قم بتشغيل البرنامج

cargo run --release

تشغيل الاختبارات

./scripts/test.sh

الاختبارات الحتمية باستخدام جهاز محاكاة madsim

./scripts/test-madsim.sh

المساهمة

يحتوي هذا المشروع على خريطة طريق ويتم إضافة الميزات واختبارها بترتيب معين. إذا كنت ترغب في المساهمة بميزة ما، فيرجى مناقشة الميزة على GitHub. لكي نتمكن من قبول التصحيحات والمساهمات الأخرى، يتعين عليك اعتماد اتفاقية ترخيص المساهم ("CLA"). يمكن العثور على الإصدار الحالي من CLA هنا.