flyte
v1.14.0 milestone release
؟
Flyte عبارة عن منسق مفتوح المصدر يسهل بناء بيانات على مستوى الإنتاج وخطوط تعلم الآلة. لقد تم تصميمه من أجل قابلية التوسع والتكرار، مع الاستفادة من Kubernetes كمنصة أساسية له. باستخدام Flyte، يمكن لفرق المستخدمين إنشاء خطوط أنابيب باستخدام Python SDK، ونشرها بسلاسة على كل من البيئات السحابية والمحلية، مما يتيح المعالجة الموزعة والاستخدام الفعال للموارد.
اكتب التعليمات البرمجية بلغة Python أو أي لغة أخرى واستفد من محرك الكتابة القوي.
سواء محليًا أو على مجموعة بعيدة، قم بتنفيذ النماذج الخاصة بك بسهولة.
pip install flytekitpyflyte run hello_world.py hello_world_wfهل أنت مستعد لتجربة مجموعة Flyte؟
flytectl demo startpyflyte run --remote hello_world.py hello_world_wfهل تريد رؤية المزيد ولكن لا تريد تثبيت أي شيء؟
توجه إلى https://sandbox.union.ai/. فهو يسمح لك بتجربة إمكانيات Flyte من دفتر Jupyter المستضاف.
على استعداد للإنتاج؟
انتقل إلى دليل النشر للحصول على إرشادات لتثبيت Flyte في بيئات مختلفة
واجهات مكتوبة بقوة : تحقق من صحة بياناتك في كل خطوة من خطوات سير العمل من خلال تحديد حواجز حماية البيانات باستخدام أنواع Flyte.
أي لغة : اكتب التعليمات البرمجية بأي لغة باستخدام الحاويات الأولية، أو اختر Python أو Java أو Scala أو JavaScript SDKs لتطوير سير عمل Flyte الخاص بك.
الثبات : تساعد عمليات التنفيذ غير القابلة للتغيير على ضمان إمكانية التكرار عن طريق منع أي تغييرات في حالة التنفيذ.
؟ نسب البيانات : تتبع حركة البيانات وتحويلها طوال دورة حياة بياناتك وسير عمل تعلم الآلة.
مهام الخريطة : تحقيق تنفيذ التعليمات البرمجية المتوازية بأقل قدر من التكوين باستخدام مهام الخريطة.
؟ تعدد الإيجارات : يمكن لعدة مستخدمين مشاركة نفس النظام الأساسي مع الحفاظ على البيانات والتكوينات المميزة الخاصة بهم.
؟ سير العمل الديناميكي : قم ببناء سير عمل مرن وقابل للتكيف ويمكن أن يتغير ويتطور حسب الحاجة، مما يسهل الاستجابة للمتطلبات المتغيرة.
⏯️ انتظر المدخلات الخارجية قبل البدء في التنفيذ.
؟ التفرع : قم بتنفيذ فروع سير العمل بشكل انتقائي بناءً على البيانات الثابتة أو الديناميكية التي تنتجها المهام الأخرى أو بيانات الإدخال.
؟ تصور البيانات : تصور البيانات ومراقبة النماذج وعرض تاريخ التدريب من خلال المخططات.
FlyteFile & FlyteDirectory : نقل الملفات والأدلة بين التخزين المحلي والسحابي.
️ مجموعة البيانات المنظمة : تحويل إطارات البيانات بين الأنواع وفرض فحص النوع على مستوى العمود باستخدام التمثيل المجرد ثنائي الأبعاد الذي توفره مجموعة البيانات المنظمة.
️ التعافي من حالات الفشل : استرداد المهام الفاشلة فقط.
؟ إعادة تشغيل مهمة واحدة : أعد تشغيل مهام سير العمل على المستوى الأكثر تفصيلاً دون تعديل الحالة السابقة لسير عمل البيانات/تعلم الآلة.
؟ مخرجات ذاكرة التخزين المؤقت : مخرجات مهمة ذاكرة التخزين المؤقت عن طريق تمرير cache=True لمصمم المهمة.
نقاط التفتيش داخل المهام : تقدم نقاط التفتيش أثناء تنفيذ المهمة.
⏰ المهلة : حدد فترة المهلة، وبعدها يتم وضع علامة على المهمة بأنها فاشلة.
؟ Dev to prod : بسيط مثل تغيير المجال الخاص بك من التطوير أو التدريج إلى الإنتاج.
؟ المثيلات الموضعية أو الوقائية : قم بجدولة سير العمل الخاص بك على المثيلات الموضعية عن طريق تعيين interruptible إلى True في مصمم المهام.
☁️ النشر السحابي الأصلي : انشر Flyte على AWS وGCP وAzure والخدمات السحابية الأخرى.
؟ الجدولة : قم بجدولة بياناتك وسير عمل ML للتشغيل في وقت محدد.
؟ الإخطارات : ابق على اطلاع بالتغييرات التي تطرأ على حالة سير العمل الخاص بك عن طريق تكوين الإشعارات من خلال Slack أو PagerDuty أو البريد الإلكتروني.
⌛️ عرض المخطط الزمني : قم بتقييم مدة كل مهمة من مهام Flyte الخاصة بك وتحديد الاختناقات المحتملة.
؟ تسريع GPU : قم بتمكين متطلبات GPU الخاصة بمهامك والتحكم فيها عن طريق طلب الموارد في مصمم المهام.
؟ عزل التبعية عبر الحاويات : احتفظ بمجموعات منفصلة من التبعيات لمهامك حتى لا تنشأ تعارضات في التبعيات.
؟ التوازي : مهام Flyte متوازية بطبيعتها لتحسين استهلاك الموارد وتحسين الأداء.
؟ تخصيص الموارد ديناميكيًا على مستوى المهمة.
انضم إلى أمثال LinkedIn وSpotify وFreenome وPachama وWarner Bros. والعديد من الشركات الأخرى في اعتماد Flyte لحالات الاستخدام ذات المهام الحرجة. للحصول على قائمة كاملة بالمتبنين ومعلومات حول كيفية إضافة مؤسستك أو مشروعك، يرجى زيارة صفحة المتبنين الخاصة بنا.
مزامنة المجتمع الشهرية: يحدث يوم الثلاثاء الأول من كل شهر، حيث يقدم فريق Flyte تحديثات حول المشروع، ويمكن لأعضاء المجتمع مشاركة تقدمهم وطرح الأسئلة.
Slack: انضم إلى مجتمع Flyte على Slack للدردشة مع المستخدمين الآخرين وطرح الأسئلة والحصول على المساعدة.
؟ Youtube: تابع حلقات النقاش وقصص نجاح العملاء وتحديثات المجتمع وميزات التعمق.
؟ المدونة: هنا، يمكنك العثور على برامج تعليمية وميزات تفصيلية عميقة لمساعدتك في معرفة المزيد عن Flyte.
RFCs: تُستخدم RFCs لاقتراح أفكار وميزات جديدة لتحسين Flyte. يمكنك الرجوع إليها للبقاء على اطلاع بآخر التطورات والمساهمة في نمو النظام الأساسي.
هناك العديد من الطرق للمشاركة في Flyte، بما في ذلك:
help wanted أو good-first-issue واتباع دليل المساهمة لإرسال التغييرات إلى قاعدة التعليمات البرمجية.Flyte متاح بموجب ترخيص Apache 2.0. استخدامه بحكمة.
