clearml agent

وكيل ClearML - أصبح MLOps/LLMOps سهلاً
حل جدولة وتنسيق MLOps/LLMOps الذي يدعم Linux وmacOS وWindows

? ClearML is open-source - Leave a star to support the project! ?

---

وكيل ClearML

كان يُعرف سابقًا باسم وكيل القطارات

• قم بتشغيل المهام (التجارب) على أي مورد محلي أو سحابي
• تنفيذ سياسات الاستخدام الأمثل للموارد
• انشر بيئات التنفيذ إما باستخدام Virtualenv أو Docker بالكامل في حاوية بدون أي جهد
• حاويات خدمة التشغيل والنسيان
• التحجيم التلقائي للسحابة
• تنظيف قابل للتخصيص
• بناء وتنفيذ خطوط الأنابيب المتقدمة

إنه وكيل تنفيذ صفري التكوين، يوفر حلاً كاملاً لمجموعة ML/DL.

أتمتة كاملة في 5 خطوات

1. خادم ClearML مستضاف ذاتيًا أو استضافة مجانية
2. pip install clearml-agent (قم بتثبيت ClearML Agent على أي جهاز GPU: محلي / سحابي / ...)
3. أنشئ وظيفة أو أضف ClearML إلى التعليمات البرمجية الخاصة بك باستخدام سطرين فقط من التعليمات البرمجية
4. قم بتغيير المعلمات في واجهة المستخدم والجدول الزمني للتنفيذ (أو التشغيل التلقائي باستخدام مسار AutoML)
5. ؟ ؟ ؟ ؟

"كل ما تحتاج إليه أبحاثك من عمليات تطوير التعلم العميق/التعلم الآلي، ثم بعضها... لأنه لا يوجد أحد لديه الوقت لذلك"

جرب ClearML الآن استضافة ذاتية أو استضافة مجانية

تنظيم التجارب البسيطة والمرنة

تم تصميم ClearML Agent لتلبية احتياجات DL/ML R&D DevOps:

• يمكنك بسهولة إضافة وإزالة الأجهزة من المجموعة
• إعادة استخدام الآلات دون الحاجة إلى أي حاويات أو صور مخصصة
• اجمع بين موارد وحدة معالجة الرسومات (GPU) عبر أي بيئة سحابية ومحلية
• لا حاجة لتكوين yaml / json / القالب من أي نوع
• واجهة مستخدم سهلة الاستخدام
• تخصيص الموارد بشكل يمكن التحكم فيه ويمكن استخدامه من قبل الباحثين والمهندسين
• جدولة مرنة ويمكن السيطرة عليها مع دعم الأولوية
• المثيل التلقائي يدور في السحابة

باستخدام ClearML Agent، يمكنك الآن إعداد مجموعة ديناميكية باستخدام *epsilon DevOps

* إبسيلون - لأننا؟ وليس هناك ما هو في الواقع عمل صفر

تكامل Kubernetes (اختياري)

نعتقد أن Kubernetes رائع، ولكن ليس من الضروري البدء باستخدام وكلاء التنفيذ عن بعد وإدارة المجموعة. لقد قمنا بتصميم clearml-agent حتى تتمكن من تشغيل كل من النظام المعدني وفوق Kubernetes، في أي مجموعة تناسب بيئتك.

يمكنك العثور على ملفات Dockerfiles في مجلد عامل الإرساء ومخطط الدفة في https://github.com/allegroai/clearml-helm-charts

فوائد دمج مجموعة Kubernetes الحالية مع ClearML

• يضيف ClearML-Agent إمكانيات الجدولة المفقودة إلى مجموعة Kubernetes الخاصة بك
• لا يحتاج المستخدمون إلى الوصول المباشر إلى Kubernetes!
• منحنى تعليمي سهل مع واجهة المستخدم وواجهة سطر الأوامر (CLI) التي لا تتطلب أي معرفة بـ DevOps من المستخدمين النهائيين
• على عكس الحلول الأخرى، يعمل ClearML-Agents جنبًا إلى جنب مع العملاء الآخرين لمجموعة Kubernetes الخاصة بك
• يسمح بأتمتة أكثر مرونة من التعليمات البرمجية وبناء خطوط الأنابيب والرؤية
• واجهة برمجية لتسهيل سير عمل CI/CD، مما يتيح لـ GitOps تشغيل المهام داخل مجموعتك
• التكامل السلس مع مدير تجربة ClearML ML/DL/GenAI
• واجهة مستخدم الويب للتخصيص والجدولة وتحديد أولويات الوظائف
• ميزات المؤسسة : RBAC، وvault، وتعدد الإيجارات، والمجدول، وإدارة الحصص، ودعم GPU الجزئي

قم بتشغيل الوكيل في وضع Kubernetes Glue، وقم بتعيين وظائف ClearML مباشرة إلى وظائف K8s:

• استخدم مخطط ClearML Agent Helm Chart لتدوير حجرة الوكيل التي تعمل كوحدة تحكم
  • أو قم بتشغيل غراء Clearml-k8s على عقدة وحدة المعالجة المركزية Kubernetes
• يقوم غراء Clearml-k8s بسحب المهام من قائمة انتظار تنفيذ مهمة ClearML وإعداد مهمة Kubernetes (استنادًا إلى قالب yaml المقدم)
• داخل كل حجرة، سيقوم وكيل Clearml بتثبيت بيئة المهمة (التجربة) وتدوير ومراقبة عملية التجربة، وهو مرئي بالكامل في واجهة مستخدم Clearml
• الفوائد: عرض Kubernetes الكامل لجميع المهام الجارية في النظام
• ميزات المؤسسة
  • تمت إضافة ميزات الجدولة الكاملة إلى أعلى Kubernetes، مع إدارة الحصص/الحصص الزائدة والأولويات والترتيب.
  • دعم GPU الجزئي، مما يسمح لحاويات معزولة متعددة بمشاركة نفس وحدة معالجة الرسومات مع حد الذاكرة/الحساب لكل حاوية

SLURM (اختياري)

نعم! تكامل Slurm متاح، راجع الوثائق لمزيد من التفاصيل

باستخدام وكيل ClearML

HPC واسع النطاق بنقرة زر واحدة

يعد ClearML Agent بمثابة برنامج جدولة المهام الذي يستمع إلى قائمة (قوائم) المهام، ويسحب الوظائف، ويضبط بيئات الوظائف، وينفذ المهمة ويراقب تقدمها.

يمكن جدولة أي تجربة "مسودة" للتنفيذ بواسطة وكيل ClearML.

يمكن وضع تجربة تم إجراؤها مسبقًا في حالة "مسودة" بإحدى الطريقتين التاليتين:

• استخدام إجراء "إعادة التعيين" من قائمة سياق النقر بزر الماوس الأيمن للتجربة في واجهة مستخدم ClearML - سيؤدي هذا إلى مسح أي نتائج وعناصر تم إنشاؤها أثناء التشغيل السابق.
• استخدام إجراء "الاستنساخ" من قائمة سياق النقر بزر الماوس الأيمن للتجربة في واجهة مستخدم ClearML - سيؤدي هذا إلى إنشاء تجربة "مسودة" جديدة بنفس تكوين التجربة الأصلية.

تمت جدولة تجربة للتنفيذ باستخدام الإجراء "Enqueue" من قائمة سياق النقر بزر الماوس الأيمن فوق التجربة في واجهة مستخدم ClearML وتحديد قائمة انتظار التنفيذ.

راجع إنشاء تجربة ووضعها في قائمة الانتظار للتنفيذ.

بمجرد وضع التجربة في قائمة الانتظار، سيتم التقاطها وتنفيذها بواسطة وكيل ClearML الذي يراقب قائمة الانتظار هذه.

توفر صفحة ClearML UI Workers & Queues معلومات التنفيذ المستمر:

• علامة تبويب العمال: مراقبة مجموعتك
  • مراجعة الموارد المتاحة
  • مراقبة إحصائيات الأجهزة (وحدة المعالجة المركزية / وحدة معالجة الرسومات / القرص / الشبكة)
• علامة التبويب قوائم الانتظار:
  • التحكم في ترتيب جدولة الوظائف
  • إلغاء أو إحباط تنفيذ المهمة
  • نقل المهام بين قوائم انتظار التنفيذ

ما يفعله وكيل ClearML فعليًا

يقوم ClearML Agent بتنفيذ التجارب باستخدام العملية التالية:

• إنشاء بيئة افتراضية جديدة (أو تشغيل صورة عامل الإرساء المحددة)
• استنساخ الكود في البيئة الافتراضية (أو داخل عامل الإرساء)
• قم بتثبيت حزم بايثون بناءً على متطلبات الحزمة المدرجة للتجربة
  • ملاحظة خاصة لـ PyTorch: سيقوم وكيل ClearML تلقائيًا بتحديد حزم الشعلة بناءً على متغير البيئة CUDA_VERSION الخاص بالجهاز
• قم بتنفيذ الكود أثناء مراقبة العملية
• قم بتسجيل جميع stdout/stderr في واجهة مستخدم ClearML، بما في ذلك عملية الاستنساخ والتثبيت، لسهولة تصحيح الأخطاء
• راقب التنفيذ واسمح لك بإلغاء المهمة يدويًا باستخدام واجهة مستخدم ClearML (أو، في حالة تعطل التعليمات البرمجية المؤسفة، اكتشف الخطأ وأرسل إشارة إلى فشل التجربة)

تصميم النظام وتدفقه

تثبيت وكيل ClearML

pip install clearml-agent

أمثلة على استخدام وكيل ClearML

تتوفر واجهة كاملة وقدرات مع

clearml-agent --help
clearml-agent daemon --help

تكوين وكيل ClearML

clearml-agent init

ملاحظة: يستخدم وكيل ClearML مجلد ذاكرة التخزين المؤقت لتخزين حزم النقاط والحزم الملائمة والمستودعات المستنسخة. مجلد ذاكرة التخزين المؤقت لعامل ClearML الافتراضي هو ~/.clearml .

راجع التفاصيل الكاملة في ملف التكوين الخاص بك على ~/clearml.conf .

ملاحظة: يقوم وكيل ClearML بتوسيع ملف تكوين ClearML ~/clearml.conf . وهي مصممة لمشاركة نفس ملف التكوين، انظر المثال هنا

تشغيل وكيل ClearML

لتصحيح الأخطاء والتجريب، ابدأ تشغيل وكيل ClearML في الوضع foreground ، حيث تتم طباعة جميع المخرجات على الشاشة:

clearml-agent daemon --queue default --foreground

بالنسبة إلى وضع الخدمة الفعلي، سيتم تخزين كافة البيانات القياسية تلقائيًا في ملف مؤقت (لا حاجة إلى توجيه البيانات). ملاحظة: مع العلامة --detached ، سيتم تشغيل عامل Clearml في الخلفية

clearml-agent daemon --detached --queue default

يتم التحكم في تخصيص وحدة معالجة الرسومات عبر بيئة نظام التشغيل القياسية NVIDIA_VISIBLE_DEVICES أو علامة --gpus (أو تعطيلها باستخدام --cpu-only ).

إذا لم يتم تعيين علامة، ولم يكن المتغير NVIDIA_VISIBLE_DEVICES موجودًا، فسيتم تخصيص جميع وحدات معالجة الرسومات لـ clearml-agent .
إذا تم تعيين علامة --cpu-only ، أو NVIDIA_VISIBLE_DEVICES="none" ، فلن يتم تخصيص وحدة معالجة الرسومات clearml-agent .

على سبيل المثال: قم بتدوير وكيلين، واحد لكل وحدة معالجة رسومات (GPU) على نفس الجهاز:

ملاحظة: مع العلامة --detached ، سيتم تشغيل عامل Clearml في الخلفية

clearml-agent daemon --detached --gpus 0 --queue default
clearml-agent daemon --detached --gpus 1 --queue default

على سبيل المثال: قم بتدوير وكيلين، مع السحب من قائمة انتظار dual_gpu المخصصة، ووحدتي GPU لكل وكيل

clearml-agent daemon --detached --gpus 0,1 --queue dual_gpu
clearml-agent daemon --detached --gpus 2,3 --queue dual_gpu

بدء تشغيل وكيل ClearML في وضع الإرساء

لتصحيح الأخطاء والتجريب، قم بتشغيل وكيل ClearML في الوضع foreground ، حيث تتم طباعة جميع المخرجات على الشاشة

clearml-agent daemon --queue default --docker --foreground

بالنسبة إلى وضع الخدمة الفعلي، سيتم تخزين كافة البيانات القياسية تلقائيًا في ملف (لا حاجة إلى توجيه البيانات). ملاحظة: مع العلامة --detached ، سيتم تشغيل عامل Clearml في الخلفية

clearml-agent daemon --detached --queue default --docker

مثال: قم بتدوير وكيلين، واحد لكل وحدة معالجة رسومات على نفس الجهاز، مع عامل الإرساء الافتراضي nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04 :

clearml-agent daemon --detached --gpus 0 --queue default --docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04
clearml-agent daemon --detached --gpus 1 --queue default --docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04

على سبيل المثال: قم بتدوير وكيلين، بالسحب من قائمة انتظار dual_gpu المخصصة، ووحدتي GPU لكل وكيل، مع عامل الإرساء الافتراضي nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04 :

clearml-agent daemon --detached --gpus 0,1 --queue dual_gpu --docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04
clearml-agent daemon --detached --gpus 2,3 --queue dual_gpu --docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04

بدء تشغيل وكيل ClearML - قوائم الانتظار ذات الأولوية

يتم أيضًا دعم قوائم الانتظار ذات الأولوية، مثال على حالة الاستخدام:

قائمة الانتظار ذات الأولوية العالية: important_jobs ، قائمة الانتظار ذات الأولوية المنخفضة: default

clearml-agent daemon --queue important_jobs default

سيحاول وكيل ClearML أولاً سحب المهام من قائمة انتظار important_jobs ، وفقط إذا كانت فارغة، سيحاول الوكيل السحب من قائمة الانتظار default .

تتوفر إمكانية إضافة قوائم الانتظار، وإدارة أوامر العمل داخل قائمة الانتظار، ونقل المهام بين قوائم الانتظار باستخدام واجهة مستخدم الويب، راجع المثال على خادمنا المجاني

إيقاف وكيل ClearML

لإيقاف تشغيل وكيل ClearML في الخلفية، قم بتشغيل نفس سطر الأوامر المستخدم لبدء تشغيل الوكيل مع إلحاق --stop . على سبيل المثال، لإيقاف أول جهاز من نفس الجهاز الموضح أعلاه، وكيل GPU واحد:

clearml-agent daemon --detached --gpus 0 --queue default --docker nvidia/cuda:11.0.3-cudnn8-runtime-ubuntu20.04 --stop

كيف أقوم بإنشاء تجربة على خادم ClearML؟

• قم بدمج ClearML مع التعليمات البرمجية الخاصة بك

• قم بتنفيذ الكود على جهازك (يدويًا / PyCharm / Jupyter Notebook)

• أثناء تشغيل التعليمات البرمجية الخاصة بك، يقوم ClearML بإنشاء تجربة لتسجيل جميع معلومات التنفيذ الضرورية:

  • رابط مستودع Git ومعرف الالتزام (أو دفتر ملاحظات jupyter بأكمله)
  • Git diff (نحن لا نقول أنك لا تلتزم وتدفع أبدًا، ولكن مع ذلك...)
  • حزم Python التي يستخدمها الكود الخاص بك (بما في ذلك الإصدارات المحددة المستخدمة)
  • المعلمات الفائقة
  • التحف الإدخال

  لديك الآن "نموذج" لتجربتك يحتوي على كل ما هو مطلوب للتنفيذ الآلي

• في واجهة مستخدم ClearML، انقر بزر الماوس الأيمن على التجربة وحدد "استنساخ". سيتم إنشاء نسخة من تجربتك.

• لديك الآن مسودة تجربة جديدة منسوخة من تجربتك الأصلية، فلا تتردد في تعديلها

  • تغيير المعلمات الفائقة
  • قم بالتبديل إلى أحدث قاعدة تعليمات برمجية للمستودع
  • تحديث إصدارات الحزمة
  • حدد صورة عامل إرساء معينة لتشغيلها (راجع قسم وضع تنفيذ عامل الإرساء)
  • أو ببساطة لا تغير شيئًا لإجراء نفس التجربة مرة أخرى...

• قم بجدولة التجربة التي تم إنشاؤها حديثًا للتنفيذ: انقر بزر الماوس الأيمن فوق التجربة وحدد "قائمة الانتظار"

وضع خدمات وكيل ClearML

تعد خدمات ClearML-Agent بمثابة وضع خاص لـ ClearML-Agent يوفر القدرة على إطلاق مهام طويلة الأمد كان يتعين في السابق تنفيذها على أجهزة محلية / مخصصة. يسمح لوكيل واحد بإطلاق عدة عمال إرساء (مهام) لحالات استخدام مختلفة:

• خدمة المقياس التلقائي (مثيلات الدوران عندما تنشأ الحاجة وتسمح الميزانية بذلك)
• وحدات التحكم (تنفيذ خطوط الأنابيب ومنطق DevOps الأكثر تطوراً)
• المُحسِّن (مثل Hyperparameter Optimization أو المسح)
• التطبيق (مثل تطبيقات Bokeh التفاعلية لزيادة شفافية البيانات)

سيقوم وضع خدمات ClearML-Agent بتدوير أي مهمة مدرجة في قائمة الانتظار المحددة. سيتم تسجيل كل مهمة يتم إطلاقها بواسطة ClearML-Agent Services كعقدة جديدة في النظام، مما يوفر إمكانات التتبع والشفافية. حاليًا، يدعم Clearml-agent في وضع الخدمات تكوين وحدة المعالجة المركزية (CPU) فقط. يمكن تشغيل وضع خدمات ClearML-Agent جنبًا إلى جنب مع وكلاء GPU.

clearml-agent daemon --services-mode --detached --queue services --create-queue --docker ubuntu:18.04 --cpu-only

ملاحظة : تقع على عاتق المستخدم مسؤولية التأكد من دفع المهام المناسبة إلى قائمة الانتظار المحددة.

خطوط أنابيب AutoML والتنسيق

يمكن أيضًا استخدام وكيل ClearML لتنفيذ تنسيق AutoML وخطوط أنابيب التجربة بالتزامن مع حزمة ClearML.

يمكن العثور على نماذج من أمثلة AutoML والتنسيق في مجلد ClearML للمثال/الأتمتة.

أمثلة AutoML:

• تجربة تدريب لعبة كيراس
  • من أجل إنشاء قالب تجربة في النظام، يجب تنفيذ هذا الرمز مرة واحدة يدويًا
• بحث عشوائي في قالب تجربة Keras أعلاه
  • سيؤدي هذا المثال إلى إنشاء نسخ متعددة من قالب تجربة Keras، مع مجموعات مختلفة من المعلمات الفائقة

أمثلة على خطوط الأنابيب التجريبية:

• تجربة الخطوة الأولى
  • سيقوم هذا المثال "بمعالجة البيانات"، وبمجرد الانتهاء من ذلك، سيتم تشغيل نسخة من قالب تجربة "الخطوة الثانية".
• تجربة الخطوة الثانية
  • من أجل إنشاء قالب تجربة في النظام، يجب تنفيذ هذا الرمز مرة واحدة يدويًا

رخصة

ترخيص Apache، الإصدار 2.0 (راجع الترخيص لمزيد من المعلومات)