clearml

ClearMl - مجموعة سحرية تلقائية من الأدوات لتبسيط سير عمل الذكاء الاصطناعي الخاص بك
مدير التجربة ، MLOPS/LLMOPS وإدارة البيانات

? ClearML is open-source - Leave a star to support the project! ?

---

clearml

^{المعروف سابقًا باسم قطارات Allegro}

ClearML هو مجموعة ML/DL للتطوير والإنتاج. أنه يحتوي على خمس وحدات رئيسية:

• مدير التجربة - تتبع التجربة التلقائية والبيئات والنتائج
• MLOPS / LLMOPS - حل أو التشغيل الآلي وخطوط الأنابيب لوظائف ML / DL / GENAI (Kubernetes / Cloud / Bare -Metal)
• إدارة البيانات-حل إدارة البيانات والتحكم في الإصدار القابل للتمييز بالكامل أعلى تخزين الكائنات (S3 / GS / Azure / NAS)
• خدمة النماذج-حل قابلية للتطوير القابلة للتطوير السحابة !
  • نشر نقاط نهاية نموذجية جديدة في أقل من 5 دقائق
  • يتضمن دعم GPU المحسّن الذي يدعمه NVIDIA-TRITON
  • مع مراقبة النماذج خارج الصندوق
• تقارير - إنشاء ومشاركة مستندات تخفيضات غنية تدعم المحتوى القابل للتضمين عبر الإنترنت
• لوحة معلومات التزامن - لوحة معلومات حية غنية لكامل حسابك (Cloud / Kubernetes / on -prem)
• جديد ؟ GPUs fractional - على أساس الحاوية ، الحد من ذاكرة وحدة معالجة الرسومات على مستوى برنامج التشغيل؟ !!!

إن صك هذه المكونات هو Clearml Server ، انظر استضافة استضافة ذاتية واستضافة الطبقة المجانية

---

الاشتراك والبدء في استخدام في أقل من دقيقتين

---

دروس ودية لتبدأ

الخطوة 1 - إدارة التجربة
الخطوة 2 - إعداد وكيل التنفيذ عن بُعد
الخطوة 3 - تنفيذ المهام عن بعد

---

إدارة التجربة	مجموعات البيانات
التزامن	خطوط الأنابيب

مدير تجربة ClearML

إن إضافة سطرين فقط إلى الكود الخاص بك يحصل على ما يلي

• سجل إعداد التجربة الكامل
  • معلومات التحكم في المصادر الكاملة ، بما في ذلك التغييرات المحلية غير المخصصة
  • بيئة التنفيذ (بما في ذلك الحزم والإصدارات المحددة)
  • المفردات المفرطة
    • argparse /Click /Pythonfire لمعلمات سطر الأوامر مع القيم المستخدمة حاليًا
    • المعلمات الصريحة قاموس
    • TensorFlow تعريف (ABSL-PY)
    • تكوين Hydra والتجاوز
  • ملف أوزان النموذج الأولي
• التجربة الكاملة الإخراج التلقائي
  • stdout و Stderr
  • مراقبة الموارد (استخدام وحدة المعالجة المركزية/GPU ، درجة الحرارة ، IO ، الشبكة ، إلخ)
  • لقطات النموذج (مع التحميل التلقائي الاختياري للتخزين المركزي: مجلد مشترك ، S3 ، GS ، Azure ، HTTP)
  • Log & Store Artifacts (مجلد مشترك ، S3 ، GS ، Azure ، HTTP)
  • مقاس Tensorboard/Tensorboardx ، المقاييس ، الرسوم البيانية ، الصور ، عينات الصوت والفيديو
  • Matplotlib & Seaborn
  • ClearML واجهة مسجل للمرونة الكاملة.
• الدعم الواسع للمنصة والتكامل
  • أطر ML / DL المدعومة: Pytorch (incl 'Ignite / Lightning) ، Tensorflow ، keras ، autokeras ، fastai ، xgboost ، lightgbm ، megengine و scikit-learn
  • تكامل سلس (بما في ذلك التحكم في الإصدار) مع دفتر Jupyter و Pycharm عن بعد تصحيح الأخطاء عن بُعد

ابدأ باستخدام ClearMl

1. اشترك مجانًا في خدمة ClearMl المستضافة (بدلاً من ذلك ، يمكنك إعداد الخادم الخاص بك ، انظر هنا).

   ClearMl Demo Server: لم يعد ClearML يستخدم الخادم التجريبي افتراضيًا. لتمكين الخادم التجريبي ، قم بتعيين متغير البيئة CLEARML_NO_DEFAULT_SERVER=0 . ليست هناك حاجة لبيانات الاعتماد ، ولكن التجارب التي تم إطلاقها على الخادم التجريبي هي عامة ، لذلك تأكد من عدم إطلاق تجارب حساسة في حالة استخدام الخادم التجريبي.

2. قم بتثبيت حزمة clearml Python:

   pip install clearml

3. قم بتوصيل ClearMl SDK بالخادم عن طريق إنشاء بيانات الاعتماد ، ثم قم بتنفيذ الأمر أدناه واتبع الإرشادات:

   clearml-init

4. أضف سطرين إلى الكود الخاص بك:

    from clearml import Task
   task = Task . init ( project_name = 'examples' , task_name = 'hello world' )

وقد انتهيت! كل ما يتم تسجيل مخرجات العملية الخاصة بك الآن تم تسجيله تلقائيًا في ClearMl.

الخطوة التالية ، الأتمتة! تعرف على المزيد حول أتمتة ClearMl ذات النقرات هنا .

العمارة Clearml

مكونات وقت تشغيل ClearMl:

• حزمة ClearMl Python - لدمج ClearMl في البرامج النصية الموجودة عن طريق إضافة سطرين فقط من التعليمات البرمجية ، وتوسيع تجاربك وسير العمل الأخرى اختياريًا مع مجموعة الفئات والأساليب القوية والمتنوعة من ClearML.
• خادم ClearML - لتخزين التجربة والنموذج وبيانات سير العمل ؛ دعم مدير تجربة واجهة مستخدم الويب وأتمتة MLOPS للاستنساخ والضبط. وهي متوفرة كخدمة مستضافة ومصدر مفتوح لك لنشر خادم ClearML الخاص بك.
• عامل ClearML - لتنسيق MLOPS ، التجربة وتكرار سير العمل ، وقابلية التوسع.

وحدات إضافية

• Clearml-Setse- إطلاق JupyterLab / VSCODE خادمًا عن بُعد داخل أي Docker ، على آلات السحابة / المحلية
• ClearMl -TASK - قم بتشغيل أي قاعدة كود على الآلات البعيدة مع تسجيلات كاملة عن بعد من Tensorboard و Matplotlib و Console مخرجات
• Clearml -data - CLI لإدارة وإصدار مجموعات البيانات الخاصة بك ، بما في ذلك إنشاء/تحميل/تنزيل البيانات من S3/GS/Azure/NAS
• AWS Auto -Scaler - تلقائيًا تلقائيًا مثيلات EC2 استنادًا إلى أعباء العمل الخاصة بك بميزانية محددة مسبقًا! لا حاجة ل ake!
• تحسين المعلمة Hyper-Parameter-قم بتحسين أي رمز مع نهج الصندوق الأسود وخوارزميات التحسين البايزي الحديثة
• خط أنابيب الأتمتة - إنشاء خطوط أنابيب بناءً على التجارب / الوظائف الحالية ، يدعم بناء خطوط أنابيب خطوط الأنابيب!
• تكامل الركود - تقرير تجارب التقدم / الفشل مباشرة إلى الركود (قابل للتخصيص بالكامل!)

لماذا ClearMl؟

ClearML هو حلنا للمشكلة التي نشاركها مع عدد لا يحصى من الباحثين والمطورين الآخرين في عالم التعلم/التعلم العميق: تدريب نماذج التعلم العميق على مستوى الإنتاج هو عملية رائعة ولكنها فوضوية. يتتبع ClearML ويتحكم في العملية من خلال ربط التحكم في إصدار الكود ، ومشاريع البحث ، ومقاييس الأداء ، ومصلحة النماذج.

لقد قمنا بتصميم ClearML على وجه التحديد لتتطلب تكاملًا بدون مجهود حتى تتمكن الفرق من الحفاظ على أساليبها وممارساتها الحالية.

• استخدمه على أساس يومي لتعزيز التعاون والرؤية في فريقك
• قم بإنشاء وظيفة بعيدة من أي تجربة بنقرة زر واحدة
• أتمتة العمليات وإنشاء خطوط أنابيب لجمع سجلات التجريب والمخرجات والبيانات
• قم بتخزين جميع بياناتك على أي حل تخزين الكائنات ، مع وجود واجهة أكثر وضوحًا ممكنة
• اجعل بياناتك شفافة عن طريق فهرسة كل شيء على منصة ClearML

نعتقد أن ClearMl رائدة. نود وضع معايير جديدة للتكامل السلس الحقيقي بين إدارة التجربة ، MLOPS ، وإدارة البيانات.

من نحن

يتم دعم ClearML من قبلك وفريق Clear.ml ، الذي يساعد شركات المؤسسات على بناء MLOPs القابلة للتطوير.

لقد قمنا ببناء ClearML لتتبع والتحكم في العملية المجيدة ولكن الفوضوية لتدريب نماذج التعلم العميق على مستوى الإنتاج. نحن ملتزمون بدعم وتوسيع قدرات ClearMl بقوة.

نعد دائمًا أن تكون متوافقًا للخلف ، والتأكد من أن جميع سجلاتك وبياناتك وخطوط الأنابيب ستتم ترقية معك دائمًا.

رخصة

ترخيص Apache ، الإصدار 2.0 (راجع الترخيص لمزيد من المعلومات)

إذا كانت ClearMl جزءًا من عملية التطوير / المشروع / المنشور ، فيرجى الاستشهاد بنا ❤:

 @misc{clearml,
title = {ClearML - Your entire MLOps stack in one open-source tool},
year = {2024},
note = {Software available from http://github.com/allegroai/clearml},
url={https://clear.ml/},
author = {ClearML},
}

الوثائق والمجتمع والدعم

لمزيد من المعلومات ، راجع الوثائق الرسمية وعلى YouTube.

للحصول على أمثلة وحالات الاستخدام ، تحقق من مجلد الأمثلة والوثائق المقابلة.

إذا كان لديك أي أسئلة: انشر على قناة Slack الخاصة بنا ، أو وضع علامة على أسئلتك على StackOverflow مع علامة " ClearMl " ( علامة القطارات السابقة ).

لطلبات الميزات أو تقارير الأخطاء ، يرجى استخدام مشكلات GitHub.

بالإضافة إلى ذلك ، يمكنك دائمًا العثور علينا على [email protected]

المساهمة

نرحب دائمًا PRS ❤ انظر المزيد من التفاصيل في إرشادات ClearML للمساهمة.

أتمنى أن تكون القوة (وإلهة معدلات التعلم) معك!