mlcomp

إطار الرسم البياني غير الدوري الموزع للتعلم الآلي باستخدام واجهة المستخدم

الهدف من MLComp هو توفير أدوات للتدريب والاستدلال وإنشاء خطوط أنابيب معقدة (خاصة لرؤية الكمبيوتر) بطريقة سريعة ويمكن التحكم فيها بشكل جيد.
MLComp متوافق مع: Python 3.6+، نظام التشغيل Unix.

جزء من النظام البيئي المحفز. بيان المشروع.

---

سمات

• واجهة مستخدم مذهلة

• دعم محفز

• التدريب الموزع

• المشرف الذي يتحكم في الموارد الحسابية

• مزامنة كل من التعليمات البرمجية والبيانات

• مراقبة الموارد

• الوظائف الكاملة للإيقاف المؤقت والمتابعة على واجهة المستخدم

• التحكم التلقائي في المتطلبات

• تفريغ التعليمات البرمجية (مع تسليط الضوء على بناء الجملة على واجهة المستخدم)

• التكامل كاجل

• التسجيل الهرمي

• بحث الشبكة

• مقارنة التجارب

• تخصيص نظام التخطيط

محتويات

• لقطات الشاشة

• تثبيت

• واجهة المستخدم

• الاستخدام

• المستندات والأمثلة

• متغيرات البيئة

لقطات الشاشة

الخناجر

أجهزة الكمبيوتر

التقارير

شفرة

رسم بياني

المزيد من لقطات الشاشة

تثبيت

1. قم بتثبيت حزمة MLComp

    Sudo apt-get install -y
    libavformat-dev libavcodec-dev libavdevice-dev
    libavutil-dev libswscale-dev libavresample-dev libavfilter-dev
   
   نقطة تثبيت mlcomp
   mlcomp الحرف الأول
   mlcomp migrate

2. إعداد البيئة الخاصة بك. يرجى النظر في قسم متغيرات البيئة

3. قم بتشغيل db وredis وmlcomp-server وmlcomp-workers:

   البديل 1: الحد الأدنى (إذا كان لديك جهاز كمبيوتر واحد)

   قم بتشغيل كل ما هو ضروري (mlcomp-server، mlcomp-workers، redis-server)، ويستخدم SQLITE:

    بدء تشغيل mlcomp-server --daemon=True

   البديل 2: كامل

   أ. قم بتغيير متغيرات البيئة الخاصة بك لاستخدام PostgreSql

   ب. قم بتثبيت rsync على كل كمبيوتر عمل

    Sudo apt-get install rsync

   تأكد من أن كل كمبيوتر متاح من خلال بروتوكول SSH مع IP/PORT الذي حددته في ملف متغيرات البيئة.

   سيقوم rsync بتنفيذ الأوامر التالية:

   للتحميل

    rsync -vhru -e "ssh -p {target.port} -o StrictHostKeyChecking=no" {folder}/ {target.user}@{target.ip}:{folder}/ --perms --chmod=777

   للتحميل

    rsync -vhru -e "ssh -p {source.port} -o StrictHostKeyChecking=no"
    {source.user}@{source.ip}:{folder}/ {folder}/ --perms --chmod=777

   ج. تثبيت قمة للتعلم الموزع

   د. لتشغيل postgresql، وredis-server، وmlcomp-server، قم بتنفيذ الأمر على جهاز الكمبيوتر الخاص بك:

    مؤتمر نزع السلاح ~/mlcomp/التكوينات/
   docker-compose -f server-compose.yml up -d

   ه. تشغيل على كل كمبيوتر عامل:

    بداية عامل mlcomp

واجهة المستخدم

موقع الويب متاح على http://{WEB_HOST}:{WEB_PORT}

بشكل افتراضي، هو http://localhost:4201

تم بناء الواجهة باستخدام AngularJS.

في حالة رغبتك في تغييره، يرجى النظر في صفحة التمهيدي الأمامية

الاستخدام

يجري

 mlcomp dag PATH_TO_CONFIG.yml

يقوم هذا الأمر بنسخ ملفات الدليل إلى قاعدة البيانات.

بعد ذلك، يقوم الخادم بجدولة DAG مع مراعاة الموارد المجانية.

لمزيد من المعلومات، يرجى النظر في المستندات

المستندات والأمثلة

يمكن العثور على وثائق API ونظرة عامة على المكتبة هنا

يمكنك العثور على برامج تعليمية متقدمة وأفضل ممارسات MLComp في مجلد الأمثلة بالمستودع.

يصف البرنامج التعليمي FileSync آلية مزامنة البيانات

متغيرات البيئة

الملف الوحيد لإعداد بيئة الكمبيوتر الخاص بك موجود في ~/mlcomp/configs/.env

• ROOT_FOLDER - مجلد لحفظ ملفات MLComp: التكوينات، وDB، والمهام، وما إلى ذلك.

• الرمز المميز - رمز أمان الموقع. يرجى تغييره إلى أي سلسلة

• DB_TYPE. إما SQLITE أو POSTGRESQL

• POSTGRES_DB. اسم قاعدة بيانات PostgreSql

• POSTGRES_USER. مستخدم PostgreSql

• POSTGRES_PASSWORD. كلمة مرور PostgreSql

• POSTGRES_HOST. مضيف PostgreSql

• بيانات PGDATA. موقع ملفات PostgreSql db

• REDIS_HOST. مضيف ريديس

• REDIS_PORT. ميناء ريديس

• REDIS_PASSWORD. كلمة مرور ريديس

• WEB_HOST. مضيف موقع MLComp. 0.0.0.0 يعني أنه متاح من كل مكان

• WEB_PORT. منفذ موقع MLComp

• CONSOLE_LOG_LEVEL. مستوى السجل للإخراج إلى وحدة التحكم

• DB_LOG_LEVEL. مستوى السجل للإخراج إلى قاعدة البيانات

• الملكية الفكرية. IP لجهاز كمبيوتر العمل. يجب أن يكون كمبيوتر العمل قابلاً للوصول من أجهزة كمبيوتر العمل الأخرى عن طريق IP/PORT

• ميناء. منفذ كمبيوتر العمل. يجب أن يكون كمبيوتر العمل قابلاً للوصول من أجهزة كمبيوتر العمل الأخرى عبر IP/PORT (بروتوكول SSH)

• MASTER_PORT_RANGE. نطاق المنافذ الموزعة لجهاز كمبيوتر العمل. 29500-29510 يعني أنه إذا كان كمبيوتر العمل هذا رئيسيًا في التعلم الموزع، فسوف يستخدم أول منفذ مجاني من هذا النطاق. يجب ألا تتداخل نطاقات أجهزة كمبيوتر العمل المختلفة.

• NCCL_SOCKET_IFNAME. واجهة الشبكة NCCL

• FILE_SYNC_INTERVAL. الفاصل الزمني لمزامنة الملف بالثواني. 0 يعني أن مزامنة الملفات متوقفة

• WORKER_USAGE_INTERVAL. الفاصل الزمني بالثواني لكتابة استخدام العامل إلى قاعدة البيانات

• INSTALL_DEPENDENCIES. صحيح / خطأ. إما تثبيت المكتبات التابعة أم لا

• SYNC_WITH_THIS_COMPUTER. صحيح / خطأ. إذا كان False، فلن تتم مزامنة جميع أجهزة الكمبيوتر باستثناء هذا الجهاز

• CAN_PROCESS_TASKS. صحيح / خطأ. إذا كان هذا خطأ، فهذا يعني أن هذا الكمبيوتر لا يقوم بمعالجة المهام

يمكنك رؤية واجهات الشبكة الخاصة بك باستخدام أمر ifconfig . يرجى النظر في وثيقة نفيديا