الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

التغطية

QGate-Sln-MLRun

بوابة الجودة للحل MLRun (واجوازيو). الأهداف الرئيسية للمشروع هي:

  • اختبار الجودة المستقل (الوظيفة، التكامل، الأداء، الضعف، القبول، ... الاختبارات)
  • فحوصات أعمق للجودة قبل التشغيل/الاستخدام الكامل في بيئات الشركة
  • تحديد مشكلات التوافق المحتملة (إن وجدت)
  • تغطية اختبار خارجية ومستقلة
  • دعم المجتمع
  • إلخ.

تستخدم الاختبارات هذه المكونات الرئيسية، حل MLRun، انظر GIT mlrun ، ونموذج البيانات الوصفية، انظر GIT qgate-model ، وهذا المشروع.

سيناريوهات الاختبار

تغطي بوابة الجودة سيناريوهات الاختبار هذه (✔ تم تنفيذها، ✔ قيد التنفيذ، مخطط لها):

  • 01 - المشروع
    • ✅ TS101: إنشاء مشروع (مشاريع)
    • ✅ TS102: حذف المشروع (المشاريع)
  • 02 - مجموعة الميزات
    • ✅ TS201: إنشاء مجموعة (مجموعات) الميزات
    • ✅ TS202: إنشاء مجموعة (مجموعات) الميزات واستيعابها من مصدر DataFrame (خطوة واحدة)
    • ✅ TS203: إنشاء مجموعة (مجموعات) الميزات واستيعابها من مصدر CSV (خطوة واحدة)
    • ✅ TS204: إنشاء مجموعة (مجموعات) الميزات واستيعابها من مصدر الباركيه (خطوة واحدة)
    • ✅ TS205: إنشاء مجموعة (مجموعات) الميزات واستيعابها من مصدر SQL (خطوة واحدة)
    • ✔ TS206: إنشاء مجموعة (مجموعات) ميزات واستيعابها من مصدر كافكا (خطوة واحدة)
    • ✔ TS207: إنشاء مجموعة (مجموعات) الميزات والاستيعاب من مصدر HTTP (خطوة واحدة)
  • 03 - استيعاب البيانات
    • ✅ TS301: استيعاب البيانات (وضع المعاينة)
    • ✅ TS302: استيعاب البيانات لمجموعة (مجموعات) الميزات من مصدر DataFrame
    • ✅ TS303: استيعاب البيانات لمجموعة (مجموعات) الميزات من مصدر CSV
    • ✅ TS304: استيعاب البيانات لمجموعة (مجموعات) الميزات من مصدر الباركيه
    • ✅ TS305: استيعاب البيانات لمجموعة (مجموعات) الميزات من مصدر SQL
    • ✔ TS306: استيعاب البيانات لمجموعة (مجموعات) الميزات من مصدر كافكا
    • ✔ TS307: استيعاب البيانات لمجموعة (مجموعات) الميزات من مصدر HTTP
  • 04 - استيعاب البيانات وخطوط الأنابيب
    • ✅ TS401: استيعاب البيانات وخطوط الأنابيب (وضع المعاينة)
    • ✅ TS402: استيعاب البيانات وخط الأنابيب لمجموعة (مجموعات) الميزات من مصدر DataFrame
    • ✅ TS403: استيعاب البيانات وخطوط الأنابيب لمجموعة (مجموعات) الميزات من مصدر CSV
    • ✅ TS404: استيعاب البيانات وخطوط الأنابيب لمجموعة (مجموعات) الميزات من مصدر الباركيه
    • ✅ TS405: استيعاب البيانات وخطوط الأنابيب لمجموعة (مجموعات) الميزات من مصدر SQL
    • ✔ TS406: استيعاب البيانات وخطوط الأنابيب لمجموعة (مجموعات) الميزات من مصدر كافكا
    • TS407: استيعاب البيانات وخط الأنابيب لمجموعة (مجموعات) الميزات من مصدر HTTP
  • 05 - ناقل الميزة
    • ✅ TS501: إنشاء متجه (ناقلات) الميزات
  • 06 - الحصول على البيانات من المتجهات
    • ✅ TS601: احصل على البيانات من ناقلات (ناقلات) الميزات غير المتصلة بالإنترنت
    • ✅ TS602: احصل على البيانات من ناقلات (ناقلات) الميزات عبر الإنترنت
  • 07 - خط الأنابيب
    • ✅ TS701: خطوط الأنابيب البسيطة
    • ✅ TS702: خطوط الأنابيب المعقدة
    • ✅ TS703: خطوط الأنابيب المعقدة، التشغيل الشامل
  • 08 - بناء النموذج
    • ✅ TS801: بناء نموذج عربة التسوق
    • TS802: بناء نموذج XGBoost
    • TS803: بناء نموذج DNN
  • 09 - نموذج الخدمة
    • ✅ TS901: خدمة النتيجة من عربة التسوق
    • TS902: تقديم النتيجة من XGBoost
    • TS903: خدمة النتيجة من DNN
  • 10- نموذج الرصد/الانجراف
    • TS1001: المراقبة في الوقت الحقيقي
    • TS1002: مراقبة الدفعة
  • 11- اختبارات الأداء
    • TS1101: خط أنابيب بسيط
    • TS1102: خطوط الأنابيب المعقدة
    • TS11xx: سيتم تحديده لاحقًا.

ملاحظة: يحتوي كل سيناريو اختبار على حالات اختبار محددة إضافية (على سبيل المثال مع أهداف مختلفة لمجموعات الميزات، وما إلى ذلك).

اختبار المدخلات/المخرجات

تقوم بوابة الجودة باختبار هذه المدخلات/المخرجات (= منجزة، ✔ قيد التنفيذ، مخطط لها):

  • المخرجات (الأهداف)
    • ✅ RedisTarget، ✅ SQLTarget/MySQL، ✔ SQLTarget/Postgres، ✅ KafkaTarget
    • ✅ParquetTarget, ✅CSVTarget
    • ✅ نظام الملفات، S3، BlobStorage
  • المدخلات (المصادر)
    • ✅ الباندا/DataFrame، ✅ SQLSource/MySQL، SQLSource/Postgres، KafkaSource
    • ✅ParquetSource, ✅CSVSource
    • ✅ نظام الملفات، S3، BlobStorage

المصادر/الأهداف المدعومة حاليًا في MLRun.

عينة من المخرجات

عينة من المخرجات

تقارير الجزء في شكلها الأصلي، انظر:

  • تم كل ذلك - HTML، TXT
  • مع وجود أخطاء - HTML، TXT

الاستخدام

يمكنك بسهولة استخدام هذا الحل في أربع خطوات:

  1. قم بتنزيل محتوى مستودعي GIT هذين إلى بيئتك المحلية
    • qgate-sln-mlrun
    • qgate-model
  2. قم بتحديث الملف qgate-sln-mlrun.env من qgate-model
    • تحديث المتغيرات لـ MLRun/Iguazio، راجع MLRUN_DBPATH , V3IO_USERNAME , V3IO_ACCESS_KEY , V3IO_API
      • يلزم إعداد V3IO_* فقط في حالة تثبيت Iguazio (وليس لـ MLRun المجاني الخالص)
    • قم بتحديث المتغيرات الخاصة بـ QGate، راجع QGATE_* (الوصف الأساسي مباشرة في *.env)
      • تكوين الإعداد التفصيلي
  3. تشغيل من qgate-sln-mlrun
    • بيثون main.py
  4. انظر المخرجات (يعتمد الموقع على QGATE_OUTPUT في التكوين)
    • './output/qgt-mlrun- .html'
    • './الإخراج/qgt-mlrun-.txt'

الشرط المسبق: أن يتوفر لديك حل MLRun أو Iguazio (MLRun جزء منه)، راجع خطوات التثبيت الرسمية، أو التثبيت المباشر لـ Desktop Docker.

تم اختباره مع

تم اختبار المشروع باستخدام إصدارات MLRun هذه (راجع سجل التغيير):

  • MLRun (في Kubernates أو Desktop Docker)
    • MLRun 1.8.0 (خطة الربع الأول/2025)
    • ✔MLRun 1.7.0 (؟ 1.7.1؟)
    • ✅ ملرون 1.6.4، 1.6.3، 1.6.2، 1.6.1، 1.6.0
    • ✅MLRun 1.5.2، 1.5.1، 1.5.0
    • ✅ ملرون 1.4.1
    • ✅MLRun 1.3.0
  • Iguazio (k8s، محليًا، VM على VMware)
    • ✅ إجوازيو 3.5.3 (مع MLRun 1.4.1)
    • ✅ إجوازيو 3.5.1 (مع MLRun 1.3.0)

ملاحظة: الحالة الحالية، تم اختبار الإصدارات الأخيرة فقط من MLRun/Iguazio (يعتمد التوافق مع الإصدارات السابقة على MLRun/Iguazio، انظر).

آحرون

  • المهام الواجبة ، قائمة التحسينات المتوقعة/المستقبلية، راجع
  • الحدود المطبقة ، قائمة الحدود/القضايا المطبقة، راجع
  • كيف يمكنك اختبار الحل؟ ، عليك التركيز على بيئة Linux. أو Windows مع WSL2 (راجع البرنامج التعليمي خطوة بخطوة)
  • MLRun/Iguazio ، التغييرات الرئيسية باختصار (عرض العملاء)، انظر
  • التثبيت المحلي MLRun ، راجع الاختراق
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل