hopsworks
3.7.0
Hopsworks عبارة عن منصة بيانات لـ ML مع متاجر ميزات يركز على Python وقدرات MLOPS. Hopsworks هي منصة معيارية. يمكنك استخدامه كمتجر للميزات المستقلة ، ويمكنك استخدامه لإدارة الطرز الخاصة بك ، ويمكنك حتى استخدامها لتطوير وتشغيل خطوط أنابيب الميزات وخطوط أنابيب التدريب. يجلب Hopsworks التعاون لفرق ML ، حيث توفر منصة آمنة ومحكومة لتطوير وإدارة ومشاركة أصول ML - الميزات والنماذج وبيانات التدريب وبيانات تسجيل الدُفعات والسجلات والمزيد.
Hopsworks متاح كتطبيق بدون خادم ، ما عليك سوى التوجه إلى app.hopsworks.ai وتسجيله في حسابات Gmail أو GitHub . ستتمكن بعد ذلك من تشغيل برنامج تعليمي أو الوصول إلى Hopsworks مباشرة وتجربة نفسك. هذه هي الطريقة المفضلة لتجربة النظام الأساسي أولاً قبل الغوص في متطلبات الاستخدامات ومتطلبات التثبيت المتقدمة.
Hopsworks Managed هو منصة تشغيل Hopsworks ومتجر الميزات في السحابة ويتكامل مباشرة مع بيئة العميل AWS/Azure/GCP. كما أنه يدمج بسلاسة مع منصات الطرف الثالث مثل Databricks و Sagemaker و Kubeflow.
إذا كنت ترغب في تشغيل Hopsworks على بيئة Azure أو AWS أو GCP ، اتبع أحد الأدلة التالية في وثائقنا:
دليل AWS
دليل Azure
دليل GCP
من الممكن استخدام Hopsworks المحليين ، مما يعني أنه يمكن للشركات تشغيل أعباء عمل التعلم الآلي على أجهزةها والبنية التحتية الخاصة بها ، بدلاً من الاعتماد على مزود سحابي. يمكن أن يوفر ذلك المزيد من المرونة والتحكم وتوفير التكاليف ، وكذلك تمكين الشركات من تلبية متطلبات الامتثال والأمان المحددة.
عادةً ما يتضمن العمل داخل Hopsworks التعاون مع فرق Hopsworks Engineering ، لأن كل البنية التحتية فريدة من نوعها وتتطلب نهجًا مخصصًا للنشر والتكوين. تبدأ العملية بتقييم البنية التحتية والمتطلبات الحالية للشركة ، بما في ذلك طوبولوجيا الشبكة وسياسات الأمان ومواصفات الأجهزة.
لمزيد من التفاصيل حول المنشآت المحلية: اتصل بنا.
تحتاج إلى خادم واحد على الأقل أو جهاز افتراضي يتم تثبيته على الأقل مع المواصفات التالية على الأقل:
Centos/Rhel 8.x أو Ubuntu 22.04 ؛
ذاكرة الوصول العشوائي 32 جيجابايت على الأقل ،
على الأقل 8 وحدات المعالجة المركزية ،
100 جيجابايت من مساحة القرص الصلب المجاني ،
حساب مستخدم UNIX مع امتيازات sudo.
تتضمن وثائق Hopsworks أدلة المستخدم ووثائق متجر الميزات ودليل الإدارة. ندرج أيضًا مفاهيم لمساعدة المستخدم على التنقل في تجريد ومنطق متاجر الميزات و MLOPs بشكل عام:
متجر الميزات: https://docs.hopsworks.ai/3.0/concepts/fs/
المشاريع: https://docs.hopsworks.ai/3.0/concepts/projects/governance/
MLOPS: https://docs.hopsworks.ai/3.0/concepts/mlops/prediction_services/
تنقسم وثائق API Hopsworks إلى 3 فئات ؛ يغطي API API على مستوى المشروع واجهات برمجة التطبيقات على مستوى المشروع ، ويغطي واجهة برمجة التطبيقات لمتجر الميزات مجموعات الميزات ، ومشاهد ميزات وموصلات ، وأخيراً تغطي واجهة برمجة تطبيقات MLOPS سجل النموذج والخدمة والنشر.
Hopsworks API - https://docs.hopsworks.ai/hopsworks-api/3.0.1/generated/api/connection/
ميزة متجر API -https://docs.hopsworks.ai/feature-store-api/3.0.0/generated/api/connection_api/
MLOPS API -https://docs.hopsworks.ai/machine-learning-api/3.0.0/generated/connection_api/
تتطلب معظم البرامج التعليمية أن يكون لديك حساب على الأقل على app.hopsworks.ai. يمكنك استكشاف https://github.com/logicalclocks/hopsworks-tutorials المستودع الذي يحتوي على دروسنا أو القفز مباشرة في إحدى حالات الاستخدام الحالية:
الاحتيال (دفعة): https://github.com/logicalclocks/hopsworks-tutorials/tree/master/fraud_batch
الاحتيال (عبر الإنترنت): https://github.com/logicalclocks/hopsworks-tutorials/tree/master/fraud_online
تنبؤ churn https://github.com/logicalclocks/hopsworks-tutorials/tree/master/churn
يوفر Hopsworks المشاريع كصندوق رمل آمن يمكن للفرق فيها التعاون وتبادل أصول ML. يمكّن نموذج المشروع متعدد المستأجرين الفريد من نوعه من Hopsworks من تخزين البيانات الحساسة في مجموعة مشتركة ، مع توفير إمكانيات مشاركة دقيقة لأصول ML عبر حدود المشروع. يمكن استخدام المشاريع لتنظيم الفرق بحيث تتحمل مسؤولية شاملة من البيانات الأولية إلى الميزات والموديلات المدارة. يمكن أيضًا استخدام المشروعات لإنشاء بيئات التطوير والإنتاج والإنتاج لفرق البيانات. توفر جميع أصول ML Assets Proseing و Wiseage و Pervenance لجميع مستخدمي Hopsworks عرضًا كاملاً لدورة حياة MLOPS ، من هندسة الميزات من خلال خدمة النموذج.
يوفر Hopsworks أدوات تطوير لعلوم البيانات ، بما في ذلك بيئات CENTA لـ Python أو Jupyter Notebooks أو الوظائف أو حتى دفاتر الملاحظات كوظائف. يمكنك بناء خطوط أنابيب الإنتاج مع تدفق الهواء المجمعة ، وحتى تشغيل خطوط أنابيب تدريب ML مع وحدات معالجة الرسومات في دفاتر الملاحظات على تدفق الهواء. يمكنك تدريب النماذج على أكبر عدد من وحدات معالجة الرسومات التي يتم تثبيتها في مجموعة Hopsworks ومشاركتها بسهولة بين المستخدمين. يمكنك أيضًا تشغيل برامج Spark أو Spark Streaming أو Flink على Hopsworks ، بدعم من العمال المرنين في السحابة (إضافة/إزالة العمال ديناميكيًا).
يتوفر Hopsworks كمنصة مُدارة في السحابة على AWS و Azure و GCP ، ويمكن تثبيتها على أي آلات افتراضية تستند إلى Linux (متوافقة مع Ubuntu/Redhat) ، حتى في مراكز البيانات التي تم نقلها الهواء. يتوفر Hopsworks أيضًا كمنصة بدون خادم يدير وتخدم كل من الميزات والموديلات الخاصة بك.
نحن نقوم ببناء منصة ML الأكثر اكتمالا والمعيارية المتوفرة في السوق ، ونحن نعتمد على دعمك لتحسين hopsworks باستمرار. لا تتردد في تقديم اقتراحات لنا ، والإبلاغ عن الأخطاء وإضافة ميزات إلى مكتبتنا في أي وقت.
اطرح الأسئلة وقدم لنا ملاحظات في مجتمع Hopsworks
انضم إلى قناة Slack العامة لدينا
تابعنا على Twitter
تحقق من جميع أحدث إصدارات المنتجات لدينا
Hopsworks متاح بموجب ترخيص AGPL-V3 . في اللغة الإنجليزية البسيطة ، هذا يعني أنك حرة في استخدام Hopsworks وحتى بناء خدمات مدفوعة على ذلك ، ولكن إذا قمت بتعديل الكود المصدري ، فيجب عليك أيضًا إصدار التغييرات الخاصة بك وأي أنظمة مبنية حولها كـ AGPL-V3.
