azure enterprise scale ml
1.0.0
يعد Enterprise Scale AI Factory أحد حلول التوصيل والتشغيل التي تعمل على أتمتة توفير مشاريع الذكاء الاصطناعي ونشرها وإدارتها على Azure باستخدام طريقة عمل نموذجية.
Marry multiple best practices & accelerators: فهو يعيد استخدام العديد من مسرعات Microsoft الحالية/بنية المنطقة المقصودة وأفضل الممارسات مثل CAF وWAF، ويوفر تجربة شاملة بما في ذلك بيئات التطوير والاختبار والإنتاج.PRIVATE : نقاط النهاية الخاصة لجميع الخدمات مثل Azure Machine Learning ومجموعة AKS الخاصة وسجل الحاويات الخاصة والتخزين ومصنع بيانات Azure والمراقبة وما إلى ذلكPlug-and-play : إنشاء موارد البنية التحتية ديناميكيًا لكل فريق، بما في ذلك الشبكات ديناميكيًا، وRBAC ديناميكيًاTemplate way of working & Project way of working: project based (التحكم في التكلفة، والخصوصية، وقابلية التوسع لكل مشروع) ويوفر قوالب متعددة إلى جانب قالب البنية التحتية: DataLake template, DataOps templates, MLOps templates ، مع أنواع مشاريع قابلة للتحديد.Same MLOps - يختار علماء بيانات الطقس العمل من Azure Databricks أو Azure Machine Learning - يتم استخدام نفس قالب MLOps.Common way of working, common toolbox, a flexible one : صندوق أدوات ببنية LAMBDA مع أدوات مثل: Azure Datafactory، وAzure Databricks، وAzure Machine Learning، وEventhubs، وAKSEnterprise scale & security & battle tested : يستخدمه العملاء والشركاء مع MLOps منذ عام 2019 (انظر الروابط) لتسريع تطوير حلول الذكاء الاصطناعي وتقديمها، مع الأدوات المشتركة والجمع بين أفضل الممارسات المتعددة. الشبكات الخاصة (نقاط النهاية الخاصة)، كإعداد افتراضي. AI factory - setup in 60h (Company: Epiroc) - خطوط الأنابيب End-2-End لحالة الاستخدام: الكيفية
AI factory - مدونة فنية
Microsoft: AI Factory (CAF/MLOps) : عمليات التعلم الآلي - إطار اعتماد السحابة | مايكروسوفت تعلم
Microsoft: AI Factory (Well-architected framework) : عبء عمل WAF AI - إطار العمل المصمم جيدًا | مايكروسوفت تعلم
يعيش نوعا المشروع داخل مناطق هبوط AIFactory.
يتم تنظيم التوثيق حول ROLES عبر سلسلة Doc.
| سلسلة الوثيقة | دور | ركز | تفاصيل |
|---|---|---|---|
| 10-19 | CoreTeam | Governance | إعداد مصنع الذكاء الاصطناعي. الحكم. البنية التحتية والشبكات. الأذونات |
| 20-29 | CoreTeam | Usage | إعداد المستخدم واستخدام AI Factory. DataOps لفريق استيعاب البيانات التابع لـ CoreTeam |
| 30-39 | ProjectTeam | Usage | لوحة المعلومات، والأدوات والخدمات المتاحة، وDataOps، وMLOps، وخيارات الوصول إلى AIFactory الخاص |
| 40-49 | All | FAQ | أسئلة متكررة متنوعة. يرجى النظر هنا قبل الاتصال بمرشد ESML AIFactory. |
يتم تنظيمه أيضًا عبر المكونات الأربعة لـ ESML AIFactory:
| عنصر | دور | سلسلة الوثيقة |
|---|---|---|
| 1) الأشعة تحت الحمراء: AIFactory | CoreTeam | 10-19 |
| 2) قالب Datalake | الجميع | 20-29,30-39 |
| 3) قوالب لـ: DataOps، MLOps، *GenAIOps | الجميع | 20-29، 30-39 |
| 4) المسرعات: ESML SDK (Python، PySpark)، RAG Chatbot، إلخ | فريق المشروع | 30-39 |
رابط للتوثيق
CAF/AI Factory : https://docs.microsoft.com/en-us/azure/cloud-adoption-framework/ready/azure-best-practices/ai-machine-learning-mlops#mlops-at- المصانع ذات النطاق التنظيميMicrosoft Intelligent Data Platform : https://techcommunity.microsoft.com/t5/azure-data-blog/microsoft-and-databricks-deepen-partnership-for-modern-cloud/ba-p/3640280Modern data architecture with Azure Databricks and Azure Machine Learning : https://docs.microsoft.com/en-us/azure/architecture/solution-ideas/articles/azure-databricks-modern-analytics-architectureDatalake design : https://docs.microsoft.com/en-us/azure/storage/blobs/data-lake-storage-best-practicesDatamesh : https://martinfowler.com/articles/data-mesh-principles.htmlESML AI Factory الخاص بها.Enterprise "cockpit" في جميع مشاريعك ونماذجك.state المشروع (حالات التطوير والاختبار والإنتاج) باستخدام cost dashboard لكل مشروع/بيئة| تاريخ | فئة | ماذا | وصلة |
|---|---|---|---|
| 2024-03 | الأتمتة | إضافة عضو الفريق الأساسي | 26-add-esml-coreteam- member.ps1 |
| 2024-03 | الأتمتة | إضافة عضو المشروع | 26-add-esml-project- member.ps1 |
| 2024-03 | درس تعليمي | البرنامج التعليمي للفريق الأساسي | 10-AIFactory-infra-subscription-resourceproviders.md |
| 2024-03 | درس تعليمي | البرنامج التعليمي للمستخدم النهائي | 01-jumphost-vm-bastion-access.md |
| 2024-03 | درس تعليمي | البرنامج التعليمي للمستخدم النهائي | 03-use_cases-where_to_start.md |
| 2024-02 | درس تعليمي | مثيل حساب تثبيت المستخدم النهائي | R01-install-azureml-sdk-v1+v2.m |
| 2024-02 | Datalake - الإعداد | ACL التلقائي على مجلد المشروع في لاكيل | - |
| 2023-03 | الشبكات | لا يوجد عنوان IP عام: سحابة خاصة افتراضية - قواعد الشبكات المحدثة | https://learn.microsoft.com/en-us/azure/machine-learning/v1/how-to-secure-workspace-vnet?view=azureml-api-1&preserve-view=true&tabs=required%2Cpe%2Ccli |
| 2023-02 | قوالب خطوط أنابيب ESML | Azure Databricks: قوالب خطوط أنابيب التدريب والدفعات. دعم مماثل بنسبة 100% لقوالب خطوط أنابيب AML (MLOps للحلقة الداخلية/الخارجية) | - |
| 2022-08 | الأشعة تحت الحمراء ESML (IaC) | العضلة ذات الرأسين تدعم الآن yaml أيضًا | - |
| 2022-10 | عمليات ESML MLOs | الوضع المتقدم ESML MLOps v3، دعم خطوات Spark (دفاتر Databricks / DatabrickStep) | - |
ESML تعني: Enterprise Scale ML.
تم إنشاء هذا المسرّع في عام 2019 بسبب الحاجة إلى تسريع DataOps وMLOps.
كان يسمى المسرع آنذاك ESML، ونحن الآن نسمي هذا التسريع فقط ESML، أو نوع المشروع = ESML، في مقياس Entperise AIFactory
من خلال الابتكار باستخدام الذكاء الاصطناعي والتعلم الآلي، أعربت أصوات متعددة عن الحاجة إلى وجود Enterprise Scale AI & Machine Learning Platform مع DataOps و MLOps الجاهزة للتشغيل end-2-end . كانت المتطلبات الأخرى هي أن يكون هناك enterprise datalake design ، قادر على share refined data across the organization ، high security : التكنولوجيا العامة المتاحة فقط، ودعم vNet لخطوط الأنابيب والبيانات مع نقاط النهاية الخاصة. منصة آمنة، مع نهج المصنع لبناء النماذج.
حتى في حالة وجود أفضل الممارسات، قد يستغرق إعداد AI Factory solution Even if best practices exists, it can be time consuming and complex ، وعند تصميم حل تحليلي، غالبًا ما يكون الحل الخاص بدون الإنترنت العام مرغوبًا فيه نظرًا لأن العمل مع البيانات الإنتاجية من اليوم الأول أمر شائع، على سبيل المثال بالفعل في مرحلة البحث والتطوير. الأمن السيبراني حول هذا أمر مهم.
Challenge 1: الزواج المتعدد، 4، أفضل الممارساتChallenge 2: بيئات التطوير والاختبار وProd Azure/اشتراكات AzureChallenge 3: تسليم المفتاح: Datalake وDataOps وINNER & OUTER LOOP MLOps أيضًا، يجب أن يكون الحل الكامل قادرًا على توفيره بنسبة 100% عبر infrastructure-as-code ، ليتم إعادة إنشائه وتوسيع نطاقه عبر اشتراكات Azure المتعددة، وعلى project-based للتوسع ما يصل إلى 250 مشروعًا - جميعها مزودة بمجموعتها الخاصة من الخدمات مثل مساحة عمل Azure للتعلم الآلي ومجموعات الحوسبة الخاصة بها. 
لتلبية المتطلبات والتحدي، يلزم دمج أفضل الممارسات المتعددة وتنفيذها، مثل: CAF/WAF, MLOps, Datalake design, AI Factory, Microsoft Intelligent Data Platform / Modern Data Architecture.
يمكن أن تساعد مبادرة مفتوحة المصدر في آن واحد، هذا المسرّع مفتوح المصدر Enterprise Scale ML(ESML) - to get an AI Factory on Azure
توفر ESML AI Factory بشكل أسرع (في غضون 4-40 ساعة)، مع 1-250 مشروع ESML، ومشروع ESML عبارة عن مجموعة من خدمات Azure التي تم لصقها معًا بشكل آمن.
Challenge 1 solved: الزواج من متعددين، 4، أفضل الممارساتChallenge 2 solved: بيئات Dev وTest وProd Azure/اشتراكات AzureChallenge 3 solved: تسليم المفتاح: ESML marries multiple best practices في solution accelerator واحد، مع بنية أساسية بنسبة 100% كرمزفيما يلي كيف بدا الأمر، عندما قامت ESML بأتمتة كل من البنية التحتية وإنشاء مسارات التعلم الآلي لـ Azure، باستخدام 3 أسطر من التعليمات البرمجية.
أنواع قوالب خطوط أنابيب التدريب والاستدلال في ESML AIFactory والتي تعمل على تسريع المستخدم النهائي.
هذا المستودع عبارة عن مرآة للدفع فقط. بينغ يواكيم Åström للمساهمات / الأفكار.
نظرًا لتصميم "النسخة المتطابقة فقط"، فإن طلبات السحب غير ممكنة، باستثناء مسؤولي ESML. راجع ملف الترخيص (مفتوح المصدر، ترخيص معهد ماساتشوستس للتكنولوجيا) وبالحديث عن المصدر المفتوح، المساهمين:
Kim Berg Ben Kooijman لمساهمتهما! (مجد لحاسبة ESML IP وإضافات Bicep لنوع مشروع esml)Christofer Högvall للمساهمة! (مجد لبرنامج Powershell النصي، لتمكين موفري الموارد، إذا لم يتم الخروج)azure-enterprise-scale-mlenvironment_setupaifactorybicepesml-util26-enable-resource-providers.ps1
