azure enterprise scale ml
1.0.0
Enterprise Scale AI Factory เป็นโซลูชันแบบพลักแอนด์เพลย์ที่ทำให้การจัดเตรียม การปรับใช้ และการจัดการโปรเจ็กต์ AI บน Azure เป็นแบบอัตโนมัติด้วยวิธีการทำงานของเทมเพลต
Marry multiple best practices & accelerators: นำสถาปัตยกรรมตัวเร่งความเร็ว/โซน Landingzone ของ Microsoft ที่มีอยู่หลายตัวกลับมาใช้ใหม่และแนวทางปฏิบัติที่ดีที่สุด เช่น CAF & WAF และมอบประสบการณ์ end-2-end รวมถึงสภาพแวดล้อม Dev, Test, ProdPRIVATE ทั้งหมด: ตำแหน่งส่วนตัวสำหรับบริการทั้งหมด เช่น Azure Machine Learning, คลัสเตอร์ AKS ส่วนตัว, รีจิสตรีคอนเทนเนอร์ส่วนตัว, พื้นที่เก็บข้อมูล, แฟคทอรีข้อมูล Azure, การตรวจสอบ ฯลฯPlug-and-play : สร้างทรัพยากรอินฟาเรดแบบไดนามิกต่อทีม รวมถึงการสร้างเครือข่ายแบบไดนามิกและ RBAC แบบไดนามิกTemplate way of working & Project way of working: AI Factory เป็น project based (การควบคุมต้นทุน ความเป็นส่วนตัว ความสามารถในการปรับขนาดต่อโครงการ) และมี เทมเพลตหลายรายการ นอกเหนือจากเทมเพลตโครงสร้างพื้นฐาน: DataLake template, DataOps templates, MLOps templates พร้อมประเภทโปรเจ็กต์ที่เลือกได้Same MLOps - นักวิทยาศาสตร์ข้อมูลสภาพอากาศเลือกที่จะทำงานจาก Azure Databricks หรือ Azure Machine Learning` - ใช้เทมเพลต MLOps เดียวกันCommon way of working, common toolbox, a flexible one : กล่องเครื่องมือที่มีสถาปัตยกรรม LAMBDA พร้อมเครื่องมือเช่น: Azure Datafactory, Azure Databricks, Azure Machine Learning, Eventhubs, AKSEnterprise scale & security & battle tested : ใช้โดยลูกค้าและพันธมิตรกับ MLOps ตั้งแต่ปี 2019 (ดูลิงก์) เพื่อเร่งการพัฒนาและการส่งมอบโซลูชัน AI ด้วยเครื่องมือทั่วไป & ผสมผสานแนวทางปฏิบัติที่ดีที่สุดหลายประการ เครือข่ายส่วนตัว (ปลายทางส่วนตัว) เป็นค่าเริ่มต้น AI factory - setup in 60h (Company: Epiroc) - ไปป์ไลน์ End-2-End สำหรับกรณีการใช้งาน: วิธีใช้
AI factory - บล็อกทางเทคนิค
Microsoft: AI Factory (CAF/MLOps) : การดำเนินการเรียนรู้ของเครื่อง - Cloud Adoption Framework | ไมโครซอฟต์เรียนรู้
Microsoft: AI Factory (Well-architected framework) : ปริมาณงาน WAF AI - กรอบงานที่มีสถาปัตยกรรมอย่างดี | ไมโครซอฟต์เรียนรู้
โครงการทั้ง 2 ประเภทอาศัยอยู่ภายในพื้นที่ลงจอดของ AIFactory
เอกสารนี้จัดทำขึ้นตาม ROLES ผ่านชุดเอกสาร
| ซีรีย์หมอ | บทบาท | จุดสนใจ | รายละเอียด |
|---|---|---|---|
| 10-19 | CoreTeam | Governance | การติดตั้งโรงงาน AI ธรรมาภิบาล โครงสร้างพื้นฐาน เครือข่าย สิทธิ์ |
| 20-29 | CoreTeam | Usage | การเริ่มต้นใช้งานผู้ใช้และการใช้งาน AI Factory DataOps สำหรับทีมนำเข้าข้อมูลของ CoreTeam |
| 30-39 | ProjectTeam | Usage | แดชบอร์ด, เครื่องมือและบริการที่มี, DataOps, MLOps, ตัวเลือกการเข้าถึง AIFactory ส่วนตัว |
| 40-49 | All | FAQ | คำถามที่พบบ่อยต่างๆ โปรดดูที่นี่ ก่อนที่จะติดต่อที่ปรึกษา ESML AIFactory |
นอกจากนี้ยังจัดระเบียบผ่านองค์ประกอบสี่ประการของ ESML AIFactory:
| ส่วนประกอบ | บทบาท | ซีรีย์หมอ |
|---|---|---|
| 1) อินฟรา:AIFactory | คอร์ทีม | 10-19 |
| 2) เทมเพลตดาต้าเลค | ทั้งหมด | 20-29,30-39 |
| 3) เทมเพลตสำหรับ: DataOps, MLOps, *GenAIOps | ทั้งหมด | 20-29, 30-39 |
| 4) ตัวเร่งความเร็ว: ESML SDK (Python, PySpark), RAG Chatbot ฯลฯ | ทีมงานโครงการ | 30-39 |
LINK ไปยังเอกสารประกอบ
CAF/AI Factory : https://docs.microsoft.com/en-us/azure/cloud-adoption-framework/ready/azure-best-practices/ai-machine-learning-mlops#mlops-at- โรงงานขนาดองค์กร AIMicrosoft Intelligent Data Platform : https://techcommunity.microsoft.com/t5/azure-data-blog/microsoft-and-databricks-deepen-partnership-for-modern-cloud/ba-p/3640280Modern data architecture with Azure Databricks and Azure Machine Learning : https://docs.microsoft.com/en-us/azure/architecture/solution-ideas/articles/azure-databricks-modern-analytics-architectureDatalake design : https://docs.microsoft.com/en-us/azure/storage/blobs/data-lake-storage-best-practicesDatamesh : https://martinfowler.com/articles/data-mesh-principles.htmlESML AI FactoryEnterprise "cockpit" เหนือโครงการและโมเดลทั้งหมดของคุณstate ใด (สถานะ Dev, Test, Prod) พร้อม cost dashboard ต่อโปรเจ็กต์/สภาพแวดล้อม| วันที่ | หมวดหมู่ | อะไร | ลิงค์ |
|---|---|---|---|
| 2024-03 | ระบบอัตโนมัติ | เพิ่มสมาชิกทีมหลัก | 26-เพิ่ม-esml-coreteam-member.ps1 |
| 2024-03 | ระบบอัตโนมัติ | เพิ่มสมาชิกโครงการ | 26-เพิ่ม-esml-โครงการ-member.ps1 |
| 2024-03 | บทช่วยสอน | บทช่วยสอนของทีมหลัก | 10-AIFactory-infra-subscription-resourceproviders.md |
| 2024-03 | บทช่วยสอน | บทช่วยสอนสำหรับผู้ใช้ปลายทาง | 01-jumphost-vm-bastion-access.md |
| 2024-03 | บทช่วยสอน | บทช่วยสอนสำหรับผู้ใช้ปลายทาง | 03-use_cases-where_to_start.md |
| 2024-02 | บทช่วยสอน | อินสแตนซ์คอมพิวเตอร์สำหรับการติดตั้งสำหรับผู้ใช้ปลายทาง | R01-ติดตั้ง-azureml-sdk-v1+v2.m |
| 2024-02 | Datalake - การเริ่มต้นใช้งาน | Auto-ACL ในโฟลเดอร์ PROJECT ใน lakel | - |
| 2023-03 | เครือข่าย | ไม่มี IP สาธารณะ: คลาวด์ส่วนตัวเสมือน - กฎเครือข่ายที่อัปเดต | https://learn.microsoft.com/en-us/azure/machine-learning/v1/how-to-secure-workspace-vnet?view=azureml-api-1&preserve-view=true&tabs=required%2Cpe%2Ccli |
| 2023-02 | เทมเพลตไปป์ไลน์ ESML | Azure Databricks: เทมเพลตไปป์ไลน์การฝึกอบรมและแบทช์ รองรับ 100% เช่นเดียวกับเทมเพลตไปป์ไลน์ AML (MLOps วงใน/นอก) | - |
| 2022-08 | ESML อินฟรา (IaC) | ตอนนี้ Bicep รองรับ yaml เช่นกัน | - |
| 2022-10 | ESML MLOps | โหมดขั้นสูง ESML MLOps v3 รองรับขั้นตอน Spark (สมุดบันทึก Databricks / DatabrickStep) | - |
ESML ย่อมาจาก: Enterprise Scale ML
ตัวเร่งความเร็วนี้เกิดในปี 2019 เนื่องจากความต้องการเร่งความเร็ว DataOps และ MLOps
ตัวเร่งความเร็วนั้นถูกเรียกว่า ESML ตอนนี้เราเรียกเฉพาะการเร่งความเร็วนี้ ESML หรือประเภทโปรเจ็กต์=ESML ใน Entperise Scale AIFActory
การสร้างสรรค์นวัตกรรมด้วย AI และการเรียนรู้ของเครื่อง ทำให้หลายเสียงแสดงความจำเป็นที่จะต้องมี Enterprise Scale AI & Machine Learning Platform ด้วย DataOps และ MLOps แบบครบวงจร end-2-end ข้อกำหนดอื่นๆ จะต้องมี enterprise datalake design สามารถ share refined data across the organization และมี high security : เทคโนโลยีทั่วไปที่มีเท่านั้น รองรับ vNet สำหรับไปป์ไลน์และข้อมูลที่มีจุดสิ้นสุดส่วนตัว แพลตฟอร์มที่ปลอดภัยพร้อมแนวทางจากโรงงานในการสร้างโมเดล
Even if best practices exists, it can be time consuming and complex ในการตั้งค่า AI Factory solution และเมื่อออกแบบโซลูชันเชิงวิเคราะห์ มักต้องการโซลูชันส่วนตัวที่ไม่มีอินเทอร์เน็ตสาธารณะ เนื่องจากการทำงานกับข้อมูลการผลิตตั้งแต่วันแรกเป็นเรื่องปกติ เช่น อยู่แล้วใน ขั้นตอนการวิจัยและพัฒนา ความปลอดภัยทางไซเบอร์รอบนี้เป็นสิ่งสำคัญ
Challenge 1: แต่งงานหลายคู่ 4 แนวปฏิบัติที่ดีที่สุดChallenge 2: สภาพแวดล้อม Dev, Test, Prod Azure/การสมัครใช้งาน AzureChallenge 3: กุญแจแบบครบวงจร: Datalake, DataOps, INNER & OUTER LOOP MLOps นอกจากนี้ โซลูชันที่สมบูรณ์ควรจะสามารถจัดเตรียมได้ 100% ผ่าน infrastructure-as-code เพื่อถูกสร้างขึ้นใหม่และปรับขนาดผ่านการสมัครสมาชิก Azure หลายรายการ และ project-based ตามขนาด มากถึง 250 โปรเจ็กต์ - ทั้งหมดมีชุดบริการของตัวเอง เช่น พื้นที่ทำงานการเรียนรู้ของเครื่อง Azure และคลัสเตอร์การประมวลผลของตัวเอง 
เพื่อให้เป็นไปตามข้อกำหนดและความท้าทาย แนวทางปฏิบัติที่ดีที่สุดหลายประการจำเป็นต้องนำมาผสมผสานและนำไปปฏิบัติ เช่น CAF/WAF, MLOps, Datalake design, AI Factory, Microsoft Intelligent Data Platform / Modern Data Architecture.
ความคิดริเริ่มแบบโอเพ่นซอร์สสามารถช่วยได้ทั้งหมดในคราวเดียว ตัวเร่งความเร็วแบบโอเพ่นซอร์ส Enterprise Scale ML(ESML) นี้ - to get an AI Factory on Azure
ESML ช่วยให้ AI Factory เร็วขึ้น (ภายใน 4-40 ชั่วโมง) ด้วยโปรเจ็กต์ ESML 1-250 รายการ โปรเจ็กต์ ESML คือชุดของบริการ Azure ที่ติดกันอย่างปลอดภัย
Challenge 1 solved: แต่งงานกับหลาย ๆ คน 4 แนวทางปฏิบัติที่ดีที่สุดChallenge 2 solved: สภาพแวดล้อม Dev, Test, Prod Azure/การสมัครสมาชิก AzureChallenge 3 solved: กุญแจแบบครบวงจร: Datalake, DataOps, INNER & OUTER LOOP MLOps ESML marries multiple best practices ไว้ใน solution accelerator ตัวเดียว พร้อมด้วยโครงสร้างพื้นฐานตามโค้ด 100%ด้านล่างนี้คือลักษณะที่ปรากฏ เมื่อ ESML ทำงานอัตโนมัติทั้งโครงสร้างพื้นฐาน และสร้างไปป์ไลน์การเรียนรู้ของเครื่อง Azure ด้วยโค้ด 3 บรรทัด
ประเภทเทมเพลตไปป์ไลน์การฝึกอบรมและการอนุมานใน ESML AIFactory ที่เร่งความเร็วสำหรับผู้ใช้ปลายทาง
พื้นที่เก็บข้อมูลนี้เป็นมิเรอร์แบบกดเท่านั้น Ping Joakim Åströmสำหรับการมีส่วนร่วม / แนวคิด
เนื่องจากการออกแบบ "มิเรอร์เท่านั้น" จึงไม่สามารถดึงคำขอได้ ยกเว้นผู้ดูแลระบบ ESML ดูไฟล์ใบอนุญาต (โอเพ่นซอร์ส, ใบอนุญาต MIT) เมื่อพูดถึงโอเพ่นซอร์ส ผู้ร่วมให้ข้อมูล:
Kim Berg และ Ben Kooijman สำหรับการมีส่วนร่วม! (ขอชื่นชมเครื่องคิดเลข ESML IP และการเพิ่ม Bicep สำหรับประเภทโครงการ esml)Christofer Högvall สำหรับการมีส่วนร่วม! (ขอชื่นชมสคริปต์ Powershell เพื่อเปิดใช้งานผู้ให้บริการทรัพยากรหากไม่ออก)azure-enterprise-scale-mlenvironment_setupaifactorybicepesml-util26-enable-resource-providers.ps1
