azure enterprise scale ml
1.0.0
Enterprise Scale AI Factory是一種即插即用解決方案，可透過範本運作方式在 Azure 上自動設定、部署和管理 AI 專案。
Marry multiple best practices & accelerators:它重複使用多個現有的 Microsoft 加速器/landingzone 架構和最佳實踐（例如 CAF 和 WAF），並提供包括開發、測試、生產環境的端到端體驗。PRIVATE網路：所有服務的私有端點，例如 Azure 機器學習、私有 AKS 叢集、私有容器註冊表、儲存、Azure 資料工廠、監控等Plug-and-play ：為每個團隊動態建立基礎資源，包括動態網路和動態 RBACTemplate way of working & Project way of working: AI Factory project based （成本控制、隱私、每個專案的可擴充性），除了基礎架構範本外，還提供多種範本： DataLake template, DataOps templates, MLOps templates ，以及可選擇的項目類型。Same MLOps - 天氣資料科學家選擇從 Azure Databricks 或 Azure 機器學習工作 - 使用相同的 MLOps 範本。Common way of working, common toolbox, a flexible one ：具有 LAMBDA 架構的工具箱，其中包含以下工具：Azure Datafactory、Azure Databricks、Azure 機器學習、Eventhubs、AKSEnterprise scale & security & battle tested ：自 2019 年以來，具有 MLOps 的客戶和合作夥伴使用它（請參閱連結），透過通用工具並結合多種最佳實踐來加速 AI 解決方案的開發和交付。預設情況下，專用網路（專用端點）。 AI factory - setup in 60h (Company: Epiroc) - 用例的端對端管道：操作方法
AI factory - 技術博客
Microsoft: AI Factory (CAF/MLOps)文件：機器學習操作 - 雲端採用框架 |微軟學習
Microsoft: AI Factory (Well-architected framework)文件：WAF AI 工作負載 - 架構完善的框架 |微軟學習
這 2 種項目類型位於 AIFactory 登陸區內。
該文檔透過文檔系列圍繞角色進行組織。
| 文件系列 | 角色 | 重點 | 細節 |
|---|---|---|---|
| 10-19日 | CoreTeam | Governance | 設立人工智慧工廠。治理。基礎設施、網路。權限 |
| 20-29日 | CoreTeam | Usage | 使用者引導和 AI Factory 使用。 CoreTeam 資料攝取團隊的 DataOps |
| 30-39 | ProjectTeam | Usage | 儀表板、可用工具和服務、DataOps、MLOps、私人 AIFactory 的存取選項 |
| 40-49 | All | FAQ | 各種常見問題。在聯繫 ESML AIFactory 導師之前，請先查看此處。 |
它還透過 ESML AIFactory 的四個元件進行組織：
| 成分 | 角色 | 文件系列 |
|---|---|---|
| 1）基礎設施：AIFactory | 核心團隊 | 10-19日 |
| 2）資料湖模板 | 全部 | 20-29,30-39 |
| 3) 範本：DataOps、MLOps、*GenAIOps | 全部 | 20-29, 30-39 |
| 4）加速器：ESML SDK（Python、PySpark）、RAG Chatbot等 | 專案團隊 | 30-39 |
文件連結
CAF/AI Factory ：https://docs.microsoft.com/en-us/azure/cloud-adoption-framework/ready/azure-best-practices/ai-machine-learning-mlops#mlops-at -組織規模人工智慧工廠Microsoft Intelligent Data Platform ：https://techcommunity.microsoft.com/t5/azure-data-blog/microsoft-and-databricks-deepen-partnership-for-modern-cloud/ba-p/3640280Modern data architecture with Azure Databricks and Azure Machine Learning ：https://docs.microsoft.com/en-us/azure/architecture/solution-ideas/articles/azure-databricks-modern-analytics-architectureDatalake design ：https://docs.microsoft.com/en-us/azure/storage/blobs/data-lake-storage-best-practicesDatamesh ：https://martinfowler.com/articles/data-mesh-principles.htmlESML AI Factory預設擴充範圍為 1-250 個 ESML 專案。Enterprise "cockpit" 。cost dashboard查看專案處於什麼state （開發、測試、生產狀態）| 日期 | 類別 | 什麼 | 關聯 |
|---|---|---|---|
| 2024年3月 | 自動化 | 新增核心團隊成員 | 26-添加-esml-coreteam-member.ps1 |
| 2024年3月 | 自動化 | 新增專案成員 | 26-新增-esml-項目-member.ps1 |
| 2024年3月 | 教學 | 核心團隊教程 | 10-AIFactory-infra-subscription-resourceproviders.md |
| 2024年3月 | 教學 | 最終用戶教學 | 01-jumphost-vm-bastion-access.md |
| 2024年3月 | 教學 | 最終用戶教學 | 03-use_cases-where_to_start.md |
| 2024年02月 | 教學 | 最終使用者安裝計算實例 | R01-install-azureml-sdk-v1+v2.m |
| 2024年02月 | Datalake - 入門 | Lakel 中 PROJECT 資料夾的自動 ACL | - |
| 2023年3月 | 聯網 | 無公有 IP：虛擬私有雲 - 更新的網路規則 | https://learn.microsoft.com/en-us/azure/machine-learning/v1/how-to-secure-workspace-vnet?view=azureml-api-1&preserve-view=true&tabs=required%2Cpe%2Ccli |
| 2023年02月 | ESML 管道模板 | Azure Databricks：訓練和批次管線範本。與 AML 管道模板 100% 相同的支援（內/外循環 MLOps） | - |
| 2022年8月 | ESML 基礎設施 (IaC) | Bicep 現在也支持 yaml | - |
| 2022年10月 | ESML MLOps | ESML MLOps v3 進階模式，支援 Spark 步驟（Databricks 筆記本 / DatabrickStep ） | - |
ESML 代表：企業規模機器學習。
由於需要加速 DataOps 和 MLOps，該加速器於 2019 年誕生。
加速器當時稱為ESML，我們現在在Entperise Scale AIFActory中只稱這種加速器為ESML，或是專案類型=ESML
在人工智慧和機器學習方面進行創新，多種聲音表示需要擁有一個end-2-end交鑰匙DataOps和MLOps的Enterprise Scale AI & Machine Learning Platform 。其他要求包括enterprise datalake design ，能夠share refined data across the organization ，以及high security和穩健性：僅通用可用技術，對具有專用端點的管道和數據的 vNet 支援。一個安全的平台，採用工廠方法來建構模型。
即使存在最佳實踐，設置這樣的AI Factory solution Even if best practices exists, it can be time consuming and complex ，並且在設計分析解決方案時，通常需要沒有公共互聯網的私有解決方案，因為從第一天開始處理生產數據很常見，例如已在研發階段。這方面的網路安全非常重要。
Challenge 1:娶多個，4，最佳實踐Challenge 2:開發、測試、生產 Azure 環境/Azure 訂閱Challenge 3:交鑰匙：Datalake、DataOps、內部和外部循環 MLOps 此外，完整的解決方案應該能夠透過infrastructure-as-code 100% 進行配置，跨多個 Azure 訂閱進行重新建立和擴展，並且project-based進行擴展多達250 個項目- 所有項目都有自己的一組服務，例如自己的Azure 機器學習工作區和計算集群。 
為了滿足要求和挑戰，需要結合和實施多種最佳實踐，例如： CAF/WAF, MLOps, Datalake design, AI Factory, Microsoft Intelligent Data Platform / Modern Data Architecture.
一個開源計畫可以同時幫助所有人，這個開源加速器 Enterprise Scale ML (ESML) - to get an AI Factory on Azure
ESML更快提供AI Factory （4-40 小時內），具有 1-250 個 ESMLProjects，一個 ESML 專案是一組安全地黏合在一起的 Azure 服務。
Challenge 1 solved:娶多個，4，最佳實踐Challenge 2 solved:開發、測試、生產 Azure 環境/Azure 訂閱Challenge 3 solved:交鑰匙：Datalake、DataOps、內部和外部循環 MLOps ESML marries multiple best practices到一個solution accelerator中，並實現 100% 基礎設施即程式碼以下是 ESML 使用 3 行程式碼自動化基礎架構並產生 Azure 機器學習管道時的樣子。
ESML AIFactory 中的訓練和推理管道模板類型可為最終用戶加速。
該存儲庫是一個僅推送的鏡像。 Ping Joakim Åström 的貢獻/想法。
由於「僅鏡像」設計，除了 ESML 管理員之外，無法執行 Pull 請求。請參閱 LICENSE 檔案（開源，MIT 許可證） 說到開源，貢獻者：
Kim Berg和Ben Kooijman的貢獻！ （感謝 ESML IP 計算器和 esml 專案類型的 Bicep 新增）Christofer Högvall的貢獻！ （感謝 Powershell 腳本，啟用資源提供程序，如果不退出）azure-enterprise-scale-mlenvironment_setupaifactorybicepesml-util26-enable-resource-providers.ps1
