azure enterprise scale ml
1.0.0
Enterprise Scale AI Factory 템플릿 작업 방식을 사용하여 Azure에서 AI 프로젝트의 프로비저닝, 배포 및 관리를 자동화하는 플러그 앤 플레이 솔루션입니다.
Marry multiple best practices & accelerators: 여러 기존 Microsoft 가속기/랜딩존 아키텍처와 CAF 및 WAF와 같은 모범 사례를 재사용하고 Dev,Test, Prod 환경을 포함한 end-2-end 환경을 제공합니다.PRIVATE 네트워킹: Azure Machine Learning, 프라이빗 AKS 클러스터, 프라이빗 컨테이너 레지스트리, 스토리지, Azure 데이터 팩터리, 모니터링 등과 같은 모든 서비스에 대한 프라이빗 엔드포인트Plug-and-play : 동적인 네트워킹 및 동적인 RBAC를 포함하여 팀별로 인프라 리소스를 동적으로 생성합니다.Template way of working & Project way of working: AI Factory는 project based (비용 제어, 개인 정보 보호, 프로젝트별 확장성)이며 인프라 템플릿 외에 선택 가능한 프로젝트 유형과 함께 DataLake template, DataOps templates, MLOps templates 등 여러 템플릿을 제공합니다.Same MLOps - 기상 데이터 과학자가 Azure Databricks 또는 Azure Machine Learning에서 작업하도록 선택 - 동일한 MLOps 템플릿이 사용됩니다.Common way of working, common toolbox, a flexible one : Azure Datafactory, Azure Databricks, Azure Machine Learning, Eventhubs, AKS와 같은 도구가 포함된 LAMBDA 아키텍처가 포함된 도구 상자입니다.Enterprise scale & security & battle tested : 2019년부터 MLOps를 사용하는 고객 및 파트너(링크 참조)가 공통 도구 및 여러 모범 사례 결합을 통해 AI 솔루션의 개발 및 제공을 가속화하는 데 사용됩니다. 개인 네트워킹(개인 끝점)은 기본값입니다. AI factory - setup in 60h (Company: Epiroc) - 사용 사례를 위한 End-2-End 파이프라인: How-to
AI factory - 기술 블로그
Microsoft: AI Factory (CAF/MLOps) 설명서: 기계 학습 작업 - 클라우드 채택 프레임워크 | 마이크로소프트 런
Microsoft: AI Factory (Well-architected framework) 문서: WAF AI 워크로드 - Well-architected 프레임워크 | 마이크로소프트 런
2가지 프로젝트 유형은 AIFactory 랜딩존 내부에 있습니다.
문서는 Doc 시리즈를 통해 ROLES를 중심으로 구성됩니다.
| 문서 시리즈 | 역할 | 집중하다 | 세부 |
|---|---|---|---|
| 10-19 | CoreTeam | Governance | AI공장 설립. 통치. 인프라, 네트워킹. 권한 |
| 20-29 | CoreTeam | Usage | 사용자 온보딩 및 AI Factory 사용. CoreTeam의 데이터 수집 팀을 위한 DataOps |
| 30-39 | ProjectTeam | Usage | 대시보드, 사용 가능한 도구 및 서비스, DataOps, MLOps, 프라이빗 AIFactory에 대한 액세스 옵션 |
| 40-49 | All | FAQ | 다양한 자주 묻는 질문. ESML AIFactory 멘토에게 연락하기 전에 여기를 살펴보시기 바랍니다. |
또한 ESML AIFactory의 네 가지 구성 요소를 통해 구성됩니다.
| 요소 | 역할 | 문서 시리즈 |
|---|---|---|
| 1) 인프라: AI팩토리 | 코어팀 | 10-19 |
| 2) 데이터레이크 템플릿 | 모두 | 20-29,30-39 |
| 3) 템플릿: DataOps, MLOps, *GenAIOps | 모두 | 20-29, 30-39 |
| 4) 가속기: ESML SDK(Python, PySpark), RAG Chatbot 등 | 프로젝트팀 | 30-39 |
문서 링크
CAF/AI Factory : https://docs.microsoft.com/en-us/azure/cloud-adoption-framework/ready/azure-best-practices/ai-machine-learning-mlops#mlops-at- 조직 규모의 AI 공장Microsoft Intelligent Data Platform : https://techcommunity.microsoft.com/t5/azure-data-blog/microsoft-and-databricks-deepen-partnership-for-modern-cloud/ba-p/3640280Modern data architecture with Azure Databricks and Azure Machine Learning : https://docs.microsoft.com/en-us/azure/architecture/solution-ideas/articles/azure-databricks-modern-analytics-architectureDatalake design : https://docs.microsoft.com/en-us/azure/storage/blobs/data-lake-storage-best-practicesDatamesh : https://martinfowler.com/articles/data-mesh-principles.htmlESML AI Factory 에 대해 1-250 ESML 프로젝트의 기본 확장을 갖습니다.Enterprise "cockpit" .cost dashboard 통해 프로젝트 state (개발, 테스트, 제품 상태)를 확인하세요.| 날짜 | 범주 | 무엇 | 링크 |
|---|---|---|---|
| 2024-03 | 오토메이션 | 핵심 팀 구성원 추가 | 26-추가-esml-coreteam-member.ps1 |
| 2024-03 | 오토메이션 | 프로젝트 구성원 추가 | 26-추가-esml-프로젝트-member.ps1 |
| 2024-03 | 지도 시간 | 핵심 팀 튜토리얼 | 10-AIFactory-infra-subscription-resourceproviders.md |
| 2024-03 | 지도 시간 | 최종 사용자 튜토리얼 | 01-jumphost-vm-bastion-access.md |
| 2024-03 | 지도 시간 | 최종 사용자 튜토리얼 | 03-use_cases-where_to_start.md |
| 2024-02 | 지도 시간 | 최종 사용자 설치 컴퓨팅 인스턴스 | R01-설치-azureml-sdk-v1+v2.m |
| 2024-02 | Datalake - 온보딩 | Lakel의 PROJECT 폴더에 대한 자동 ACL | - |
| 2023-03 | 네트워킹 | 공용 IP 없음: 가상 사설 클라우드 - 업데이트된 네트워킹 규칙 | https://learn.microsoft.com/en-us/azure/machine-learning/v1/how-to-secure-workspace-vnet?view=azureml-api-1&preserve-view=true&tabs=required%2Cpe%2Ccli |
| 2023-02 | ESML 파이프라인 템플릿 | Azure Databricks: 학습 및 Batch 파이프라인 템플릿. AML 파이프라인 템플릿(내부/외부 루프 MLOps)과 100% 동일하게 지원 | - |
| 2022-08 | ESML 인프라(IaC) | Bicep은 이제 yaml도 지원합니다. | - |
| 2022-10 | ESML MLOps | ESML MLOps v3 고급 모드, Spark 단계 지원( Databricks 노트북 / DatabrickStep ) | - |
ESML은 Enterprise Scale ML을 의미합니다.
이 가속기는 DataOps 및 MLOps 가속화에 대한 필요성으로 인해 2019년에 탄생했습니다.
그 당시 가속기는 ESML이라고 불렸습니다. 이제 Entperise Scale AIFActory에서는 이 가속기를 ESML 또는 프로젝트 유형=ESML이라고 부릅니다.
AI 및 머신러닝을 통한 혁신을 통해 end-2-end 턴키 DataOps 및 MLOps 를 갖춘 Enterprise Scale AI & Machine Learning Platform 필요하다는 목소리가 다수 나타났습니다. 다른 요구 사항은 share refined data across the organization 할 수 있는 enterprise datalake design 와 high security 및 견고성이었습니다. 일반적으로 사용 가능한 기술만 해당되며 개인 끝점이 있는 파이프라인 및 데이터에 대한 vNet 지원이 필요했습니다. 모델 구축을 위한 공장 접근 방식을 갖춘 보안 플랫폼입니다.
Even if best practices exists, it can be time consuming and complex 그러한 AI Factory solution 설정하는 것은 시간이 많이 걸리고 복잡할 수 있으며, 분석 솔루션을 설계할 때 첫날부터 생산 데이터로 작업하는 것이 일반적이기 때문에 공용 인터넷이 없는 개인 솔루션이 종종 바람직합니다. R&D 단계. 이에 대한 사이버 보안이 중요합니다.
Challenge 1: 다중 결혼, 4, 모범 사례Challenge 2: 개발, 테스트, 프로덕션 Azure 환경/Azure 구독Challenge 3: 턴키: Datalake, DataOps, INNER 및 OUTER LOOP MLOps 또한 전체 솔루션은 infrastructure-as-code 통해 100% 프로비전할 수 있어야 하고, 여러 Azure 구독에 걸쳐 다시 생성 및 확장할 수 있어야 하며, project-based 으로 확장할 수 있어야 합니다. 최대 250개 프로젝트 - 모두 자체 Azure 기계 학습 작업 영역 및 컴퓨팅 클러스터와 같은 자체 서비스 세트를 포함합니다. 
요구 사항과 과제를 충족하려면 CAF/WAF, MLOps, Datalake design, AI Factory, Microsoft Intelligent Data Platform / Modern Data Architecture.
오픈 소스 이니셔티브는 이 오픈 소스 가속기 Enterprise Scale ML(ESML)을 to get an AI Factory on Azure 동시에 도움이 될 수 있습니다.
ESML 1~250개의 ESMLProject를 통해 AI Factory 더 빠르게(4~40시간 이내) 제공합니다. ESML 프로젝트는 안전하게 연결된 Azure 서비스 세트입니다.
Challenge 1 solved: 여러 결혼, 4, 모범 사례Challenge 2 solved: 개발, 테스트, 프로덕션 Azure 환경/Azure 구독Challenge 3 solved: 턴키: Datalake, DataOps, INNER 및 OUTER LOOP MLOps ESML marries multiple best practices 하나의 solution accelerator 로 결합합니다.아래는 ESML이 3줄의 코드를 사용하여 인프라와 Azure 기계 학습 파이프라인 생성을 모두 자동화했을 때의 모습입니다.
최종 사용자를 위해 가속화되는 ESML AIFactory의 교육 및 추론 파이프라인 템플릿 유형입니다.
이 저장소는 푸시 전용 미러입니다. Ping Joakim Åström에게 기여/아이디어를 보내주세요.
"미러 전용" 설계이므로 ESML 관리자를 제외하고는 Pull 요청이 불가능합니다. LICENSE 파일 참조(오픈 소스, MIT 라이센스) 오픈 소스에 관해 기여자:
Kim Berg 와 Ben Kooijman 에게 감사드립니다! (esml-project 유형에 대한 ESML IP 계산기 및 Bicep 추가에 대한 찬사)Christofer Högvall 에게 감사드립니다! (종료되지 않는 경우 리소스 공급자를 활성화하기 위해 Powershell 스크립트에 대한 찬사)azure-enterprise-scale-mlenvironment_setupaifactorybicepesml-util26-enable-resource-providers.ps1
