azure enterprise scale ml
1.0.0
Enterprise Scale AI Factory est une solution plug and play qui automatise le provisionnement, le déploiement et la gestion des projets d’IA sur Azure avec une méthode de travail modèle.
Marry multiple best practices & accelerators: il réutilise plusieurs accélérateurs/architectures de zones d'atterrissage Microsoft existants et les meilleures pratiques telles que CAF et WAF, et offre une expérience de bout en bout comprenant des environnements de développement, de test et de production.PRIVATE : points de terminaison privés pour tous les services tels qu'Azure Machine Learning, cluster AKS privé, registre de conteneurs privé, stockage, usine de données Azure, surveillance, etc.Plug-and-play : créez dynamiquement des infra-ressources par équipe, y compris la mise en réseau dynamique et le RBAC dynamiquementTemplate way of working & Project way of working: L'AI Factory est project based (contrôle des coûts, confidentialité, évolutivité par projet) et fournit plusieurs modèles en plus du modèle d'infrastructure : DataLake template, DataOps templates, MLOps templates , avec des types de projets sélectionnables.Same MLOps - les scientifiques en données météorologiques choisissent de travailler à partir d'Azure Databricks ou d'Azure Machine Learning - le même modèle MLOps est utilisé.Common way of working, common toolbox, a flexible one : Une boîte à outils avec une architecture LAMBDA avec des outils tels que : Azure Datafactory, Azure Databricks, Azure Machine Learning, Eventhubs, AKSEnterprise scale & security & battle tested : utilisé par les clients et les partenaires avec MLOps depuis 2019 (voir LIENS) pour accélérer le développement et la fourniture de solutions d'IA, avec des outils communs et associant plusieurs bonnes pratiques. Réseau privé (points de terminaison privés), par défaut. AI factory - setup in 60h (Company: Epiroc) - Pipelines End-2-End pour cas d'utilisation : Comment faire
AI factory - BLOG Technique
Microsoft: AI Factory (CAF/MLOps) : Opérations d'apprentissage automatique - Cloud Adoption Framework | Microsoft Apprendre
Microsoft: AI Factory (Well-architected framework) : Charge de travail WAF AI - Framework bien architecturé | Microsoft Apprendre
Les 2 types de projets vivent à l’intérieur des zones d’atterrissage d’AIFactory.
La Documentation est organisée autour des séries ROLES via Doc.
| Série de documents | Rôle | Se concentrer | Détails |
|---|---|---|---|
| 10-19 | CoreTeam | Governance | Mise en place d'AI Factory. Gouvernance. Infrastructures, réseaux. Autorisations |
| 20-29 | CoreTeam | Usage | Intégration des utilisateurs et utilisation d’AI Factory. DataOps pour l'équipe d'ingestion de données de CoreTeam |
| 30-39 | ProjectTeam | Usage | Tableau de bord, outils et services disponibles, DataOps, MLOps, options d'accès à l'AIFactory privée |
| 40-49 | All | FAQ | Diverses questions fréquemment posées. Veuillez regarder ici avant de contacter un mentor ESML AIFactory. |
Il est également organisé via les quatre composantes de l'ESML AIFactory :
| Composant | Rôle | Série de documents |
|---|---|---|
| 1) Infra : AIFactory | Équipe de base | 10-19 |
| 2) Modèle de lac de données | Tous | 20-29,30-39 |
| 3) Modèles pour : DataOps, MLOps, *GenAIOps | Tous | 20-29, 30-39 |
| 4) Accélérateurs : SDK ESML (Python, PySpark), RAG Chatbot, etc. | Équipe de projet | 30-39 |
LIEN vers la documentation
CAF/AI Factory : https://docs.microsoft.com/en-us/azure/cloud-adoption-framework/ready/azure-best-practices/ai-machine-learning-mlops#mlops-at- usines d'IA à l'échelle organisationnelleMicrosoft Intelligent Data Platform : https://techcommunity.microsoft.com/t5/azure-data-blog/microsoft-and-databricks-deepen-partnership-for-modern-cloud/ba-p/3640280Modern data architecture with Azure Databricks and Azure Machine Learning : https://docs.microsoft.com/en-us/azure/architecture/solution-ideas/articles/azure-databricks-modern-analytics-architectureDatalake design : https://docs.microsoft.com/en-us/azure/storage/blobs/data-lake-storage-best-practicesDatamesh : https://martinfowler.com/articles/data-mesh-principles.htmlESML AI Factory .Enterprise "cockpit" sur TOUS vos projets et modèles.state se trouve un projet (états Dev, Test, Prod) avec cost dashboard par projet/environnement| Date | Catégorie | Quoi | Lien |
|---|---|---|---|
| 2024-03 | Automation | Ajouter un membre de l'équipe principale | 26-ajouter-esml-coreteam-member.ps1 |
| 2024-03 | Automation | Ajouter un membre du projet | 26-ajouter-esml-project-member.ps1 |
| 2024-03 | Tutoriel | Tutoriel de l'équipe principale | 10-AIFactory-infra-abonnement-resourceproviders.md |
| 2024-03 | Tutoriel | Tutoriel utilisateur final | 01-jumphost-vm-bastion-access.md |
| 2024-03 | Tutoriel | Tutoriel utilisateur final | 03-use_cases-where_to_start.md |
| 2024-02 | Tutoriel | Instance de calcul d'installation par l'utilisateur final | R01-install-azureml-sdk-v1+v2.m |
| 2024-02 | Datalake - Intégration | Auto-ACL sur le dossier PROJECT dans Lakel | - |
| 2023-03 | Réseautage | Pas d'adresse IP publique : Cloud privé virtuel – règles de mise en réseau mises à jour | https://learn.microsoft.com/en-us/azure/machine-learning/v1/how-to-secure-workspace-vnet?view=azureml-api-1&preserve-view=true&tabs=required%2Cpe%2Ccli |
| 2023-02 | Modèles de pipeline ESML | Azure Databricks : modèles de pipeline de formation et de lots. 100 % de même prise en charge que les modèles de pipeline AML (MLOps en boucle interne/externe) | - |
| 2022-08 | ESML infra (IaC) | Bicep prend désormais également en charge yaml | - |
| 2022-10 | MLOps ESML | Mode avancé ESML MLOps v3, prise en charge des étapes Spark (blocs-notes Databricks / DatabrickStep) | - |
ESML signifie : Enterprise Scale ML.
Cet accélérateur est né en 2019 en raison d'un besoin d'accélération des DataOps et MLOps.
L'accélérateur s'appelait alors ESML, nous appelons désormais cette accélération uniquement ESML, ou project type=ESML, dans l'Entperise Scale AIFActory
En innovant avec l'IA et l'apprentissage automatique, de nombreuses voix ont exprimé le besoin de disposer d'une Enterprise Scale AI & Machine Learning Platform avec DataOps et MLOps clés end-2-end . D'autres exigences étaient d'avoir une enterprise datalake design , capable de share refined data across the organization , ainsi qu'une high security : technologie générale disponible uniquement, prise en charge du réseau virtuel pour les pipelines et les données avec des points de terminaison privés. Une plateforme sécurisée, avec une approche usine pour construire des modèles.
Même si les meilleures pratiques existent, la mise en place d'une telle AI Factory solution Even if best practices exists, it can be time consuming and complex . Lors de la conception d'une solution analytique, une solution privée sans Internet public est souvent souhaitée, car il est courant de travailler avec des données de production dès le premier jour, par exemple déjà dans la phase de R&D. La cybersécurité à ce sujet est importante.
Challenge 1: Marier plusieurs, 4 meilleures pratiquesChallenge 2: Environnements de développement, de test et de production Azure/abonnements AzureChallenge 3: Clé en main : Datalake, DataOps, INNER & OUTER LOOP MLOps. De plus, la solution complète doit pouvoir être provisionnée à 100 % via infrastructure-as-code , pour être recréée et évolutive sur plusieurs abonnements Azure, et project-based pour évoluer. jusqu'à 250 projets, tous dotés de leur propre ensemble de services, tels que leur propre espace de travail Azure Machine Learning et leurs propres clusters de calcul. 
Pour répondre aux exigences et au défi, plusieurs bonnes pratiques devaient être mariées et mises en œuvre, telles que : CAF/WAF, MLOps, Datalake design, AI Factory, Microsoft Intelligent Data Platform / Modern Data Architecture.
Une initiative open source pourrait aider d'un seul coup, cet accélérateur open source Enterprise Scale ML (ESML) - to get an AI Factory on Azure
ESML fournit une AI Factory plus rapidement (dans un délai de 4 à 40 heures), avec 1 à 250 projets ESML, un projet ESML est un ensemble de services Azure collés ensemble en toute sécurité.
Challenge 1 solved: Mariez plusieurs, 4, meilleures pratiquesChallenge 2 solved: Environnements Azure de développement, de test et de production/abonnements AzureChallenge 3 solved: Clé en main : Datalake, DataOps, INNER & OUTER LOOP MLOps ESML marries multiple best practices en un seul solution accelerator , avec 100 % d'infrastructure en tant que codeVoici à quoi cela ressemblait lorsque ESML a automatisé à la fois l'infrastructure et la génération de pipelines d'apprentissage automatique Azure, avec 3 lignes de code.
Types de modèles de pipeline de FORMATION ET D'INFÉRENCE dans ESML AIFactory qui accélèrent pour l'utilisateur final.
Ce référentiel est un miroir push uniquement. Cinglez Joakim Åström pour des contributions/idées.
Depuis la conception « miroir uniquement », les requêtes Pull ne sont pas possibles, sauf pour les administrateurs ESML. Voir fichier LICENSE (open source, licence MIT) En parlant d'open source, les contributeurs :
Kim Berg et Ben Kooijman pour leur contribution ! (félicitations au calculateur IP ESML et aux ajouts Bicep pour le type de projet esml)Christofer Högvall pour sa contribution ! (félicitations au script Powershell, pour activer les fournisseurs de ressources, s'il ne se termine pas)azure-enterprise-scale-mlenvironment_setupaifactorybicepesml-util26-enable-resource-providers.ps1
