azure enterprise scale ml
1.0.0
Enterprise Scale AI Factory es una solución plug and play que automatiza el aprovisionamiento, la implementación y la gestión de proyectos de IA en Azure con una forma de trabajar mediante plantilla.
Marry multiple best practices & accelerators: reutiliza múltiples arquitecturas de zona de aterrizaje/aceleradores de Microsoft existentes y mejores prácticas, como CAF y WAF, y proporciona una experiencia de extremo a extremo que incluye entornos de desarrollo, prueba y producción.PRIVATE : puntos finales privados para todos los servicios, como Azure Machine Learning, clúster privado de AKS, registro de contenedores privado, almacenamiento, fábrica de datos de Azure, monitoreo, etc.Plug-and-play : cree dinámicamente recursos de infraestructura por equipo, incluidas redes dinámicas y RBAC dinámicamente.Template way of working & Project way of working: AI Factory se project based (control de costos, privacidad, escalabilidad por proyecto) y proporciona múltiples plantillas además de la plantilla de infraestructura: DataLake template, DataOps templates, MLOps templates , con tipos de proyectos seleccionables.Same MLOps : los científicos de datos meteorológicos eligen trabajar desde Azure Databricks o Azure Machine Learning; se utiliza la misma plantilla de MLOps.Common way of working, common toolbox, a flexible one : Una caja de herramientas con arquitectura LAMBDA con herramientas como: Azure Datafactory, Azure Databricks, Azure Machine Learning, Eventhubs, AKSEnterprise scale & security & battle tested : utilizado por clientes y socios con MLOps desde 2019 (ver ENLACES) para acelerar el desarrollo y la entrega de soluciones de IA, con herramientas comunes y combinando múltiples mejores prácticas. Redes privadas (puntos finales privados), de forma predeterminada. AI factory - setup in 60h (Company: Epiroc) - Tuberías de extremo a extremo para casos de uso: procedimientos
AI factory - BLOG técnico
Microsoft: AI Factory (CAF/MLOps) : Operaciones de aprendizaje automático: marco de adopción de la nube | Microsoft aprende
Microsoft: AI Factory (Well-architected framework) : carga de trabajo WAF AI: marco de buena arquitectura | Microsoft aprende
Los 2 tipos de proyectos viven dentro de las zonas de aterrizaje de AIFactory.
La documentación está organizada en torno a la serie ROLES a través de Doc.
| serie documental | Role | Enfocar | Detalles |
|---|---|---|---|
| 10-19 | CoreTeam | Governance | Configuración de AI Factory. Gobernancia. Infraestructura, redes. Permisos |
| 20-29 | CoreTeam | Usage | Incorporación de usuarios y uso de AI Factory. DataOps para el equipo de ingesta de datos de CoreTeam |
| 30-39 | ProjectTeam | Usage | Panel de control, herramientas y servicios disponibles, DataOps, MLOps, opciones de acceso a la AIFactory privada |
| 40-49 | All | FAQ | Varias preguntas frecuentes. Mire aquí antes de ponerse en contacto con un mentor de ESML AIfactory. |
También está organizado a través de los cuatro componentes de ESML AIFactory:
| Componente | Role | serie documental |
|---|---|---|
| 1) Infra: AIFactory | Equipo central | 10-19 |
| 2) plantilla de lago de datos | Todo | 20-29,30-39 |
| 3) Plantillas para: DataOps, MLOps, *GenAIOps | Todo | 20-29, 30-39 |
| 4) Aceleradores: ESML SDK (Python, PySpark), RAG Chatbot, etc. | Equipo de proyecto | 30-39 |
ENLACE a la documentación
CAF/AI Factory : https://docs.microsoft.com/en-us/azure/cloud-adoption-framework/ready/azure-best-practices/ai-machine-learning-mlops#mlops-at- fábricas-ai-a-escala-organizacionalMicrosoft Intelligent Data Platform : https://techcommunity.microsoft.com/t5/azure-data-blog/microsoft-and-databricks-deepen-partnership-for-modern-cloud/ba-p/3640280Modern data architecture with Azure Databricks and Azure Machine Learning : https://docs.microsoft.com/en-us/azure/architecture/solution-ideas/articles/azure-databricks-modern-analytics-architectureDatalake design : https://docs.microsoft.com/en-us/azure/storage/blobs/data-lake-storage-best-practicesDatamesh : https://martinfowler.com/articles/data-mesh-principles.htmlESML AI Factory .Enterprise "cockpit" sobre TODOS sus proyectos y modelos.state se encuentra un proyecto (estados de desarrollo, prueba y producción) con cost dashboard por proyecto/entorno| Fecha | Categoría | Qué | Enlace |
|---|---|---|---|
| 2024-03 | Automatización | Agregar miembro del equipo principal | 26-añadir-miembro-del-equipo-core-esml.ps1 |
| 2024-03 | Automatización | Agregar miembro del proyecto | 26-agregar-miembro-del-proyecto-esml.ps1 |
| 2024-03 | Tutorial | Tutorial del equipo central | 10-AIFactory-infra-suscripción-proveedores de recursos.md |
| 2024-03 | Tutorial | Tutorial para el usuario final | 01-jumphost-vm-bastion-access.md |
| 2024-03 | Tutorial | Tutorial para el usuario final | 03-use_cases-where_to_start.md |
| 2024-02 | Tutorial | Instalación del usuario final Instancia informática | R01-instalar-azureml-sdk-v1+v2.m |
| 2024-02 | Datalake: incorporación | Auto-ACL en la carpeta PROYECTO en Lakel | - |
| 2023-03 | Redes | Sin IP pública: nube privada virtual: reglas de red actualizadas | https://learn.microsoft.com/en-us/azure/machine-learning/v1/how-to-secure-workspace-vnet?view=azureml-api-1&preserve-view=true&tabs=required%2Cpe%2Ccli |
| 2023-02 | Plantillas de canalización ESML | Azure Databricks: plantillas de canalización de capacitación y por lotes. 100 % el mismo soporte que las plantillas de canalización AML (MLOps de bucle interno/externo) | - |
| 2022-08 | Infraestructura ESML (IaC) | Bicep ahora también es compatible con yaml | - |
| 2022-10 | ESML MLOps | Modo avanzado ESML MLOps v3, compatibilidad con pasos de Spark (cuadernos Databricks/DatabrickStep) | - |
ESML significa: Enterprise Scale ML.
Esta aceleradora nació en 2019 debido a la necesidad de acelerar DataOps y MLOps.
El acelerador entonces se llamaba ESML. Ahora solo llamamos a esta aceleración ESML, o tipo de proyecto = ESML, en Entperise Scale AIFActory.
Innovando con IA y aprendizaje automático, varias voces expresaron la necesidad de tener una Enterprise Scale AI & Machine Learning Platform con DataOps y MLOps llave en mano end-2-end . Otros requisitos eran tener un enterprise datalake design , capaz de share refined data across the organization , y high security y solidez: solo tecnología disponible en general, soporte vNet para canalizaciones y datos con puntos finales privados. Una plataforma segura, con un enfoque de fábrica para construir modelos.
Incluso si existen mejores prácticas, configurar una AI Factory solution Even if best practices exists, it can be time consuming and complex , y cuando se diseña una solución analítica, a menudo se desea una solución privada sin Internet público, ya que trabajar con datos de producción desde el primer día es común, por ejemplo, ya en la fase de I+D. La ciberseguridad en torno a esto es importante.
Challenge 1: casarse con varias, 4, mejores prácticasChallenge 2: desarrollo, pruebas y producción de entornos de Azure/suscripciones de AzureChallenge 3: Llave en mano: Datalake, DataOps, MLOps de bucle interior y exterior. Además, la solución completa debería poder aprovisionarse al 100 % a través de infrastructure-as-code , recrearse y escalarse en múltiples suscripciones de Azure, y project-based para escalar. hasta 250 proyectos, todos con su propio conjunto de servicios, como su propio espacio de trabajo de aprendizaje automático de Azure y clústeres de computación. 
Para cumplir con los requisitos y el desafío, era necesario combinar e implementar múltiples mejores prácticas, como: CAF/WAF, MLOps, Datalake design, AI Factory, Microsoft Intelligent Data Platform / Modern Data Architecture.
Una iniciativa de código abierto podría ayudar a todos a la vez, este acelerador de código abierto Enterprise Scale ML (ESML), to get an AI Factory on Azure
ESML proporciona una AI Factory más rápida (entre 4 y 40 horas), con entre 1 y 250 proyectos ESML. Un proyecto ESML es un conjunto de servicios de Azure unidos de forma segura.
Challenge 1 solved: casarse con múltiples, 4, mejores prácticasChallenge 2 solved: desarrollo, pruebas y producción de entornos Azure/suscripciones a AzureChallenge 3 solved: Llave en mano: Datalake, DataOps, BUCLE INTERIOR Y EXTERIOR MLOps ESML marries multiple best practices en un solution accelerator , con 100% infraestructura como códigoA continuación se muestra cómo se veía cuando ESML automatizó tanto la infraestructura como la generación de canales de aprendizaje automático de Azure, con 3 líneas de código.
Tipos de plantillas de canalización de ENTRENAMIENTO E INFERENCIA en ESML AIFactory que aceleran para el usuario final.
Este repositorio es un espejo de solo inserción. Haga ping a Joakim Åström para contribuciones/ideas.
Dado que el diseño es "solo espejo", las solicitudes de extracción no son posibles, excepto para los administradores de ESML. Ver archivo LICENCIA (código abierto, licencia MIT) Hablando de código abierto, contribuyentes:
Kim Berg y Ben Kooijman por su contribución! (felicitaciones a la calculadora de IP de ESML y a las adiciones de Bicep para el tipo de proyecto de esml)Christofer Högvall por su contribución! (felicitaciones al script de Powershell, para habilitar proveedores de recursos, si no sale)azure-enterprise-scale-mlenvironment_setupaifactorybicepesml-util26-enable-resource-providers.ps1
