azure enterprise scale ml

Proyek: Pabrik AI azure-enterprise-scale-ml (ESML).

Enterprise Scale AI Factory adalah solusi plug and play yang mengotomatiskan penyediaan, penerapan, dan pengelolaan proyek AI di Azure dengan cara kerja templat.

• Akselerator pasang dan mainkan untuk: DataOps, MLOps, GenAIOps, lingkungan skala perusahaan.

Tujuan utama:

1. Marry multiple best practices & accelerators: Ini menggunakan kembali beberapa akselerator/arsitektur landingzone Microsoft yang ada dan praktik terbaik seperti CAF & WAF, dan memberikan pengalaman end-2-end termasuk lingkungan Dev,Test, Prod.
   • Semua jaringan PRIVATE : Titik akhir privat untuk semua layanan seperti Azure Machine Learning, kluster AKS privat, registri Kontainer privat, Penyimpanan, pabrik data Azure, Pemantauan, dll.
     • Baik untuk membuat artefak, pelatihan, dan inferensi. Untuk menghindari eksfiltrasi data, dan memiliki isolasi jaringan yang tinggi
     • Dokumen: Mengamankan Azure Machine Learning & komputasinya: https://learn.microsoft.com/en-us/azure/machine-learning/how-to-secure-training-vnet?view=azureml-api-1&tabs=instance% 2Diperlukan
2. Plug-and-play : Buat sumber daya infra secara dinamis per tim, termasuk jaringan secara dinamis, dan RBAC secara dinamis
   • Contoh dinamis: Kalkulator subnet/IP, izin ACL pada datalake untuk tim proyek, layanan "direkatkan"
3. Template way of working & Project way of working: Pabrik AI project based (pengendalian biaya, privasi, skalabilitas per proyek) dan menyediakan banyak templat selain templat infrastruktur: DataLake template, DataOps templates, MLOps templates , dengan jenis proyek yang dapat dipilih.
   • Sub-tujuan: Same MLOps - ilmuwan data cuaca memilih untuk bekerja dari Azure Databricks atau Azure Machine Learning` - templat MLOps yang sama digunakan.
   • Sub-tujuan: Common way of working, common toolbox, a flexible one : Kotak alat dengan arsitektur LAMBDA dengan alat seperti: Azure Datafactory, Azure Databricks, Azure Machine Learning, Eventhubs, AKS
4. Enterprise scale & security & battle tested : Digunakan oleh pelanggan dan bermitra dengan MLOps sejak 2019 (lihat LINK) untuk mempercepat pengembangan dan penyampaian solusi AI, dengan peralatan umum & menggabungkan berbagai praktik terbaik. Jaringan pribadi (titik akhir privat), sebagai default.

Tautan publik untuk info lebih lanjut

• AI factory - setup in 60h (Company: Epiroc) - Pipeline End-2-End untuk kasus penggunaan: Petunjuk

  • https://customers.microsoft.com/en-us/story/1653030140221000726-epiroc-manufacturing-azure-machine-learning

• AI factory - BLOG Teknis

  • https://techcommunity.microsoft.com/t5/ai-machine-learning-blog/predict-steel-quality-with-azure-automl-in-manufacturing/ba-p/3616176

• Microsoft: AI Factory (CAF/MLOps) : Operasi pembelajaran mesin - Kerangka Adopsi Cloud | Microsoft Belajar

  • https://learn.microsoft.com/en-us/azure/cloud-adoption-framework/ready/azure-best-practices/ai-machine-learning-mlops#ai-factory-for-organization-machine-learning- operasi

• Microsoft: AI Factory (Well-architected framework) : Beban kerja AI WAF - Kerangka Kerja yang dirancang dengan baik | Microsoft Belajar

  • https://learn.microsoft.com/en-us/azure/well-architected/ai/personas

ESML AFactory: Konteks Zona Pendaratan Skala Perusahaan (opsi VWan)

Kedua jenis proyek tersebut, berada di dalam zona pendaratan AIFfactory.

• Ada 3 zona pendaratan AI AIFactory: Pengembangan, Panggung, Produksi, tempat sebuah proyek direpresentasikan.
• AIFactory memiliki skalabilitas default untuk mengotomatiskan pembuatan ~200-300 proyek AIFactory, di setiap lingkungan.
• Satu proyek biasanya ditugaskan ke tim yang terdiri dari 1-10 orang dengan beberapa use case, namun terkadang juga untuk menjalankan use case yang terisolasi.

Dokumentasi:

Dokumentasi disusun berdasarkan PERAN melalui seri Dokumen.

Seri dokumen	Peran	Fokus	Detail
10-19	CoreTeam	Governance	Penyiapan Pabrik AI. Tata Kelola. Infrastruktur, jaringan. Izin
20-29	CoreTeam	Usage	Orientasi pengguna & penggunaan Pabrik AI. DataOps untuk tim penyerapan data CoreTeam
30-39	ProjectTeam	Usage	Dasbor, Alat & Layanan yang Tersedia, DataOps, MLOps, Opsi akses ke AIFactory pribadi
40-49	All	FAQ	Berbagai pertanyaan yang sering diajukan. Silakan lihat di sini, sebelum menghubungi mentor ESML AIFactory.

Hal ini juga diatur melalui empat komponen ESML AIFactory:

Komponen	Peran	Seri dokumen
1) Infra: Pabrik AI	Tim Inti	10-19
2) Templat Danau Data	Semua	20-29,30-39
3) Templat untuk: DataOps, MLOps, *GenAIOps	Semua	20-29, 30-39
4) Akselerator: ESML SDK (Python, PySpark), RAG Chatbot, dll	Tim Proyek	30-39

LINK ke Dokumentasi

Praktik terbaik diterapkan & manfaatnya

• Berdasarkan praktik terbaik & terbukti untuk skala organisasi, di seluruh proyek.
  • Praktik terbaik: CAF/AI Factory : https://docs.microsoft.com/en-us/azure/cloud-adoption-framework/ready/azure-best-practices/ai-machine-learning-mlops#mlops-at- pabrik-skala-organisasi-ai-pabrik
  • Praktik terbaik: Microsoft Intelligent Data Platform : https://techcommunity.microsoft.com/t5/azure-data-blog/microsoft-and-databricks-deepen-partnership-for-modern-cloud/ba-p/3640280
    • Modern data architecture with Azure Databricks and Azure Machine Learning : https://docs.microsoft.com/en-us/azure/architecture/solution-ideas/articles/azure-databricks-modern-analytics-architecture
  • Praktik terbaik: Datalake design : https://docs.microsoft.com/en-us/azure/storage/blobs/data-lake-storage-best-practices
    • Datamesh : https://martinfowler.com/articles/data-mesh-principles.html
      • Penghargaan untuk: Zhamak Dehghani
• ESML memiliki penskalaan default dari 1-250 proyek ESML untuk ESML AI Factory -nya.
  • Meskipun demikian, batas penskalaannya ada pada paket IP, dan ESML memiliki kalkulator IP sendiri (rentang IP yang dialokasikan untuk 250 hanyalah default)
• Enterprise "cockpit" di SEMUA proyek & model Anda.
  • Lihat state proyek (status Dev, Test, Prod) dengan cost dashboard per proyek/lingkungan

TABEL BERITA

Tanggal	Kategori	Apa	Link
2024-03	Otomatisasi	Tambahkan anggota tim inti	26-tambahkan-esml-coreteam-member.ps1
2024-03	Otomatisasi	Tambahkan anggota proyek	26-tambahkan-esml-project-member.ps1
2024-03	tutorial	Tutorial tim inti	10-AIFactory-infra-subscription-resourceproviders.md
2024-03	tutorial	Tutorial pengguna akhir	01-jumphost-vm-bastion-access.md
2024-03	tutorial	Tutorial pengguna akhir	03-use_cases-where_to_start.md
2024-02	tutorial	Instans Komputasi instalasi pengguna akhir	R01-install-azureml-sdk-v1+v2.m
2024-02	Datalake - Orientasi	ACL otomatis pada folder PROJECT di lakel	-
2023-03	Jaringan	Tanpa IP Publik: Cloud pribadi virtual - aturan jaringan yang diperbarui	https://learn.microsoft.com/en-us/azure/machine-learning/v1/how-to-secure-workspace-vnet?view=azureml-api-1&preserve-view=true&tabs=required%2Cpe%2Ccli
2023-02	Templat Saluran Pipa ESML	Azure Databricks: Templat alur pelatihan dan Batch. Dukungan 100% sama dengan templat pipeline AML (MLOps loop dalam/luar)	-
2022-08	Infra ESML (IaC)	Bicep sekarang mendukung yaml juga	-
2022-10	ESML MLOps	Mode lanjutan ESML MLOps v3, dukungan untuk langkah-langkah Spark (databricks notebook / DatabrickStep)	-

LATAR BELAKANG - Bagaimana akselerator memulai tahun 2019

ESML adalah singkatan dari: Enterprise Scale ML.

Akselerator ini lahir pada tahun 2019 karena kebutuhan untuk mempercepat DataOps dan MLOps.

Akseleratornya kemudian disebut ESML, Sekarang kami hanya menyebutnya akselerasi ESML, atau tipe proyek = ESML, di AIFActory Skala Entperise

Tantangan 2019

Berinovasi dengan AI dan Pembelajaran Mesin, berbagai suara menyatakan perlunya memiliki Enterprise Scale AI & Machine Learning Platform dengan DataOps dan MLOps turnkey end-2-end . Persyaratan lainnya adalah memiliki enterprise datalake design , mampu share refined data across the organization , serta high security : Hanya teknologi umum yang tersedia, dukungan vNet untuk saluran pipa & data dengan titik akhir pribadi. Platform yang aman, dengan pendekatan pabrik untuk membuat model.

Sekalipun ada praktik terbaik, penyiapan AI Factory solution semacam itu Even if best practices exists, it can be time consuming and complex , dan ketika merancang solusi analitis, solusi pribadi tanpa internet publik sering kali diinginkan karena bekerja dengan data produksi sejak hari pertama adalah hal yang biasa, misalnya sudah di fase penelitian dan pengembangan. Keamanan siber dalam hal ini sangatlah penting.

• Challenge 1: Menikah dengan banyak orang, 4, praktik terbaik
• Challenge 2: Lingkungan Dev, Test, Prod Azure/langganan Azure
• Challenge 3: Turnkey: Datalake, DataOps, INNER & OUTER LOOP MLOps Selain itu, solusi lengkap harus dapat disediakan 100% melalui infrastructure-as-code , untuk dibuat ulang dan diskalakan di beberapa langganan Azure, dan penskalaan project-based hingga 250 proyek - semuanya dengan rangkaian layanannya sendiri seperti ruang kerja pembelajaran mesin Azure & kluster komputasinya sendiri.

Strategi 2019

Untuk memenuhi persyaratan & tantangan, beberapa praktik terbaik perlu diterapkan dan diterapkan, seperti: CAF/WAF, MLOps, Datalake design, AI Factory, Microsoft Intelligent Data Platform / Modern Data Architecture. Inisiatif sumber terbuka dapat membantu sekaligus, akselerator sumber terbuka Enterprise Scale ML (ESML) ini - to get an AI Factory on Azure

Solusi 2019 - TEMPLATE & Akselerator

ESML menyediakan AI Factory lebih cepat (dalam 4-40 jam), dengan 1-250 Proyek ESML, Proyek ESML adalah serangkaian layanan Azure yang direkatkan dengan aman.

• Challenge 1 solved: Menikah dengan banyak orang, 4, praktik terbaik
• Challenge 2 solved: Lingkungan Dev, Test, Prod Azure/langganan Azure
• Challenge 3 solved: Turnkey: Datalake, DataOps, INNER & OUTER LOOP MLOps ESML marries multiple best practices ke dalam satu solution accelerator , dengan 100% infrastruktur sebagai kode

IaC & MLOps TEMPLATES 2019: Templat untuk PIPELINES dalam jenis proyek ESML

Di bawah ini adalah tampilannya, ketika ESML mengotomatiskan infrastruktur dan menghasilkan alur pembelajaran mesin Azure, dengan 3 baris kode.

Templat alur PELATIHAN & INFERENCE di ESML AIFactory yang dipercepat untuk pengguna akhir.

• 0,1% persentase kode yang harus ditulis, untuk beralih dari proses R&D, ke Pipeline produksi:

Berkontribusi pada AIFactory ESML?

Repositori ini adalah cermin push-only. Ping Joakim Åström atas kontribusi/idenya.

Karena desain "hanya cermin", permintaan Pull tidak dapat dilakukan, kecuali untuk admin ESML. Lihat file LISENSI (sumber terbuka, lisensi MIT) Berbicara tentang sumber terbuka, kontributor:

• Penghargaan untuk Kim Berg dan Ben Kooijman atas kontribusinya! (pujian untuk kalkulator IP ESML dan penambahan Bicep untuk jenis proyek esml)
• Penghargaan kepada Christofer Högvall atas kontribusinya! (pujian untuk skrip Powershell, untuk mengaktifkan Penyedia sumber daya, jika tidak keluar)
  • azure-enterprise-scale-mlenvironment_setupaifactorybicepesml-util26-enable-resource-providers.ps1