azure enterprise scale ml
1.0.0
Enterprise Scale AI Factoryテンプレートの動作方法を使用して Azure 上の AI プロジェクトのプロビジョニング、デプロイ、管理を自動化するプラグ アンド プレイ ソリューションです。
Marry multiple best practices & accelerators:複数の既存の Microsoft アクセラレータ/ランディング ゾーン アーキテクチャと、CAF や WAF などのベスト プラクティスを再利用し、開発、テスト、本番環境を含むエンドツーエンドのエクスペリエンスを提供します。PRIVATEネットワーク: Azure Machine Learning、プライベート AKS クラスター、プライベート コンテナー レジストリ、ストレージ、Azure データ ファクトリ、モニタリングなどのすべてのサービスのプライベート エンドポイントPlug-and-play : 動的ネットワークや動的 RBAC などのインフラリソースをチームごとに動的に作成します。Template way of working & Project way of working: AI Factory はproject based (コスト管理、プライバシー、プロジェクトごとのスケーラビリティ) で、インフラストラクチャ テンプレート以外に複数のテンプレート ( DataLake template, DataOps templates, MLOps templatesを提供し、選択可能なプロジェクト タイプを備えています。Same MLOps - 気象データ サイエンティストは、Azure Databricks または Azure Machine Learning から作業することを選択します - 同じ MLOps テンプレートが使用されます。Common way of working, common toolbox, a flexible one : Azure Datafactory、Azure Databricks、Azure Machine Learning、Eventhubs、AKS などのツールを備えた LAMBDA アーキテクチャのツールボックスEnterprise scale & security & battle tested : 2019 年以降、MLOps の顧客とパートナーによって使用され (リンクを参照)、共通のツールと複数のベスト プラクティスを組み合わせて AI ソリューションの開発と提供を加速します。デフォルトとしてのプライベート ネットワーク (プライベート エンドポイント)。 AI factory - setup in 60h (Company: Epiroc) - ユースケースのエンドツーエンド パイプライン: ハウツー
AI factory - テクニカルブログ
Microsoft: AI Factory (CAF/MLOps)ドキュメント: 機械学習の運用 - クラウド導入フレームワーク | Microsoft Learn
Microsoft: AI Factory (Well-architected framework)ドキュメント : WAF AI ワークロード - 適切に設計されたフレームワーク | Microsoft Learn
2 つのプロジェクト タイプは、AIFactory ランディングゾーン内に存在します。
ドキュメントは、Doc シリーズを介して ROLES を中心に構成されています。
| ドクターシリーズ | 役割 | 集中 | 詳細 |
|---|---|---|---|
| 10-19 | CoreTeam | Governance | AIファクトリーの立ち上げ。ガバナンス。インフラストラクチャ、ネットワーク。権限 |
| 20-29 | CoreTeam | Usage | ユーザーのオンボーディングと AI Factory の使用。 CoreTeam のデータ取り込みチームのための DataOps |
| 30-39 | ProjectTeam | Usage | ダッシュボード、利用可能なツールとサービス、DataOps、MLOps、プライベート AIFactory へのアクセス オプション |
| 40-49 | All | FAQ | さまざまなよくある質問。 ESML AIFactory メンターに連絡する前に、こちらをご覧ください。 |
また、ESML AIFactory の 4 つのコンポーネントによって構成されます。
| 成分 | 役割 | ドクターシリーズ |
|---|---|---|
| 1) インフラ:AIFactory | コアチーム | 10-19 |
| 2) データレイクテンプレート | 全て | 20-29、30-39 |
| 3) テンプレート: DataOps、MLOps、*GenAIOps | 全て | 20-29、30-39 |
| 4) アクセラレータ: ESML SDK (Python、PySpark)、RAG チャットボットなど | プロジェクトチーム | 30-39 |
ドキュメントへのリンク
CAF/AI Factory : https://docs.microsoft.com/en-us/azure/cloud-adoption-framework/ready/azure-best-practices/ai-machine-learning-mlops#mlops-at-組織規模の AI ファクトリーMicrosoft Intelligent Data Platform : https://techcommunity.microsoft.com/t5/azure-data-blog/microsoft-and-databricks-deepen-partnership-for-modern-cloud/ba-p/3640280Modern data architecture with Azure Databricks and Azure Machine Learning : https://docs.microsoft.com/en-us/azure/architecture/solution-ideas/articles/azure-databricks-modern-analytics-architectureDatalake design : https://docs.microsoft.com/en-us/azure/storage/blobs/data-lake-storage-best-practicesDatamesh : https://martinfowler.com/articles/data-mesh-principles.htmlESML AI Factoryのデフォルトのスケーリングが 1 ～ 250 ESMLprojects あります。Enterprise "cockpit" 。cost dashboardで、プロジェクトがどのようなstate (開発、テスト、本番の状態) にあるかを確認します。| 日付 | カテゴリ | 何 | リンク |
|---|---|---|---|
| 2024-03 | オートメーション | コアチームメンバーを追加 | 26-add-esml-coreteam-member.ps1 |
| 2024-03 | オートメーション | プロジェクトメンバーを追加 | 26-add-esml-プロジェクトメンバー.ps1 |
| 2024-03 | チュートリアル | コアチームのチュートリアル | 10-AIFactory-infra-subscription-resourceproviders.md |
| 2024-03 | チュートリアル | エンドユーザー向けチュートリアル | 01-jumphost-vm-bastion-access.md |
| 2024-03 | チュートリアル | エンドユーザー向けチュートリアル | 03-use_cases-where_to_start.md |
| 2024-02 | チュートリアル | エンドユーザーのインストール コンピューティング インスタンス | R01-install-azureml-sdk-v1+v2.m |
| 2024-02 | Datalake - オンボーディング | lakelのPROJECTフォルダーの自動ACL | - |
| 2023-03 | ネットワーキング | パブリック IP なし: 仮想プライベート クラウド - 更新されたネットワーク ルール | https://learn.microsoft.com/en-us/azure/machine-learning/v1/how-to-secure-workspace-vnet?view=azureml-api-1&preserve-view=true&tabs=required%2Cpe%2Ccli |
| 2023-02 | ESML パイプライン テンプレート | Azure Databricks: トレーニングおよびバッチ パイプライン テンプレート。 AML パイプライン テンプレートと 100% 同じサポート (内部/外部ループ MLOps) | - |
| 2022-08 | ESML インフラ (IaC) | Bicep も yaml をサポートするようになりました | - |
| 2022-10 | ESML MLOps | ESML MLOps v3 アドバンスト モード、Spark ステップのサポート (Databricks ノートブック / DatabrickStep) | - |
ESML は、Enterprise Scale ML の略です。
このアクセラレータは、DataOps と MLOps を高速化する必要性から 2019 年に誕生しました。
その後、アクセラレータは ESML と呼ばれるようになりました。現在、Entperise Scale AIFActory では、このアクセラレーションを ESML、またはプロジェクト type=ESML とのみ呼んでいます。
AI と機械学習によるイノベーションでは、 end-2-endターンキーDataOpsとMLOpsを備えたEnterprise Scale AI & Machine Learning Platformの必要性が複数の声で表明されています。その他の要件としては、 share refined data across the organizationできるenterprise datalake design 、およびhigh securityと堅牢性 (一般的に利用可能なテクノロジのみ、プライベート エンドポイントでのパイプラインとデータの vNet サポート) が必要でした。モデルを構築するための工場でのアプローチを備えた安全なプラットフォーム。
Even if best practices exists, it can be time consuming and complexこのようなAI Factory solutionセットアップには時間がかかり、複雑になる可能性があります。また、分析ソリューションを設計する場合、初日から運用データを扱うことが一般的であるため、公共のインターネットを使用しないプライベート ソリューションが望まれることがよくあります。研究開発段階。このあたりのサイバーセキュリティは重要です。
Challenge 1:複数人で結婚する、4 つのベスト プラクティスChallenge 2:開発、テスト、本番 Azure 環境/Azure サブスクリプションChallenge 3:ターンキー: Datalake、DataOps、INNER & OUTER LOOP MLOps また、完全なソリューションは、 infrastructure-as-code介して 100% プロビジョニングでき、複数の Azure サブスクリプションにわたって再作成および拡張でき、 project-basedで拡張できる必要があります。最大 250 のプロジェクト - すべて、独自の Azure 機械学習ワークスペースやコンピューティング クラスターなどの独自のサービス セットを備えています。 
要件と課題を満たすには、 CAF/WAF, MLOps, Datalake design, AI Factory, Microsoft Intelligent Data Platform / Modern Data Architecture.
オープンソース イニシアチブは、このオープンソース アクセラレータ Enterprise Scale ML(ESML) - to get an AI Factory on Azure一度に役立つ可能性があります。
ESML 、1 ～ 250 の ESMLProject を備えたAI Factoryより迅速に (4 ～ 40 時間以内に) 提供します。ESML プロジェクトは、安全に結合された Azure サービスのセットです。
Challenge 1 solved:複数人で結婚する、4、ベスト プラクティスChallenge 2 solved:開発、テスト、本番 Azure 環境/Azure サブスクリプションChallenge 3 solved:ターンキー: Datalake、DataOps、インナー ループとアウター ループ MLOps ESML marries multiple best practices 1 つのsolution acceleratorに統合し、100% コードとしてのインフラストラクチャを実現します。以下は、ESML が 3 行のコードでインフラストラクチャと Azure 機械学習パイプラインの生成の両方を自動化したときの様子を示しています。
ESML AIFactory の TRAINING & INFERENCE パイプライン テンプレート タイプは、エンドユーザー向けに高速化されます。
このリポジトリはプッシュ専用のミラーです。 Joakim Åström に投稿やアイデアを投稿してください。
「ミラー専用」設計のため、ESML 管理者を除いてプルリクエストはできません。 LICENSE ファイルを参照 (オープン ソース、MIT ライセンス) オープン ソースと言えば、貢献者は次のとおりです。
Kim BergとBen Kooijmanの功績を称えます。 (ESML IP 計算ツールと esml プロジェクト タイプの Bicep 追加に感謝します)Christofer Högvallの貢献に感謝します! (リソース プロバイダーが有効になっていない場合は、Powershell スクリプトに感謝します)azure-enterprise-scale-mlenvironment_setupaifactorybicepesml-util26-enable-resource-providers.ps1
