aiops modules
v1.7.2
Les modules AIOps sont une collection de modules d'infrastructure en tant que code (IAC) réutilisables qui fonctionnent avec SeedFarmer CLI. Veuillez consulter le DOCS pour tout ce qui concerne les producteurs de semences.
Les modules de ce référentiel sont découplés les uns des autres et peuvent être regroupés à l'aide des principes GitOps (fichier manifeste) fournis par seedfarmer et réaliser les cas d'utilisation souhaités. Il supprime les tâches lourdes et indifférenciées pour un utilisateur final en fournissant des modules renforcés et lui permet de se concentrer sur la création d'activités par-dessus eux.
Les modules de ce référentiel sont/doivent être génériques pour être réutilisés sans affiliation à un projet particulier dans le domaine Machine Learning et Foundation Model Operations.
Tous les modules de ce référentiel adhèrent à la structure de module définie dans le Guide SeedFarmer
Consultez les étapes de déploiement dans le Guide de déploiement.
Exemples de cas d'utilisation de bout en bout créés à l'aide de modules de ce référentiel.
| Taper | Description |
|---|---|
| MLOps avec Amazon SageMaker | Configurez un environnement pour MLOps avec Amazon SageMaker. Déployez le domaine Amazon SageMaker Studio sécurisé et provisionnez les modèles de projet SageMaker à l'aide du catalogue de services, y compris la formation et le déploiement des modèles. |
| Ray sur Amazon Elastic Kubernetes Service (EKS) | Exécutez Ray sur AWS EKS. Déploie un cluster AWS EKS, un opérateur KubeRay Ray et un cluster Ray avec la mise à l'échelle automatique activée. |
| Affiner 6B LLM (GPT-J) à l'aide de Ray sur Amazon EKS | Exécutez le réglage fin du 6B GPT-J LLM. Déploie un cluster AWS EKS, KubeRay Ray Operator et un Ray Cluster avec la mise à l'échelle automatique activée, et exécute une tâche de réglage fin. Comment affiner un LLM 6B de manière simple et rentable à l'aide de Ray sur Amazon EKS ? |
| Serveur de suivi Mlflow et registre de modèles avec Amazon SageMaker | Un exemple utilisant le suivi des expériences Mlflow, le registre de modèles et le traçage LLM avec Amazon SageMaker. Déployez le serveur de suivi Mlflow auto-hébergé et le registre de modèles sur AWS Fargate et l'environnement de domaine Amazon SageMaker Studio. |
| Flux de travail gérés avec Apache Airflow (MWAA) pour la formation en machine learning | Un exemple d'orchestration de tâches de formation ML avec Managed Workflows pour Apache Airflow (MWAA). Déploie MWAA et un exemple de DAG de formation ML. |
| MLOps avec fonctions étape | Automatisez le cycle de vie du machine learning à l'aide d'Amazon SageMaker et d'AWS Step Functions. |
| Réglage précis du substrat rocheux avec fonctions échelonnées | Affinez en continu un modèle de base avec les tâches de réglage fin de Bedrock et AWS Step Functions. |
| Ingestion de la base de connaissances AppSync et questions et réponses RAG | Crée un point de terminaison Graphql pour l'ingestion des données et les utilise comme base de connaissances pour un modèle de questions et réponses à l'aide de RAG. |
| Taper | Description |
|---|---|
| Module SageMaker Studio | Fournit un environnement de domaine SageMaker Studio sécurisé, crée des exemples de profils utilisateur pour Data Scientist et Lead Data Scientist liés aux rôles IAM et ajoute une configuration de cycle de vie. |
| Module de point de terminaison SageMaker | Crée un point de terminaison d'inférence en temps réel SageMaker pour le package de modèles spécifié ou le dernier modèle approuvé du groupe de packages de modèles |
| Modèles de projet SageMaker via le module de catalogue de services | Fournit des modèles de projet SageMaker pour une organisation. Les modèles sont disponibles à l'aide de SageMaker Studio Classic ou de Service Catalog. Modèles disponibles : - Former un modèle sur l'ensemble de données Abalone à l'aide de XGBoost - Effectuer une inférence par lots - Déploiement du modèle multi-comptes - Modèle d'importation de modèle HuggingFace - Mise au point et évaluation du LLM |
| Module d'instance de bloc-notes SageMaker | Crée une instance sécurisée de bloc-notes SageMaker pour le Data Scientist, clone le code source dans l'espace de travail |
| Module de noyau personnalisé SageMaker | Construit un noyau personnalisé pour SageMaker Studio à partir d'un fichier Docker |
| Module de groupe de packages de modèles SageMaker | Crée un groupe de packages de modèles SageMaker pour enregistrer et mettre à jour les modèles SageMaker Machine Learning (ML) et configure une règle Amazon EventBridge pour envoyer des événements de changement d'état de groupe de packages de modèles à un bus Amazon EventBridge. |
| Module de promotion du package de modèle SageMaker | Déployez un pipeline pour promouvoir les packages modèles SageMaker dans une configuration multi-comptes. Le pipeline peut être déclenché via une règle EventBridge en réaction à un changement d'événement d'état du groupe de packages de modèles SageMaker (Approuvé/Rejeté). Une fois le pipeline déclenché, il fera la promotion du dernier package modèle approuvé, s'il en trouve un. |
| Module de surveillance du modèle SageMaker | Déployez des tâches de surveillance de la qualité des données, de la qualité des modèles, du biais du modèle et de l'explicabilité du modèle qui s'exécutent sur un point de terminaison SageMaker. |
| Module CICD modèle SageMaker | Crée un pipeline CICD complet à l'aide d'AWS CodePipelines pour créer et déployer un modèle ML sur SageMaker. |
| Module d'étiquetage SageMaker Ground Truth | Crée une machine d'état pour permettre l'étiquetage des images et des fichiers texte, téléchargés dans le compartiment de téléchargement, à l'aide de divers types de tâches intégrés dans SageMaker Ground Truth. |
| Taper | Description |
|---|---|
| Module d'images Mlflow | Crée une image Docker du serveur Mlflow Tracing et transfère l'image vers Elastic Container Registry |
| Mlflow sur le module AWS Fargate | Exécute le conteneur Mlflow sur AWS Fargate dans un Elastic Container Service à charge équilibrée. Prend en charge Elastic File System et Relational Database Store pour la persistance des métadonnées, ainsi que S3 pour le magasin d'artefacts. |
| Module d'image de passerelle Mlflow AI | Crée une image Docker Mlflow AI Gateway et transfère l'image vers Elastic Container Registry |
| Taper | Description |
|---|---|
| Module de point de terminaison du modèle SageMaker JumpStart Foundation | Crée un point de terminaison pour un modèle SageMaker JumpStart Foundation. |
| Module de point de terminaison du modèle SageMaker Hugging Face Foundation | Crée un point de terminaison pour un modèle de fondation SageMaker Hugging Face. |
| Module de réglage fin du substrat rocheux d'Amazon | Crée un pipeline qui déclenche automatiquement Amazon Bedrock Finetuning. |
| Module RAG d'ingestion et de questions et réponses de la base de connaissances AppSync | Crée un point de terminaison Graphql pour l'ingestion des données et les utilise comme base de connaissances pour un modèle de questions et réponses à l'aide de RAG. |
| Taper | Description |
|---|---|
| Exemple de DAG pour le module MLOps | Déploie un exemple de DAG dans MWAA démontrant les MLOP et utilise le module MWAA d'IDF |
| Taper | Description |
|---|---|
| Exemple de MLOps utilisant Step Functions | Déploie une machine d'état AWS dans AWS Step Functions démontrant comment implémenter les MLOP à l'aide d'AWS Step Functions |
| Taper | Description |
|---|---|
| Module Opérateur de Rayons | Provisionne un opérateur Ray sur EKS. |
| Module d'amas de rayons | Provisionne un cluster Ray sur EKS. Nécessite un opérateur de rayon. |
| Module d'orchestrateur de rayons | Crée une fonction Step pour organiser la soumission d'un exemple de tâche Ray qui affine les paramètres GPT-J 6B du grand modèle linguistique sur un petit ensemble de données Shakespeare et effectue une inférence. |
| Module d'image de rayon | Un exemple qui crée une image Ray personnalisée et la pousse vers ECR. |
| Taper | Description |
|---|---|
| Module de bus d'événements | Crée un bus Amazon EventBridge pour les événements entre comptes. |
| Module Personas | Ce module est un exemple qui crée divers rôles requis pour un projet AI/ML. |
Les modules de ce référentiel sont compatibles avec les modules Industry Data Framework (IDF) et peuvent être utilisés ensemble au sein du même déploiement. Reportez-vous aux examples/manifests pour obtenir des exemples.
Les modules de ce référentiel sont compatibles avec les modules Autonomous Driving Data Framework (ADDF) et peuvent être utilisés ensemble au sein du même déploiement.
