aiops modules
v1.7.2
AIOps-Module sind eine Sammlung wiederverwendbarer Infrastructure as Code (IAC)-Module, die mit der SeedFarmer-CLI funktionieren. Weitere Informationen zum Saatgutanbau finden Sie in den DOCS.
Die Module in diesem Repository sind voneinander entkoppelt und können mithilfe der von seedfarmer bereitgestellten GitOps-Prinzipien (Manifestdatei) zusammengefasst werden, um die gewünschten Anwendungsfälle zu erreichen. Durch die Bereitstellung gehärteter Module wird dem Endbenutzer die undifferenzierte Schwerarbeit abgenommen und er kann sich auf den darauf aufbauenden Geschäftsaufbau konzentrieren.
Die Module in diesem Repository sind/müssen generisch sein und können ohne Zugehörigkeit zu einem bestimmten Projekt in der Domäne „Maschinelles Lernen“ und „Foundation Model Operations“ wiederverwendet werden.
Alle Module in diesem Repository entsprechen der im SeedFarmer-Handbuch definierten Modulstruktur
Weitere Informationen zu den Bereitstellungsschritten finden Sie im Bereitstellungshandbuch.
End-to-End-Beispielanwendungsfälle, die mit Modulen in diesem Repository erstellt wurden.
| Typ | Beschreibung |
|---|---|
| MLOps mit Amazon SageMaker | Richten Sie eine Umgebung für MLOps mit Amazon SageMaker ein. Stellen Sie eine sichere Amazon SageMaker Studio-Domäne bereit und stellen Sie SageMaker-Projektvorlagen mithilfe von Service Catalog bereit, einschließlich Modellschulung und -bereitstellung. |
| Ray auf Amazon Elastic Kubernetes Service (EKS) | Führen Sie Ray auf AWS EKS aus. Stellt einen AWS EKS-Cluster, KubeRay Ray Operator und einen Ray-Cluster mit aktivierter automatischer Skalierung bereit. |
| Optimieren Sie 6B LLM (GPT-J) mit Ray auf Amazon EKS | Führen Sie die Feinabstimmung von 6B GPT-J LLM durch. Stellt einen AWS EKS-Cluster, KubeRay Ray Operator und einen Ray-Cluster mit aktivierter automatischer Skalierung bereit und führt einen Feinabstimmungsjob aus. Wie lässt sich ein 6B-LLM mithilfe von Ray auf Amazon EKS einfach und kostengünstig optimieren? |
| Mlflow-Tracking-Server und Modellregistrierung mit Amazon SageMaker | Ein Beispiel für die Verwendung von Mlflow-Experimentverfolgung, Modellregistrierung und LLM-Ablaufverfolgung mit Amazon SageMaker. Stellen Sie einen selbst gehosteten Mlflow-Tracking-Server und eine Modellregistrierung in der AWS Fargate- und Amazon SageMaker Studio-Domänenumgebung bereit. |
| Verwaltete Arbeitsabläufe mit Apache Airflow (MWAA) für Schulungen zum maschinellen Lernen | Ein Beispiel für die Orchestrierung von ML-Trainingsjobs mit Managed Workflows für Apache Airflow (MWAA). Stellt MWAA und eine Beispiel-ML-Trainings-DAG bereit. |
| MLOps mit Schrittfunktionen | Automatisieren Sie den Lebenszyklus des maschinellen Lernens mit Amazon SageMaker und AWS Step Functions. |
| Grundgesteins-Feinabstimmung mit Schrittfunktionen | Optimieren Sie kontinuierlich ein Foundation-Modell mit Bedrock Fine-Tuning-Jobs und AWS Step Functions. |
| AppSync-Wissensdatenbankaufnahme und Fragen- und Antwort-RAG | Erstellt einen Graphql-Endpunkt für die Aufnahme von Daten und deren Verwendung als Wissensdatenbank für ein Frage- und Antwortmodell mithilfe von RAG. |
| Typ | Beschreibung |
|---|---|
| SageMaker Studio-Modul | Stellt eine sichere SageMaker Studio-Domänenumgebung bereit, erstellt Beispielbenutzerprofile für Data Scientist und Lead Data Scientist, die mit IAM-Rollen verknüpft sind, und fügt eine Lebenszykluskonfiguration hinzu |
| SageMaker Endpoint-Modul | Erstellt einen SageMaker-Echtzeit-Inferenzendpunkt für das angegebene Modellpaket oder das neueste genehmigte Modell aus der Modellpaketgruppe |
| SageMaker-Projektvorlagen über das Servicekatalogmodul | Stellt SageMaker-Projektvorlagen für eine Organisation bereit. Die Vorlagen sind über SageMaker Studio Classic oder Service Catalog verfügbar. Verfügbare Vorlagen: - Trainieren Sie ein Modell auf dem Abalone-Datensatz mit XGBoost - Batch-Inferenz durchführen - Bereitstellung eines Multi-Account-Modells - HuggingFace-Modellimportvorlage - LLM-Feinabstimmung und -Bewertung |
| SageMaker Notebook-Instanzmodul | Erstellt eine sichere SageMaker Notebook-Instanz für den Data Scientist und klont den Quellcode in den Arbeitsbereich |
| Benutzerdefiniertes SageMaker-Kernel-Modul | Erstellt einen benutzerdefinierten Kernel für SageMaker Studio aus einer Docker-Datei |
| SageMaker-Modellpaketgruppenmodul | Erstellt eine SageMaker-Modellpaketgruppe, um SageMaker Machine Learning (ML)-Modelle zu registrieren und zu versionieren, und richtet eine Amazon EventBridge-Regel ein, um Statusänderungsereignisse der Modellpaketgruppe an einen Amazon EventBridge Bus zu senden |
| SageMaker-Modellpaket Pipeline-Modul fördern | Stellen Sie eine Pipeline bereit, um SageMaker-Modellpakete in einem Setup mit mehreren Konten zu bewerben. Die Pipeline kann über eine EventBridge-Regel als Reaktion auf eine Zustandsänderung einer SageMaker-Modellpaketgruppe (Genehmigt/Abgelehnt) ausgelöst werden. Sobald die Pipeline ausgelöst wird, wird das neueste genehmigte Modellpaket beworben, sofern eines gefunden wird. |
| SageMaker-Modellüberwachungsmodul | Stellen Sie Jobs zur Überwachung von Datenqualität, Modellqualität, Modellverzerrung und Modellerklärbarkeit bereit, die auf einem SageMaker-Endpunkt ausgeführt werden. |
| SageMaker-Modell-CICD-Modul | Erstellt eine umfassende CICD-Pipeline mit AWS CodePipelines, um ein ML-Modell auf SageMaker zu erstellen und bereitzustellen. |
| SageMaker Ground Truth-Kennzeichnungsmodul | Erstellt eine Zustandsmaschine, um die Kennzeichnung von Bildern und Textdateien zu ermöglichen, die in den Upload-Bucket hochgeladen werden, unter Verwendung verschiedener integrierter Aufgabentypen in SageMaker Ground Truth. |
| Typ | Beschreibung |
|---|---|
| Mlflow-Bildmodul | Erstellt ein Mlflow Tracing Server Docker-Image und überträgt das Image an Elastic Container Registry |
| Mlflow auf dem AWS Fargate-Modul | Führt den Mlflow-Container auf AWS Fargate in einem Lastausgleichs-Elastic-Container-Service aus. Unterstützt Elastic File System und Relational Database Store für Metadatenpersistenz sowie S3 für Artefaktspeicher |
| Mlflow AI Gateway-Bildmodul | Erstellt ein Mlflow AI Gateway Docker-Image und überträgt das Image an Elastic Container Registry |
| Typ | Beschreibung |
|---|---|
| SageMaker JumpStart Foundation Model Endpoint-Modul | Erstellt einen Endpunkt für ein SageMaker JumpStart Foundation-Modell. |
| SageMaker Hugging Face Foundation Model Endpoint-Modul | Erstellt einen Endpunkt für ein SageMaker Hugging Face Foundation-Modell. |
| Amazon Bedrock Finetuning-Modul | Erstellt eine Pipeline, die Amazon Bedrock Finetuning automatisch auslöst. |
| AppSync-Wissensdatenbankaufnahme und RAG-Modul für Fragen und Antworten | Erstellt einen Graphql-Endpunkt für die Aufnahme von Daten und deren Verwendung als Wissensdatenbank für ein Frage- und Antwortmodell mithilfe von RAG. |
| Typ | Beschreibung |
|---|---|
| Beispiel-DAG für MLOps-Modul | Stellt einen Beispiel-DAG in MWAA bereit, der MLOPs demonstriert, und verwendet das MWAA-Modul von IDF |
| Typ | Beschreibung |
|---|---|
| Beispiel für MLOps mit Schrittfunktionen | Stellt eine AWS State Machine in AWS Step Functions bereit und demonstriert, wie die MLOPs mithilfe von AWS Step Functions implementiert werden |
| Typ | Beschreibung |
|---|---|
| Ray-Operator-Modul | Stellt einen Ray-Operator auf EKS bereit. |
| Ray-Cluster-Modul | Stellt einen Ray-Cluster auf EKS bereit. Erfordert einen Ray-Operator. |
| Ray Orchestrator-Modul | Erstellt eine Schrittfunktion, um die Übermittlung eines Beispiel-Ray-Jobs zu organisieren, der die GPT-J 6B-Parameter eines großen Sprachmodells auf einem winzigen Shakespeare-Datensatz verfeinert und eine Inferenz durchführt. |
| Ray-Image-Modul | Ein Beispiel, das ein benutzerdefiniertes Ray-Image erstellt und an ECR überträgt. |
| Typ | Beschreibung |
|---|---|
| Event-Bus-Modul | Erstellt einen Amazon EventBridge Bus für kontoübergreifende Ereignisse. |
| Personas-Modul | Dieses Modul ist ein Beispiel, das verschiedene Rollen erstellt, die für ein AI/ML-Projekt erforderlich sind. |
Die Module in diesem Repository sind mit Industry Data Framework (IDF)-Modulen kompatibel und können innerhalb derselben Bereitstellung zusammen verwendet werden. Beispiele finden Sie unter examples/manifests .
Die Module in diesem Repository sind mit ADDF-Modulen (Autonomous Driving Data Framework) kompatibel und können innerhalb derselben Bereitstellung zusammen verwendet werden.
