Download aiops modules - download de código-fonte aiops modules

aiops modules

Código-Fonte de IA

v1.7.2

Baixar

Módulos AIOps

Os módulos AIOps são uma coleção de módulos reutilizáveis de infraestrutura como código (IAC) que funcionam com o SeedFarmer CLI. Por favor, consulte o DOCS para todas as coisas relacionadas ao agricultor de sementes.

Os módulos neste repositório são desacoplados uns dos outros e podem ser agregados usando os princípios GitOps (arquivo de manifesto) fornecidos pelo seedfarmer e atingir os casos de uso desejados. Ele elimina o trabalho pesado indiferenciado para o usuário final, fornecendo módulos reforçados e permitindo que ele se concentre na construção de negócios sobre eles.

Informações gerais

Os módulos neste repositório são/devem ser genéricos para reutilização sem afiliação a qualquer projeto específico no domínio de Machine Learning e Foundation Model Operations.

Todos os módulos neste repositório aderem à estrutura do módulo definida no Guia SeedFarmer

Estrutura do Projeto
Desenvolvimento de Módulo
Guia de manifesto do módulo
Oficina do Produtor de Sementes

Implantação

Consulte as etapas de implantação no Guia de implantação.

Manifestos do Projeto

Exemplos de casos de uso completos criados usando módulos neste repositório.

Tipo	Descrição
MLOps com Amazon SageMaker	Configure o ambiente para MLOps com Amazon SageMaker. Implante domínio seguro do Amazon SageMaker Studio e provisione modelos de projeto do SageMaker usando o Service Catalog, incluindo treinamento e implantação de modelos.
Ray no Amazon Elastic Kubernetes Service (EKS)	Execute Ray no AWS EKS. Implanta um cluster AWS EKS, KubeRay Ray Operator e um Ray Cluster com escalonamento automático habilitado.
Ajuste 6B LLM (GPT-J) usando Ray no Amazon EKS	Execute o ajuste fino do 6B GPT-J LLM. Implanta um cluster AWS EKS, KubeRay Ray Operator e um Ray Cluster com escalonamento automático habilitado e executa um trabalho de ajuste fino. Como ajustar um LLM 6B de maneira simples e econômica usando Ray no Amazon EKS?
Servidor de rastreamento Mlflow e registro de modelo com Amazon SageMaker	Um exemplo de uso de rastreamento de experimentos Mlflow, registro de modelo e rastreamento LLM com Amazon SageMaker. Implante um servidor de rastreamento Mlflow auto-hospedado e registro de modelo no AWS Fargate e no ambiente Amazon SageMaker Studio Domain.
Fluxos de trabalho gerenciados com Apache Airflow (MWAA) para treinamento de aprendizado de máquina	Um exemplo de orquestração de trabalhos de treinamento de ML com fluxos de trabalho gerenciados para Apache Airflow (MWAA). Implanta MWAA e um exemplo de DAG de treinamento de ML.
MLOps com funções de etapa	Automatize o ciclo de vida do machine learning usando Amazon SageMaker e AWS Step Functions.
Ajuste fino do Bedrock com funções Step	Ajuste continuamente um modelo básico com trabalhos de ajuste fino da Bedrock e AWS Step Functions.
Ingestão da base de conhecimento do AppSync e RAG de perguntas e respostas	Cria um endpoint Graphql para ingestão de dados e uso ingerido como base de conhecimento para um modelo de perguntas e respostas usando RAG.

Módulos

Módulos SageMaker

Tipo	Descrição
Módulo SageMaker Studio	Fornece ambiente seguro de domínio do SageMaker Studio, cria perfis de usuário de exemplo para cientista de dados e cientista de dados líder vinculados a funções IAM e adiciona configuração de ciclo de vida
Módulo de endpoint SageMaker	Cria um endpoint de inferência em tempo real do SageMaker para o pacote de modelo especificado ou o modelo aprovado mais recente do grupo de pacotes de modelo
Modelos de projeto SageMaker por meio do módulo de catálogo de serviços	Fornece modelos de projeto SageMaker para uma organização. Os modelos estão disponíveis usando SageMaker Studio Classic ou Service Catalog. Modelos disponíveis: - Treine um modelo no conjunto de dados Abalone usando XGBoost - Realizar inferência em lote - Implantação de modelo multicontas - Modelo de importação de modelo HuggingFace - Ajuste fino e avaliação do LLM
Módulo de instância do notebook SageMaker	Cria uma instância segura do SageMaker Notebook para o cientista de dados e clona o código-fonte no espaço de trabalho
Módulo de kernel personalizado SageMaker	Constrói kernel personalizado para SageMaker Studio a partir de um Dockerfile
Módulo de grupo de pacotes de modelos SageMaker	Cria um grupo de pacotes de modelos do SageMaker para registrar e versionar modelos do SageMaker Machine Learning (ML) e configura uma regra do Amazon EventBridge para enviar eventos de mudança de estado do grupo de pacotes de modelos para um barramento Amazon EventBridge
Módulo de pipeline de promoção do pacote de modelo SageMaker	Implante um pipeline para promover pacotes de modelo SageMaker em uma configuração de várias contas. O pipeline pode ser acionado por meio de uma regra EventBridge em reação a uma mudança de evento de estado do SageMaker Model Package Group (Aprovado/Rejeitado). Assim que o pipeline for acionado, ele promoverá o pacote de modelo aprovado mais recente, se for encontrado.
Módulo de monitoramento de modelo SageMaker	Implante trabalhos de monitoramento de qualidade de dados, qualidade de modelo, viés de modelo e explicabilidade de modelo executados em um SageMaker Endpoint.
Módulo CICD modelo SageMaker	Cria um pipeline CICD abrangente usando AWS CodePipelines para construir e implantar um modelo de ML no SageMaker.
Módulo de rotulagem SageMaker Ground Truth	Cria uma máquina de estado para permitir a rotulagem de imagens e arquivos de texto, carregados no bucket de upload, usando vários tipos de tarefas integradas no SageMaker Ground Truth.

Módulos Mlflow

Tipo	Descrição
Módulo de imagem Mlflow	Cria a imagem Docker do Mlflow Tracing Server e envia a imagem para o Elastic Container Registry
Módulo Mlflow no AWS Fargate	Executa o contêiner Mlflow no AWS Fargate em um Elastic Container Service com balanceamento de carga. Suporta Elastic File System e Relational Database Store para persistência de metadados e S3 para armazenamento de artefatos
Módulo de imagem do gateway Mlflow AI	Cria a imagem Docker do Mlflow AI Gateway e envia a imagem para o Elastic Container Registry

Módulos FMOps/LLMOps

Tipo	Descrição
Módulo de endpoint do modelo SageMaker JumpStart Foundation	Cria um endpoint para um modelo SageMaker JumpStart Foundation.
Módulo de endpoint do modelo SageMaker Hugging Face Foundation	Cria um ponto final para um modelo de base SageMaker Hugging Face.
Módulo de ajuste fino Amazon Bedrock	Cria um pipeline que aciona automaticamente o Amazon Bedrock Finetuning.
Módulo RAG de ingestão da base de conhecimento do AppSync e perguntas e respostas	Cria um endpoint Graphql para ingestão de dados e uso ingerido como base de conhecimento para um modelo de perguntas e respostas usando RAG.

Módulos MWAA

Tipo	Descrição
Exemplo de DAG para módulo MLOps	Implanta um exemplo de DAG em MWAA demonstrando MLOPs e está usando o módulo MWAA do IDF

MLOps usando módulo Step Functions

Tipo	Descrição
Exemplo para MLOps usando Step Functions	Implanta uma máquina de estado da AWS no AWS Step Functions, demonstrando como implementar os MLOPs usando o AWS Step Functions

Módulos EKS

Tipo	Descrição
Módulo Operador de Raio	Provisiona um operador Ray no EKS.
Módulo de cluster de raios	Provisiona um Ray Cluster no EKS. Requer um Operador de Ray.
Módulo Orquestrador Ray	Cria uma função Step para orquestrar o envio de um trabalho Ray de amostra que ajusta os parâmetros do modelo de linguagem grande do GPT-J 6B em um pequeno conjunto de dados de Shakespeare e realiza inferência.
Módulo de imagem de raio	Um exemplo que cria uma imagem Ray personalizada e envia para ECR.

Módulos de exemplo

Tipo	Descrição
Módulo de barramento de eventos	Cria um Amazon EventBridge Bus para eventos entre contas.
Módulo Personas	Este módulo é um exemplo que cria várias funções necessárias para um projeto de AI/ML.

Módulos do Industry Data Framework (IDF)

Os módulos neste repositório são compatíveis com os módulos Industry Data Framework (IDF) e podem ser usados juntos na mesma implantação. Consulte examples/manifests para obter exemplos.