aiops modules下载 - aiops modules源码下载

aiops modules

Ai源码

v1.7.2

下载

AIOps模块

AIOps 模块是可重用基础设施即代码 (IAC) 模块的集合，可与 SeedFarmer CLI 配合使用。请参阅有关种子农民的所有内容的文档。

该存储库中的模块相互解耦，可以使用seedfarmer提供的 GitOps（清单文件）原则聚合在一起，并实现所需的用例。它通过提供强化模块消除了最终用户无差异的繁重工作，并使他们能够专注于在这些模块之上构建业务。

一般信息

此存储库中的模块是/必须是通用的，以便重用，不隶属于机器学习和基础模型操作领域中的任何一个特定项目。

此存储库中的所有模块都遵循 SeedFarmer 指南中定义的模块结构

项目结构
模块开发
模块清单指南
种农研讨会

部署

请参阅部署指南中的部署步骤。

项目清单

使用此存储库中的模块构建的端到端示例用例。

类型	描述
使用 Amazon SageMaker 进行 MLOps	使用 Amazon SageMaker 设置 MLOps 环境。部署安全的 Amazon SageMaker Studio 域，并使用服务目录配置 SageMaker 项目模板，包括模型训练和部署。
Amazon Elastic Kubernetes Service (EKS) 上的 Ray	在 AWS EKS 上运行 Ray。部署 AWS EKS 集群、KubeRay Ray Operator 和启用自动扩展的 Ray 集群。
在 Amazon EKS 上使用 Ray 微调 6B LLM (GPT-J)	运行 6B GPT-J LLM 的微调。部署 AWS EKS 集群、KubeRay Ray Operator 和启用自动扩展的 Ray 集群，并运行微调作业。如何使用 Amazon EKS 上的 Ray 简单且经济高效地微调 6B LLM？
使用 Amazon SageMaker 的 Mlflow 跟踪服务器和模型注册表	使用 Mlflow 实验跟踪、模型注册和 LLM 跟踪与 Amazon SageMaker 的示例。在 AWS Fargate 和 Amazon SageMaker Studio 域环境上部署自托管 Mlflow 跟踪服务器和模型注册表。
使用 Apache Airflow (MWAA) 进行机器学习培训的托管工作流程	使用 Apache Airflow (MWAA) 托管工作流编排 ML 训练作业的示例。部署 MWAA 和示例 ML 训练 DAG。
具有阶跃函数的 MLOps	使用 Amazon SageMaker 和 AWS Step Functions 自动化机器学习生命周期。
使用阶跃函数进行基岩微调	使用 Bedrock Fine-Tuning 作业和 AWS Step Functions 持续微调基础模型。
AppSync 知识库摄取和问答 RAG	创建用于摄取数据的 Graphql 端点，并将摄取的数据用作使用 RAG 的问答模型的知识库。

模块

SageMaker 模块

类型	描述
SageMaker Studio 模块	配置安全的 SageMaker Studio 域环境，为链接到 IAM 角色的数据科学家和首席数据科学家创建示例用户配置文件，并添加生命周期配置
SageMaker 端点模块	为指定模型包或模型包组中最新批准的模型创建 SageMaker 实时推理端点
通过服务目录模块的 SageMaker 项目模板	为组织配置 SageMaker 项目模板。这些模板可使用 SageMaker Studio Classic 或 Service Catalog 来使用。可用模板： - 使用 XGBoost 在 Abalone 数据集上训练模型 - 执行批量推理 - 多账户模型部署 - HuggingFace模型导入模板 - LLM微调和评估
SageMaker 笔记本实例模块	为数据科学家创建安全的 SageMaker Notebook 实例，将源代码克隆到工作区
SageMaker 自定义内核模块	从 Dockerfile 为 SageMaker Studio 构建自定义内核
SageMaker 模型包组模块	创建 SageMaker 模型包组以注册 SageMaker 机器学习 (ML) 模型并对其进行版本控制，并设置 Amazon EventBridge 规则以将模型包组状态更改事件发送到 Amazon EventBridge 总线
SageMaker 模型包升级管道模块	部署管道以在多账户设置中推广 SageMaker 模型包。可以通过 EventBridge 规则触发管道，以响应 SageMaker 模型包组状态事件更改（已批准/已拒绝）。一旦管道被触发，如果找到的话，它将推广最新批准的模型包。
SageMaker 模型监控模块	部署针对 SageMaker 端点运行的数据质量、模型质量、模型偏差和模型可解释性监控作业。
SageMaker 模型 CICD 模块	使用 AWS CodePipelines 创建全面的 CICD 管道，以在 SageMaker 上构建和部署 ML 模型。
SageMaker Ground Truth 标签模块	创建状态机以允许使用 SageMaker Ground Truth 中的各种内置任务类型对上传到上传存储桶的图像和文本文件进行标记。

流动模块

类型	描述
Mlflow图像模块	创建 Mlflow Tracing Server Docker 映像并将该映像推送到 Elastic Container Registry
AWS Fargate 模块上的 Mlflow	在负载均衡的弹性容器服务中的 AWS Fargate 上运行 Mlflow 容器。支持用于元数据持久性的弹性文件系统和关系数据库存储，以及用于工件存储的 S3
Mlflow AI网关图像模块	创建 Mlflow AI Gateway Docker 镜像并将该镜像推送到 Elastic Container Registry

FMOps/LLMOps 模块

类型	描述
SageMaker JumpStart 基础模型端点模块	为 SageMaker JumpStart 基础模型创建端点。
SageMaker 拥抱脸部基础模型端点模块	为 SageMaker 拥抱脸部基础模型创建端点。
Amazon Bedrock 微调模块	创建自动触发 Amazon Bedrock Finetuning 的管道。
AppSync 知识库摄取和问答 RAG 模块	创建用于摄取数据的 Graphql 端点，并将摄取的数据用作使用 RAG 的问答模型的知识库。

MWAA模块

类型	描述
MLOps 模块的 DAG 示例	在 MWAA 中部署示例 DAG 来演示 MLOP，它使用 IDF 的 MWAA 模块

使用 Step Functions 模块的 MLOps

类型	描述
使用 Step Functions 的 MLOps 示例	在 AWS Step Functions 中部署 AWS 状态机，演示如何使用 AWS Step Functions 实施 MLOP

EKS模块

类型	描述
射线操作模块	在 EKS 上配置射线操作员。
射线集群模块	在 EKS 上配置 Ray 集群。需要射线操作员。
Ray Orchestrator 模块	创建一个 Step Function 来编排示例 Ray 作业的提交，该作业在微小的 Shakespeare 数据集上微调 GPT-J 6B 参数大型语言模型并执行推理。
射线图像模块	构建自定义 Ray 图像并推送到 ECR 的示例。