aiops modules下載 - aiops modules源碼下載

aiops modules

Ai源碼

v1.7.2

下載

AIOps模組

AIOps 模組是可重複使用基礎架構即程式碼 (IAC) 模組的集合，可與 SeedFarmer CLI 搭配使用。請參閱有關種子農民的所有內容的文件。

此儲存庫中的模組相互解耦，可以使用seedfarmer提供的 GitOps（清單檔案）原則聚合在一起，並實現所需的用例。它透過提供強化模組消除了最終用戶無差異的繁重工作，並使他們能夠專注於在這些模組之上建立業務。

一般資訊

此儲存庫中的模組是/必須是通用的，以便重複使用，不隸屬於機器學習和基礎模型操作領域中的任何一個特定項目。

此儲存庫中的所有模組都遵循 SeedFarmer 指南中定義的模組結構

專案結構
模組開發
模組清單指南
種農研討會

部署

請參閱部署指南中的部署步驟。

項目清單

使用此儲存庫中的模組建置的端到端範例用例。

類型	描述
使用 Amazon SageMaker 進行 MLOps	使用 Amazon SageMaker 設定 MLOps 環境。部署安全的 Amazon SageMaker Studio 網域，並使用服務目錄配置 SageMaker 專案模板，包括模型訓練和部署。
Amazon Elastic Kubernetes Service (EKS) 上的 Ray	在 AWS EKS 上執行 Ray。部署 AWS EKS 叢集、KubeRay Ray Operator 和啟用自動擴充的 Ray 叢集。
在 Amazon EKS 上使用 Ray 微調 6B LLM (GPT-J)	運行 6B GPT-J LLM 的微調。部署 AWS EKS 叢集、KubeRay Ray Operator 和啟用自動擴展的 Ray 集群，並執行微調作業。如何使用 Amazon EKS 上的 Ray 簡單且經濟高效地微調 6B LLM？
使用 Amazon SageMaker 的 Mlflow 追蹤伺服器和模型註冊表	使用 Mlflow 實驗追蹤、模型註冊和 LLM 追蹤與 Amazon SageMaker 的範例。在 AWS Fargate 和 Amazon SageMaker Studio 網域環境上部署自託管 Mlflow 追蹤伺服器和模型登錄。
使用 Apache Airflow (MWAA) 進行機器學習培訓的託管工作流程	使用 Apache Airflow (MWAA) 託管工作流程編排 ML 訓練作業的範例。部署 MWAA 和範例 ML 訓練 DAG。
具有階躍函數的 MLOps	使用 Amazon SageMaker 和 AWS Step Functions 自動化機器學習生命週期。
使用階躍函數進行基岩微調	使用 Bedrock Fine-Tuning 作業和 AWS Step Functions 持續微調基礎模型。
AppSync 知識庫攝取與問答 RAG	建立用於攝取資料的 Graphql 端點，並將攝取的資料用作使用 RAG 的問答模型的知識庫。

模組

SageMaker 模組

類型	描述
SageMaker Studio 模組	配置安全的 SageMaker Studio 網域環境，為連結到 IAM 角色的資料科學家和首席資料科學家建立範例使用者設定文件，並新增生命週期配置
SageMaker 端點模組	為指定模型包或模型包組中最新批准的模型建立 SageMaker 即時推理端點
透過服務目錄模組的 SageMaker 專案模板	為組織配置 SageMaker 專案範本。這些範本可使用 SageMaker Studio Classic 或 Service Catalog 來使用。可用模板： - 使用 XGBoost 在 Abalone 資料集上訓練模型 - 執行批次推理 - 多帳戶模型部署 - HuggingFace模型導入模板 - LLM微調和評估
SageMaker 筆記本實例模組	為資料科學家建立安全的 SageMaker Notebook 實例，將原始碼複製到工作區
SageMaker 自訂核心模組	從 Dockerfile 為 SageMaker Studio 建立自訂內核
SageMaker 模型包組模組	建立 SageMaker 模型包組以註冊 SageMaker 機器學習 (ML) 模型並對其進行版本控制，並設定 Amazon EventBridge 規則以將模型包組狀態變更事件傳送至 Amazon EventBridge 總線
SageMaker 模型包升級管道模組	部署管道以在多帳戶設定中推廣 SageMaker 模型套件。可以透過 EventBridge 規則觸發管道，以回應 SageMaker 模型包組狀態事件變更（已批准/已拒絕）。一旦管道被觸發，如果找到的話，它將推廣最新批准的模型包。
SageMaker 模型監控模組	部署針對 SageMaker 端點運行的資料品質、模型品質、模型偏差和模型可解釋性監控作業。
SageMaker 模型 CICD 模組	使用 AWS CodePipelines 建立全面的 CICD 管道，以在 SageMaker 上建置和部署 ML 模型。
SageMaker Ground Truth 標籤模組	建立狀態機以允許使用 SageMaker Ground Truth 中的各種內建任務類型對上傳到上傳儲存桶的圖像和文字檔案進行標記。

流動模組

類型	描述
Mlflow影像模組	建立 Mlflow Tracing Server Docker 映像並將映像推送到 Elastic Container Registry
AWS Fargate 模組上的 Mlflow	在負載平衡的彈性容器服務中的 AWS Fargate 上執行 Mlflow 容器。支援用於元資料持久性的彈性檔案系統和關係資料庫存儲，以及用於工件存儲的 S3
Mlflow AI網關影像模組	建立 Mlflow AI Gateway Docker 映像並將該映像推送到 Elastic Container Registry

FMOps/LLMOps 模組

類型	描述
SageMaker JumpStart 基礎模型端點模組	為 SageMaker JumpStart 基礎模型建立端點。
SageMaker 擁抱臉部基礎模型端點模組	為 SageMaker 擁抱臉部基礎模型創建端點。
Amazon Bedrock 微調模組	建立自動觸發 Amazon Bedrock Finetuning 的管道。
AppSync 知識庫攝取與問答 RAG 模組	建立用於攝取資料的 Graphql 端點，並將攝取的資料用作使用 RAG 的問答模型的知識庫。

MWAA模組

類型	描述
MLOps 模組的 DAG 範例	在 MWAA 中部署範例 DAG 來示範 MLOP，它使用 IDF 的 MWAA 模組

使用 Step Functions 模組的 MLOps

類型	描述
使用 Step Functions 的 MLOps 範例	在 AWS Step Functions 中部署 AWS 狀態機，示範如何使用 AWS Step Functions 實作 MLOP

EKS模組

類型	描述
射線操作模組	在 EKS 上設定射線操作員。
射線集群模組	在 EKS 上配置 Ray 叢集。需要射線操作員。
Ray Orchestrator 模組	建立一個 Step Function 來編排範例 Ray 作業的提交，該作業在微小的 Shakespeare 資料集上微調 GPT-J 6B 參數大型語言模型並執行推理。
射線影像模組	建立自訂 Ray 映像並推送到 ECR 的範例。

範例模組

類型	描述
事件總線模組	為跨帳戶事件建立 Amazon EventBridge 匯流排。
角色模組	此模組是創建 AI/ML 專案所需的各種角色的範例。