aiops modules 다운로드 - aiops modules 소스 코드 다운로드

aiops modules

AI 소스 코드

v1.7.2

다운로드

AIOps 모듈

AIOps 모듈은 SeedFarmer CLI와 함께 작동하는 재사용 가능한 IAC(Infrastructure as Code) 모듈 모음입니다. 종자 농부에 관한 모든 내용은 DOCS를 참조하세요.

이 저장소의 모듈은 서로 분리되어 있으며 seedfarmer 가 제공하는 GitOps(매니페스트 파일) 원칙을 사용하여 함께 집계하고 원하는 사용 사례를 달성할 수 있습니다. 강화된 모듈을 제공하여 최종 사용자의 획일적인 무거운 작업을 제거하고 그 위에 비즈니스 구축에 집중할 수 있도록 합니다.

일반 정보

이 저장소의 모듈은 기계 학습 및 기초 모델 운영 도메인의 특정 프로젝트와 관련 없이 재사용할 수 있도록 일반적이어야 합니다.

이 저장소의 모든 모듈은 SeedFarmer 가이드에 정의된 모듈 구조를 준수합니다.

프로젝트 구조
모듈 개발
모듈 매니페스트 가이드
종자 농부 워크숍

전개

배포 가이드에서 배포 단계를 참조하세요.

프로젝트 매니페스트

이 저장소의 모듈을 사용하여 구축된 엔드투엔드 예제 사용 사례입니다.

유형	설명
Amazon SageMaker를 사용한 MLOps	Amazon SageMaker를 사용하여 MLOps용 환경을 설정합니다. 안전한 Amazon SageMaker Studio 도메인을 배포하고 서비스 카탈로그를 사용하여 모델 교육 및 배포를 포함한 SageMaker 프로젝트 템플릿을 프로비저닝합니다.
Amazon Elastic Kubernetes Service(EKS)의 Ray	AWS EKS에서 Ray를 실행합니다. 자동 확장이 활성화된 AWS EKS 클러스터, KubeRay Ray Operator 및 Ray 클러스터를 배포합니다.
Amazon EKS에서 Ray를 사용하여 6B LLM(GPT-J) 미세 조정	6B GPT-J LLM의 미세 조정을 실행합니다. 자동 확장이 활성화된 AWS EKS 클러스터, KubeRay Ray Operator 및 Ray 클러스터를 배포하고 미세 조정 작업을 실행합니다. Amazon EKS에서 Ray를 사용하여 간단하고 비용 효율적으로 6B LLM을 미세 조정하는 방법은 무엇입니까?
Amazon SageMaker를 사용한 Mlflow 추적 서버 및 모델 레지스트리	Amazon SageMaker를 사용하여 Mlflow 실험 추적, 모델 레지스트리 및 LLM 추적을 사용하는 예입니다. AWS Fargate 및 Amazon SageMaker Studio 도메인 환경에 자체 호스팅 Mlflow 추적 서버 및 모델 레지스트리를 배포합니다.
기계 학습 교육을 위한 Apache Airflow(MWAA)를 사용한 관리형 워크플로	MWAA(Managed Workflows for Apache Airflow)를 사용하여 ML 훈련 작업을 조정하는 예입니다. MWAA 및 ML 학습 DAG 예시를 배포합니다.
단계 함수를 사용한 MLOps	Amazon SageMaker 및 AWS Step Functions를 사용하여 기계 학습 수명 주기를 자동화합니다.
단계 함수를 사용한 기반암 미세 조정	Bedrock Fine-Tuning 작업과 AWS Step Functions를 사용하여 기초 모델을 지속적으로 미세 조정하세요.
AppSync 기술 자료 수집 및 질문과 답변 RAG	데이터 수집을 위한 Graphql 엔드포인트를 생성하고 RAG를 사용하여 질문 및 답변 모델에 대한 지식 기반으로 수집된 데이터를 사용합니다.

모듈

SageMaker 모듈

유형	설명
SageMaker Studio 모듈	안전한 SageMaker Studio 도메인 환경을 프로비저닝하고, IAM 역할에 연결된 데이터 과학자 및 수석 데이터 과학자를 위한 예제 사용자 프로필을 생성하고 수명 주기 구성을 추가합니다.
SageMaker 엔드포인트 모듈	지정된 모델 패키지 또는 모델 패키지 그룹의 최신 승인 모델에 대한 SageMaker 실시간 추론 엔드포인트를 생성합니다.
서비스 카탈로그 모듈을 통한 SageMaker 프로젝트 템플릿	조직을 위한 SageMaker 프로젝트 템플릿을 프로비저닝합니다. 템플릿은 SageMaker Studio Classic 또는 서비스 카탈로그를 사용하여 사용할 수 있습니다. 사용 가능한 템플릿: - XGBoost를 사용하여 Abalone 데이터 세트에 대한 모델 학습 - 일괄 추론 수행 - 다중 계정 모델 배포 - HuggingFace 모델 가져오기 템플릿 - LLM 미세 조정 및 평가
SageMaker 노트북 인스턴스 모듈	데이터 과학자를 위한 안전한 SageMaker 노트북 인스턴스를 생성하고 소스 코드를 작업 공간에 복제합니다.
SageMaker 사용자 정의 커널 모듈	Dockerfile에서 SageMaker Studio용 사용자 지정 커널을 빌드합니다.
SageMaker 모델 패키지 그룹 모듈	SageMaker 모델 패키지 그룹을 생성하여 SageMaker Machine Learning(ML) 모델을 등록 및 버전화하고 Amazon EventBridge 규칙을 설정하여 모델 패키지 그룹 상태 변경 이벤트를 Amazon EventBridge 버스로 보냅니다.
SageMaker 모델 패키지 승격 파이프라인 모듈	다중 계정 설정에서 SageMaker 모델 패키지를 승격하기 위해 파이프라인을 배포합니다. 파이프라인은 SageMaker 모델 패키지 그룹 상태 이벤트 변경(승인/거부)에 대한 반응으로 EventBridge 규칙을 통해 트리거될 수 있습니다. 파이프라인이 트리거되면 최근에 승인된 모델 패키지가 있는 경우 이를 승격합니다.
SageMaker 모델 모니터링 모듈	SageMaker 엔드포인트에 대해 실행되는 데이터 품질, 모델 품질, 모델 편향 및 모델 설명 가능성 모니터링 작업을 배포합니다.
SageMaker 모델 CICD 모듈	AWS CodePipelines를 사용하여 포괄적인 CICD 파이프라인을 생성하여 SageMaker에서 ML 모델을 구축하고 배포합니다.
SageMaker Ground Truth 라벨링 모듈	SageMaker Ground Truth에 내장된 다양한 작업 유형을 사용하여 업로드 버킷에 업로드된 이미지 및 텍스트 파일의 레이블 지정을 허용하는 상태 머신을 생성합니다.

Mlflow 모듈

유형	설명
Mlflow 이미지 모듈	Mlflow Tracing Server Docker 이미지를 생성하고 해당 이미지를 Elastic Container Registry에 푸시합니다.
AWS Fargate 모듈의 Mlflow	로드 밸런싱된 Elastic Container Service의 AWS Fargate에서 Mlflow 컨테이너를 실행합니다. 메타데이터 지속성을 위한 Elastic File System 및 관계형 데이터베이스 저장소와 아티팩트 저장소를 위한 S3를 지원합니다.
Mlflow AI 게이트웨이 이미지 모듈	Mlflow AI Gateway Docker 이미지를 생성하고 해당 이미지를 Elastic Container Registry에 푸시합니다.

FMOps/LLMOps 모듈

유형	설명
SageMaker JumpStart 기초 모델 엔드포인트 모듈	SageMaker JumpStart 기초 모델에 대한 엔드포인트를 생성합니다.
SageMaker 허깅 페이스 파운데이션 모델 엔드포인트 모듈	SageMaker Hugging Face Foundation Model에 대한 엔드포인트를 생성합니다.
Amazon Bedrock 미세 조정 모듈	Amazon Bedrock Finetuning을 자동으로 트리거하는 파이프라인을 생성합니다.
AppSync 기술 자료 수집 및 질문 및 응답 RAG 모듈	데이터 수집을 위한 Graphql 엔드포인트를 생성하고 RAG를 사용하여 질문 및 답변 모델에 대한 지식 기반으로 수집된 데이터를 사용합니다.

MWAA 모듈

유형	설명
MLOps 모듈용 DAG 예시	MLOP를 시연하는 MWAA에 샘플 DAG를 배포하고 IDF의 MWAA 모듈을 사용합니다.

Step Functions 모듈을 사용하는 MLOps

유형	설명
Step Functions를 사용하는 MLOps의 예	AWS Step Functions를 사용하여 MLOP를 구현하는 방법을 보여주는 AWS Step Functions에 AWS 상태 머신을 배포합니다.

EKS 모듈

유형	설명
레이 오퍼레이터 모듈	EKS에 Ray Operator를 프로비저닝합니다.
레이 클러스터 모듈	EKS에 Ray Cluster를 프로비저닝합니다. Ray Operator가 필요합니다.
레이 오케스트레이터 모듈	작은 셰익스피어 데이터세트에서 GPT-J 6B 매개변수 대규모 언어 모델을 미세 조정하고 추론을 수행하는 샘플 Ray 작업의 제출을 조율하기 위한 단계 함수를 생성합니다.
광선 이미지 모듈	사용자 정의 Ray 이미지를 빌드하고 ECR에 푸시하는 예입니다.

예제 모듈

유형	설명
이벤트 버스 모듈	교차 계정 이벤트를 위한 Amazon EventBridge 버스를 생성합니다.
페르소나 모듈	본 모듈은 AI/ML 프로젝트에 필요한 다양한 역할을 생성하는 예제입니다.