aiops modules

Модули AIOps

Модули AIOps — это набор повторно используемых модулей «Инфраструктура как код» (IAC), которые работают с интерфейсом командной строки SeedFarmer. Пожалуйста, ознакомьтесь с документами DOCS обо всем, что касается выращивания семян.

Модули в этом репозитории отделены друг от друга и могут быть объединены вместе с использованием принципов GitOps (файл манифеста), предоставляемых seedfarmer , и достижения желаемых вариантов использования. Он устраняет недифференцированную тяжелую работу для конечного пользователя, предоставляя защищенные модули, и позволяет им сосредоточиться на построении бизнеса на их основе.

Общая информация

Модули в этом репозитории являются/должны быть универсальными для повторного использования без привязки к какому-либо конкретному проекту в области машинного обучения и операций базовой модели.

Все модули в этом репозитории соответствуют структуре модулей, определенной в руководстве SeedFarmer.

• Структура проекта
• Разработка модулей
• Руководство по манифесту модуля
• Мастерская семеновода

Развертывание

См. этапы развертывания в Руководстве по развертыванию.

Манифесты проекта

Комплексные примеры вариантов использования, созданные с использованием модулей из этого репозитория.

Тип	Описание
MLOps с Amazon SageMaker	Настройте среду для MLOps с помощью Amazon SageMaker. Разверните безопасный домен Amazon SageMaker Studio и подготавливайте шаблоны проектов SageMaker с помощью каталога сервисов, включая обучение и развертывание модели.
Рэй в Amazon Elastic Kubernetes Service (EKS)	Запустите Ray на AWS EKS. Развертывает кластер AWS EKS, оператор KubeRay Ray и кластер Ray с включенным автомасштабированием.
Точная настройка 6B LLM (GPT-J) с помощью Ray на Amazon EKS	Выполнить тонкую настройку 6B GPT-J LLM. Развертывает кластер AWS EKS, KubeRay Ray Оператор и кластер Ray с включенным автомасштабированием и запускает задание по тонкой настройке. Как просто и экономично настроить LLM 6B с помощью Ray на Amazon EKS?
Сервер отслеживания Mlflow и реестр моделей с помощью Amazon SageMaker	Пример использования отслеживания экспериментов Mlflow, реестра моделей и отслеживания LLM с помощью Amazon SageMaker. Разверните автономный сервер отслеживания Mlflow и реестр моделей в AWS Fargate и доменной среде Amazon SageMaker Studio.
Управляемые рабочие процессы с помощью Apache Airflow (MWAA) для обучения машинному обучению	Пример организации заданий обучения машинному обучению с помощью управляемых рабочих процессов для Apache Airflow (MWAA). Развертывает MWAA и пример DAG для обучения машинному обучению.
MLOps со ступенчатыми функциями	Автоматизируйте жизненный цикл машинного обучения с помощью Amazon SageMaker и AWS Step Functions.
Точная настройка основы с помощью ступенчатых функций	Постоянно совершенствуйте базовую модель с помощью заданий базовой настройки и пошаговых функций AWS.
Прием базы знаний AppSync и RAG вопросов и ответов	Создает конечную точку Graphql для приема данных и использования полученного в качестве базы знаний для модели вопросов и ответов с использованием RAG.

Модули

Модули SageMaker

Тип	Описание
Модуль SageMaker Studio	Обеспечивает безопасную среду домена SageMaker Studio, создает примеры профилей пользователей для специалиста по данным и ведущего специалиста по данным, связанных с ролями IAM, и добавляет конфигурацию жизненного цикла.
Модуль конечной точки SageMaker	Создает конечную точку вывода SageMaker в реальном времени для указанного пакета модели или последней утвержденной модели из группы пакетов моделей.
Шаблоны проектов SageMaker через модуль каталога услуг	Предоставляет шаблоны проектов SageMaker для организации. Шаблоны доступны с помощью SageMaker Studio Classic или Service Catalog. Доступные шаблоны: - Обучите модель на наборе данных Abalone с помощью XGBoost. - Выполнение пакетного вывода - Развертывание модели с несколькими учетными записями. - Шаблон импорта модели HuggingFace - Тонкая настройка и оценка LLM
Модуль экземпляра SageMaker Notebook	Создает безопасный экземпляр SageMaker Notebook для специалиста по данным, клонирует исходный код в рабочую область.
Пользовательский модуль ядра SageMaker	Создает собственное ядро ​​для SageMaker Studio из файла Docker.
Модуль группы пакетов моделей SageMaker	Создает группу пакетов модели SageMaker для регистрации и версии моделей машинного обучения (ML) SageMaker и настраивает правило Amazon EventBridge для отправки событий изменения состояния группы пакетов модели на шину Amazon EventBridge.
Пакет моделей SageMaker Модуль продвижения конвейера	Разверните конвейер для продвижения пакетов моделей SageMaker в конфигурации с несколькими учетными записями. Конвейер может быть запущен с помощью правила EventBridge в ответ на изменение состояния группы пакетов модели SageMaker (Утверждено/Отклонено). После запуска конвейера он будет продвигать последний утвержденный пакет модели, если таковой будет найден.
Модуль мониторинга модели SageMaker	Развертывайте задания по мониторингу качества данных, качества модели, предвзятости модели и объяснимости модели, которые выполняются на конечной точке SageMaker.
Модуль CICD модели SageMaker	Создает комплексный конвейер CICD с помощью AWS CodePipelines для создания и развертывания модели машинного обучения в SageMaker.
Модуль маркировки SageMaker Ground Truth	Создает конечный автомат, позволяющий маркировать изображения и текстовые файлы, загруженные в корзину загрузки, с использованием различных встроенных типов задач в SageMaker Ground Truth.

Модули Mlflow

Тип	Описание
Модуль изображения Mlflow	Создает образ Docker сервера трассировки Mlflow и отправляет его в реестр эластичных контейнеров.
Mlflow в модуле AWS Fargate	Запускает контейнер Mlflow на AWS Fargate в Elastic Container Service с балансировкой нагрузки. Поддерживает эластичную файловую систему и хранилище реляционных баз данных для сохранения метаданных, а также S3 для хранилища артефактов.
Модуль изображения шлюза Mlflow AI	Создает образ Docker Mlflow AI Gateway и отправляет его в Elastic Container Registry.

Модули FMOps/LLMOps

Тип	Описание
Модуль конечной точки модели SageMaker JumpStart Foundation	Создает конечную точку для модели SageMaker JumpStart Foundation.
Модуль конечной точки модели SageMaker Hugging Face Foundation	Создает конечную точку для модели Hugging Face Foundation от SageMaker.
Модуль тонкой настройки Amazon Bedrock	Создает конвейер, который автоматически запускает Amazon Bedrock Finetuning.
Модуль RAG для приема вопросов и ответов в базе знаний AppSync	Создает конечную точку Graphql для приема данных и использования полученного в качестве базы знаний для модели вопросов и ответов с использованием RAG.

Модули MWAA

Тип	Описание
Пример DAG для модуля MLOps	Развертывает образец DAG в MWAA, демонстрируя MLOP, и использует модуль MWAA из IDF.

MLOps с использованием модуля Step Functions

Тип	Описание
Пример для MLOps с использованием пошаговых функций	Развертывает конечный автомат AWS в AWS Step Functions, демонстрируя, как реализовать MLOP с помощью AWS Step Functions.

Модули ЭКС

Тип	Описание
Модуль оператора Рэя	Предоставляет оператор луча на EKS.
Модуль кластера лучей	Предоставляет кластер лучей на EKS. Требуется лучевой оператор.
Модуль Ray Orchestrator	Создает пошаговую функцию для управления отправкой образца задания Ray, которое точно настраивает параметры GPT-J 6B «Большая языковая модель» на крошечном наборе данных Шекспира и выполняет логический вывод.
Модуль лучевого изображения	Пример, который создает собственный образ Ray и отправляет его в ECR.

Примеры модулей

Тип	Описание
Модуль шины событий	Создает шину Amazon EventBridge для событий между аккаунтами.
Модуль «Персонажи»	Этот модуль представляет собой пример создания различных ролей, необходимых для проекта AI/ML.

Модули отраслевой структуры данных (IDF)

Модули в этом репозитории совместимы с модулями Industry Data Framework (IDF) и могут использоваться вместе в рамках одного развертывания. Примеры см. в examples/manifests .

Модули системы данных автономного вождения (ADDF)

Модули в этом репозитории совместимы с модулями платформы данных автономного вождения (ADDF) и могут использоваться вместе в рамках одного развертывания.