AWНекоторые FMOps

Этот репозиторий содержит эталонные архитектуры и тестовые примеры для операций базовой модели (FMOps) в Amazon EKS.

Операции с базовыми моделями (FMOps) охватывают сквозные процессы управления базовыми моделями: от первоначального предварительного обучения до развертывания и мониторинга. Этот репозиторий предназначен для демонстрации использования различных платформ на каждом этапе жизненного цикла базовой модели и сквозного конвейера. В частности, FMOps в этом репозитории включают следующие четыре этапа: непрерывное предварительное обучение, тонкая настройка, оценка и развертывание. В следующем разделе «Этапы работы модели фонда» подробно описывается каждый этап. Каждый подкаталог этого репозитория (предварительное обучение, тонкая настройка, оценка, развертывание) включает тестовые примеры для каждого этапа.

Наша инфраструктура развернута с использованием Terraform. Руководство по настройке инфраструктуры см. в руководстве по развертыванию.

Этапы работы модели фундамента

Операции с базовыми моделями (FMOps) охватывают процессы и практики, связанные с (непрерывной) предварительной подготовкой, точной настройкой, оценкой и развертыванием базовых моделей.

ФМОпс

1. (Непрерывное) Предварительное обучение — это начальный этап, на котором базовая модель обучается на широком и разнообразном наборе данных для изучения общих знаний. Этот этап предполагает использование крупномасштабных данных для разработки модели, которую можно обобщать для различных задач и областей. Процесс предварительного обучения часто является непрерывным, то есть модель периодически обновляется новыми данными для повышения ее производительности.

2. Точная настройка предполагает адаптацию предварительно обученной базовой модели к конкретным задачам или областям. Этот дополнительный этап можно разделить на два подэтапа:

Настройка инструкций . Этот процесс включает в себя совершенствование способности модели следовать определенным инструкциям или подсказкам, повышение ее производительности при выполнении определенных задач за счет предоставления дополнительных данных и инструкций для конкретных задач.
Согласование : этот подэтап гарантирует, что результаты модели соответствуют желаемому поведению и этическим принципам. Он включает в себя корректировку модели для уменьшения систематических ошибок, повышения безопасности и обеспечения ее соответствия конкретным требованиям предметной области.

3. Оценка — критический этап, который происходит как после предварительного обучения, так и после точной настройки. Он включает в себя оценку производительности модели с использованием стандартизированных тестов и показателей. Оценка помогает отслеживать прогресс модели, определять области для улучшения и гарантировать, что модель соответствует желаемым критериям производительности.

4. Развертывание — заключительный этап, на котором базовая модель интегрируется в производственную среду. Этот этап включает в себя:

Обслуживание : предоставление модели для использования в реальных приложениях, обеспечение ее способности справляться с необходимой нагрузкой и своевременного реагирования.
Мониторинг : постоянное отслеживание производительности и поведения модели в рабочей среде для обнаружения и устранения любых проблем, таких как снижение производительности или неожиданные результаты. Мониторинг также включает обновление модели по мере необходимости для поддержания ее эффективности и актуальности.

Следуя этим этапам, организации могут эффективно разрабатывать, настраивать, оценивать и развертывать базовые модели, гарантируя, что они обеспечивают высокую производительность и соответствуют предполагаемым вариантам использования и этическим стандартам.