Algunas FMOps

Este repositorio contiene arquitecturas de referencia y casos de prueba para Foundation Model Operations (FMOps) en Amazon EKS.

Foundation Model Operations (FMOps) abarca los procesos de un extremo a otro involucrados en la gestión de modelos básicos, desde la capacitación previa inicial hasta la implementación y el monitoreo. Este repositorio está diseñado para mostrar el uso de diferentes marcos en cada etapa del ciclo de vida del modelo básico y del proceso de un extremo a otro. Específicamente, los FMOps en este repositorio implican las siguientes cuatro etapas: capacitación previa continua, ajuste, evaluación e implementación. La siguiente sección, "Etapas de las operaciones del modelo fundamental", detalla cada etapa. Cada subdirectorio de este repositorio (preentrenamiento, ajuste, evaluación, implementación) incluye casos de prueba para cada etapa.

Nuestra infraestructura se implementa utilizando Terraform. Consulte la guía de implementación para obtener la guía de configuración de la infraestructura.

Etapas de las operaciones del modelo de fundación

Las Operaciones de Modelos Básicos (FMOps) abarcan los procesos y prácticas involucradas en el entrenamiento previo (continuo), el ajuste, la evaluación y la implementación de modelos básicos.

FMOps

1. (Continuo) El entrenamiento previo es la etapa inicial en la que el modelo básico se entrena en un conjunto de datos amplio y diverso para aprender conocimientos generales. Esta etapa implica el uso de datos a gran escala para desarrollar un modelo que pueda generalizarse en diversas tareas y dominios. El proceso de preentrenamiento suele ser continuo, lo que significa que el modelo se actualiza periódicamente con nuevos datos para mejorar su rendimiento.

2. El ajuste implica adaptar el modelo básico previamente entrenado a tareas o dominios específicos. Esta etapa opcional se puede dividir en dos subetapas:

Ajuste de instrucciones : este proceso implica refinar la capacidad del modelo para seguir instrucciones o indicaciones específicas, mejorando su desempeño en tareas particulares al proporcionar datos e instrucciones adicionales específicos de la tarea.
Alineación : esta subetapa garantiza que los resultados del modelo se alineen con los comportamientos deseados y las pautas éticas. Implica ajustar el modelo para reducir los sesgos, mejorar la seguridad y garantizar que cumpla con los requisitos específicos del dominio de la aplicación.

3. La evaluación es una etapa crítica que ocurre después del entrenamiento previo y del ajuste. Implica evaluar el rendimiento del modelo utilizando métricas y puntos de referencia estandarizados. La evaluación ayuda a seguir el progreso del modelo, identificar áreas de mejora y garantizar que el modelo cumpla con los criterios de desempeño deseados.

4. La implementación es la etapa final, donde el modelo básico se integra en los entornos de producción. Esta etapa incluye:

Servicio : hacer que el modelo esté disponible para su uso en aplicaciones del mundo real, garantizando que pueda manejar la carga requerida y proporcionar respuestas oportunas.
Monitoreo : seguimiento continuo del rendimiento y el comportamiento del modelo en producción para detectar y abordar cualquier problema, como degradación del rendimiento o resultados inesperados. El seguimiento también implica actualizar el modelo según sea necesario para mantener su eficacia y relevancia.

Al seguir estas etapas, las organizaciones pueden desarrollar, ajustar, evaluar e implementar modelos básicos de manera efectiva, asegurando que brinden un alto rendimiento y se alineen con los casos de uso y estándares éticos previstos.