AWSome FMOps

Ce référentiel contient des architectures de référence et des cas de test pour Foundation Model Operations (FMOps) sur Amazon EKS.

Foundation Model Operations (FMOps) englobe les processus de bout en bout impliqués dans la gestion des modèles de base, de la pré-formation initiale au déploiement et à la surveillance. Ce référentiel est conçu pour présenter l'utilisation de différents frameworks à chaque étape du cycle de vie du modèle de base et du pipeline de bout en bout. Plus précisément, les FMOps dans ce référentiel impliquent les quatre étapes suivantes : préformation continue, réglage fin, évaluation et déploiement. La section suivante, « Étapes des opérations du modèle de fondation », détaille chaque étape. Chaque sous-répertoire de ce référentiel (préformation, mise au point, évaluation, déploiement) comprend des cas de tests pour chaque étape.

Notre infrastructure est déployée à l'aide de Terraform. Veuillez vous référer au guide de déploiement pour le guide de configuration de l'infrastructure.

Étapes des opérations du modèle de fondation

Les opérations de modèle de base (FMOps) englobent les processus et les pratiques impliqués dans la pré-formation (continue), le réglage fin, l'évaluation et le déploiement des modèles de base.

FMOps

1. (Continu) La pré-formation est l'étape initiale au cours de laquelle le modèle de base est formé sur un ensemble de données large et diversifié pour acquérir des connaissances générales. Cette étape consiste à utiliser des données à grande échelle pour développer un modèle pouvant se généraliser à diverses tâches et domaines. Le processus de pré-formation est souvent continu, ce qui signifie que le modèle est périodiquement mis à jour avec de nouvelles données pour améliorer ses performances.

2. Le réglage fin implique d'adapter le modèle de base pré-entraîné à des tâches ou des domaines spécifiques. Cette étape facultative peut être divisée en deux sous-étapes :

Réglage des instructions : ce processus consiste à affiner la capacité du modèle à suivre des instructions ou des invites spécifiques, améliorant ainsi ses performances sur des tâches particulières en fournissant des données et des instructions supplémentaires spécifiques à des tâches.
Alignement : cette sous-étape garantit que les résultats du modèle s'alignent sur les comportements souhaités et les directives éthiques. Cela implique d'ajuster le modèle pour réduire les biais, améliorer la sécurité et garantir qu'il répond aux exigences spécifiques du domaine d'application.

3. L'évaluation est une étape critique qui survient après la pré-formation et la mise au point. Cela implique d’évaluer les performances du modèle à l’aide de références et de mesures standardisées. L'évaluation permet de suivre les progrès du modèle, d'identifier les domaines à améliorer et de garantir que le modèle répond aux critères de performance souhaités.

4. Le déploiement est la dernière étape, au cours de laquelle le modèle de base est intégré aux environnements de production. Cette étape comprend :

Servir : Rendre le modèle disponible pour une utilisation dans des applications du monde réel, en garantissant qu'il peut gérer la charge requise et fournir des réponses en temps opportun.
Surveillance : suivez en permanence les performances et le comportement du modèle en production pour détecter et résoudre tout problème, tel qu'une dégradation des performances ou des résultats inattendus. Le suivi implique également la mise à jour du modèle si nécessaire pour maintenir son efficacité et sa pertinence.

En suivant ces étapes, les organisations peuvent développer, affiner, évaluer et déployer efficacement des modèles de base, en garantissant qu'ils offrent des performances élevées et s'alignent sur les cas d'utilisation prévus et les normes éthiques.