LLMOnAWS

Déploiement d'un grand modèle de langage Open Source plus petit sur AWS Lambda

Aperçu

Les grands modèles linguistiques (LLM) sont une technologie de pointe que j'expérimente. Bien que les services gérés comme OpenAI offrent une utilisation rentable du LLM, il existe des scénarios dans lesquels l'exécution d'un LLM localement devient nécessaire. Cela peut être dû à la gestion de données sensibles ou à la nécessité de produire des résultats de haute qualité dans des langues autres que l'anglais. Les LLM open source correspondent à la qualité d'acteurs majeurs comme OpenAI mais nécessitent souvent des ressources de calcul importantes. Le déploiement de modèles plus petits sur des plateformes comme AWS Lambda peut offrir des alternatives rentables.

Objectif du projet

Mon objectif avec ce projet est de déployer un LLM open source plus petit, en particulier Microsoft Phi-2, un modèle de 2,7 milliards de paramètres qui rivalise avec les résultats de modèles open source plus grands. J'explorerai les LLM et les lambdas basés sur Docker, évaluerai les performances et les coûts des applications du monde réel.

Mesures

1. Configuration de l'environnement (AWS, Docker et Python)

Assurez-vous que les outils nécessaires sont installés, notamment un compte AWS, AWS CLI, Docker et Python.

2. Configurer la fonction Lambda localement avec Docker

• Créez un gestionnaire de fonctions Python Lambda de base dans un fichier lambda_function.py .
• Définissez les dépendances dans requirements.txt , en commençant par la bibliothèque AWS ( boto3 ).
• Créez un Dockerfile spécifiant la composition de l'image Docker.
• Configurez docker-compose.yml pour exécuter et créer le conteneur.
• Créez et démarrez le conteneur localement à l'aide de docker-compose up .

3. Exécutez un LLM dans le conteneur

• Ajoutez llama-cpp-python à requirements.txt .
• Introduisez une étape de construction Docker pour l'installation de llama-cpp et le téléchargement du modèle.
• Modifiez mon code Lambda pour exécuter l'inférence LLM.

4. Testez localement

Reconstruisez le conteneur et testez avec une véritable invite en utilisant curl .

5. Déployer sur AWS Lambda

Exécutez le déploiement à l'aide du script fourni ( deploy.sh ). Cela implique la création ou la vérification du référentiel ECR, le rôle IAM, l'authentification Docker-ECR, la construction de l'image Docker, le téléchargement de l'image ECR, l'acquisition de l'ARN du rôle IAM, la vérification, la configuration et le déploiement de la fonction Lambda.

6. Testez à distance

Utilisez l'URL de la fonction Lambda obtenue lors du déploiement pour tester avec une invite.

Conditions préalables

Connaissance pratique de la programmation, de Docker, d'AWS et de Python.

Remarques

• Tous les fichiers doivent être stockés dans un seul répertoire de projet sans sous-dossiers.

N'hésitez pas à explorer, modifier et exécuter les scripts fournis pour déployer et tester LLM open source sur AWS Lambda.

Références

1. Visage câlin
2. AWS
3. Horosin - Déployer un modèle de langage (LLM) sur AWS Lambda
4. Medium - Déploiement du LLM Hugging Face dans Amazon SageMaker