LLMOnAWS

Implementación de un modelo de lenguaje grande de código abierto más pequeño en AWS Lambda

Descripción general

Los modelos de lenguaje grande (LLM) son tecnología de vanguardia con la que estoy experimentando. Si bien los servicios administrados como OpenAI ofrecen un uso rentable de un LLM, hay escenarios en los que es necesario ejecutar un LLM localmente. Esto puede deberse al manejo de datos confidenciales o a la necesidad de resultados de alta calidad en idiomas distintos del inglés. Los LLM de código abierto igualan la calidad de los principales actores como OpenAI, pero a menudo exigen importantes recursos informáticos. La implementación de modelos más pequeños en plataformas como AWS Lambda puede ofrecer alternativas rentables.

Objetivo del proyecto

Mi objetivo con este proyecto es implementar un LLM de código abierto más pequeño, específicamente Microsoft Phi-2, un modelo de 2.700 millones de parámetros que rivaliza con los resultados de modelos de código abierto más grandes. Exploraré LLM y lambdas basadas en Docker, evaluaré el rendimiento y evaluaré los costos para aplicaciones del mundo real.

Pasos

1. Configuración del entorno (AWS, Docker y Python)

Asegúrese de que estén instaladas las herramientas necesarias, incluida una cuenta de AWS, AWS CLI, Docker y Python.

2. Configure la función Lambda localmente con Docker

• Cree un controlador de funciones Python Lambda básico en un archivo lambda_function.py .
• Defina dependencias en requirements.txt , comenzando con la biblioteca de AWS ( boto3 ).
• Cree un Dockerfile especificando la composición de la imagen de Docker.
• Configure docker-compose.yml para ejecutar y construir el contenedor.
• Compile e inicie el contenedor localmente usando docker-compose up .

3. Ejecute un LLM dentro del contenedor

• Agregue llama-cpp-python a requirements.txt .
• Introduzca una etapa de compilación de Docker para la instalación de llama-cpp y la descarga del modelo.
• Modifique mi código Lambda para ejecutar la inferencia LLM.

4. Pruebe localmente

Reconstruya el contenedor y pruébelo con un mensaje real usando curl .

5. Implementar en AWS Lambda

Ejecute la implementación utilizando el script proporcionado ( deploy.sh ). Esto implica crear o verificar el repositorio de ECR, la función de IAM, la autenticación Docker-ECR, la construcción de imágenes de Docker, la carga de imágenes de ECR, la adquisición de ARN de la función de IAM, la verificación, configuración e implementación de la función Lambda.

6. Pruebe de forma remota

Utilice la URL de la función Lambda obtenida durante la implementación para realizar pruebas con un mensaje.

Requisitos previos

Conocimiento práctico de programación, Docker, AWS y Python.

Notas

• Todos los archivos deben almacenarse en un único directorio de proyecto sin subcarpetas.

No dude en explorar, modificar y ejecutar los scripts proporcionados para implementar y probar LLM de código abierto en AWS Lambda.

Referencias

1. abrazando la cara
2. AWS
3. Horosin: implementación de un modelo de lenguaje (LLM) en AWS Lambda
4. Medio: Implementación del LLM Hugging Face en Amazon SageMaker