LLMOnAWS

Implantando modelo de linguagem grande e de código aberto menor no AWS Lambda

Visão geral

Large Language Models (LLMs) são tecnologias de ponta que estou experimentando. Embora serviços gerenciados como OpenAI ofereçam uso econômico de LLM, há cenários em que a execução de um LLM localmente se torna necessária. Isso pode ser devido ao manuseio de dados confidenciais ou à necessidade de resultados de alta qualidade em outros idiomas além do inglês. Os LLMs de código aberto correspondem à qualidade de grandes players como OpenAI, mas geralmente exigem recursos computacionais significativos. A implantação de modelos menores em plataformas como AWS Lambda pode oferecer alternativas econômicas.

Meta do projeto

Meu objetivo com este projeto é implantar um LLM de código aberto menor, especificamente o Microsoft Phi-2, um modelo de 2,7 bilhões de parâmetros que rivaliza com os resultados de modelos maiores de código aberto. Explorarei LLMs e lambdas baseados em docker, avaliarei o desempenho e avaliarei os custos para aplicativos do mundo real.

Passos

1. Configuração do ambiente (AWS, Docker e Python)

Certifique-se de que as ferramentas necessárias estejam instaladas, incluindo uma conta AWS, AWS CLI, Docker e Python.

2. Configure a função Lambda localmente com Docker

• Crie um manipulador de função Python Lambda básico em um arquivo lambda_function.py .
• Defina dependências em requirements.txt , começando com a biblioteca AWS ( boto3 ).
• Crie um Dockerfile especificando a composição da imagem Docker.
• Configure docker-compose.yml para executar e construir o contêiner.
• Crie e inicie o contêiner localmente usando docker-compose up .

3. Execute um LLM dentro do contêiner

• Adicione llama-cpp-python a requirements.txt .
• Apresente um estágio de construção do Docker para instalação do llama-cpp e download do modelo.
• Modifique meu código Lambda para executar a inferência LLM.

4. Teste localmente

Recrie o contêiner e teste com um prompt real usando curl .

5. Implante no AWS Lambda

Execute a implantação usando o script fornecido ( deploy.sh ). Isso envolve a criação ou verificação do repositório ECR, função IAM, autenticação Docker-ECR, construção de imagem Docker, upload de imagem ECR, aquisição de ARN de função IAM, verificação, configuração e implantação de função Lambda.

6. Teste remotamente

Use o URL da função Lambda obtido durante a implantação para testar com um prompt.

Pré-requisitos

Conhecimento prático de programação, Docker, AWS e Python.

Notas

• Todos os arquivos devem ser armazenados em um único diretório de projeto sem subpastas.

Sinta-se à vontade para explorar, modificar e executar os scripts fornecidos para implantar e testar o LLM de código aberto no AWS Lambda.

Referências

1. Abraçando o rosto
2. AWS
3. Horosin - Implante um modelo de linguagem (LLM) no AWS Lambda
4. Médio – Implantação do Hugging Face LLM no Amazon SageMaker