LLMOnAWS

AWS Lambda에 더 작은 오픈 소스 대규모 언어 모델 배포

개요

LLM(대형 언어 모델)은 제가 실험하고 있는 최첨단 기술입니다. OpenAI와 같은 관리형 서비스는 비용 효율적인 LLM 사용을 제공하지만 LLM을 로컬에서 실행해야 하는 시나리오가 있습니다. 이는 민감한 데이터를 처리하거나 영어 이외의 언어로 고품질 출력이 필요하기 때문일 수 있습니다. 오픈 소스 LLM은 OpenAI와 같은 주요 업체의 품질과 일치하지만 종종 상당한 컴퓨팅 리소스를 요구합니다. AWS Lambda와 같은 플랫폼에 더 작은 모델을 배포하면 비용 효율적인 대안을 제공할 수 있습니다.

프로젝트 목표

이 프로젝트의 목표는 소규모 오픈 소스 LLM, 특히 대규모 오픈 소스 모델의 출력과 경쟁할 수 있는 27억 개의 매개 변수 모델인 Microsoft Phi-2를 배포하는 것입니다. LLM과 도커 기반 람다를 살펴보고 성능을 평가하며 실제 애플리케이션의 비용을 평가하겠습니다.

단계

1. 환경 설정(AWS, Docker, Python)

AWS 계정, AWS CLI, Docker 및 Python을 포함하여 필요한 도구가 설치되어 있는지 확인하십시오.

2. Docker를 사용하여 로컬에서 Lambda 함수 설정

• lambda_function.py 파일에 기본 Python Lambda 함수 핸들러를 생성합니다.
• AWS 라이브러리( boto3 )부터 시작하여 requirements.txt 에 종속성을 정의합니다.
• Docker 이미지 구성을 지정하는 Dockerfile 만듭니다.
• 컨테이너 실행 및 빌드를 위해 docker-compose.yml 설정합니다.
• docker-compose up 사용하여 로컬에서 컨테이너를 빌드하고 시작합니다.

3. 컨테이너 내부에서 LLM 실행

• requirements.txt 에 llama-cpp-python 추가합니다.
• llama-cpp 설치 및 모델 다운로드를 위한 Docker 빌드 단계를 도입합니다.
• LLM 추론을 실행하도록 Lambda 코드를 수정합니다.

4. 로컬에서 테스트

컨테이너를 다시 빌드하고 curl 사용하여 실제 프롬프트로 테스트합니다.

5. AWS Lambda에 배포

제공된 스크립트( deploy.sh )를 사용하여 배포를 실행합니다. 여기에는 ECR 저장소, IAM 역할, Docker-ECR 인증, Docker 이미지 구성, ECR 이미지 업로드, IAM 역할 ARN 획득, Lambda 기능 확인, 구성 및 배포 생성 또는 확인이 포함됩니다.

6. 원격으로 테스트하기

배포 중에 얻은 Lambda 함수 URL을 사용하여 프롬프트로 테스트합니다.

전제 조건

프로그래밍, Docker, AWS 및 Python에 대한 실무 지식.

메모

• 모든 파일은 하위 폴더 없이 단일 프로젝트 디렉터리에 저장되어야 합니다.

제공된 스크립트를 자유롭게 탐색, 수정 및 실행하여 AWS Lambda에서 오픈 소스 LLM을 배포하고 테스트해 보세요.

참고자료

1. 포옹하는 얼굴
2. AWS
3. Horosin - AWS Lambda에 언어 모델(LLM) 배포
4. 중간 - Amazon SageMaker에 Hugging Face LLM 배포