LLMOnAWS

Bereitstellung eines kleineren Open-Source-Großsprachenmodells auf AWS Lambda

Überblick

Large Language Models (LLMs) sind Spitzentechnologien, mit denen ich experimentiere. Während verwaltete Dienste wie OpenAI eine kostengünstige LLM-Nutzung bieten, gibt es Szenarien, in denen die lokale Ausführung eines LLM erforderlich ist. Dies kann daran liegen, dass vertrauliche Daten verarbeitet werden oder qualitativ hochwertige Ausgaben in anderen Sprachen als Englisch erforderlich sind. Open-Source-LLMs erreichen die Qualität großer Anbieter wie OpenAI, erfordern jedoch oft erhebliche Rechenressourcen. Die Bereitstellung kleinerer Modelle auf Plattformen wie AWS Lambda kann kostengünstige Alternativen bieten.

Projektziel

Mein Ziel bei diesem Projekt ist es, ein kleineres Open-Source-LLM bereitzustellen, insbesondere Microsoft Phi-2, ein 2,7-Milliarden-Parameter-Modell, das mit den Ergebnissen größerer Open-Source-Modelle mithalten kann. Ich werde LLMs und Docker-basierte Lambdas untersuchen, die Leistung bewerten und die Kosten für reale Anwendungen abschätzen.

Schritte

1. Umgebungseinrichtung (AWS, Docker und Python)

Stellen Sie sicher, dass die erforderlichen Tools installiert sind, einschließlich eines AWS-Kontos, AWS CLI, Docker und Python.

2. Richten Sie die Lambda-Funktion lokal mit Docker ein

• Erstellen Sie einen einfachen Python-Lambda-Funktionshandler in einer Datei lambda_function.py .
• Definieren Sie Abhängigkeiten in requirements.txt , beginnend mit der AWS-Bibliothek ( boto3 ).
• Erstellen Sie eine Dockerfile die die Zusammensetzung des Docker-Images angibt.
• Richten Sie docker-compose.yml zum Ausführen und Erstellen des Containers ein.
• Erstellen und starten Sie den Container lokal mit docker-compose up .

3. Führen Sie ein LLM im Container aus

• Fügen Sie llama-cpp-python zu requirements.txt hinzu.
• Führen Sie eine Docker-Build-Phase für die Lama-CPP-Installation und den Modell-Download ein.
• Ändern Sie meinen Lambda-Code, um LLM-Inferenz auszuführen.

4. Lokal testen

Erstellen Sie den Container neu und testen Sie ihn mit einer echten Eingabeaufforderung mithilfe von curl .

5. Stellen Sie es auf AWS Lambda bereit

Führen Sie die Bereitstellung mit dem bereitgestellten Skript ( deploy.sh ) aus. Dies umfasst das Erstellen oder Überprüfen des ECR-Repositorys, der IAM-Rolle, der Docker-ECR-Authentifizierung, der Docker-Image-Erstellung, des ECR-Image-Uploads, der IAM-Rollen-ARN-Erfassung, der Lambda-Funktionsüberprüfung, der Konfiguration und der Bereitstellung.

6. Testen Sie aus der Ferne

Verwenden Sie die während der Bereitstellung erhaltene Lambda-Funktions-URL zum Testen mit einer Eingabeaufforderung.

Voraussetzungen

Kenntnisse in Programmierung, Docker, AWS und Python.

Notizen

• Alle Dateien sollten in einem einzigen Projektverzeichnis ohne Unterordner gespeichert werden.

Fühlen Sie sich frei, die bereitgestellten Skripte zu erkunden, zu ändern und auszuführen, um Open-Source-LLM auf AWS Lambda bereitzustellen und zu testen.

Referenzen

1. Umarmendes Gesicht
2. AWS
3. Horosin – Stellen Sie ein Sprachmodell (LLM) auf AWS Lambda bereit
4. Mittel – Bereitstellung des Hugging Face LLM in Amazon SageMaker