LLMOnAWS

Menerapkan Model Bahasa Besar Sumber Terbuka yang Lebih Kecil di AWS Lambda

Ringkasan

Model Bahasa Besar (LLM) adalah teknologi mutakhir yang saya coba gunakan. Meskipun layanan terkelola seperti OpenAI menawarkan penggunaan LLM yang hemat biaya, ada beberapa skenario yang mengharuskan menjalankan LLM secara lokal. Hal ini mungkin terjadi karena penanganan data sensitif atau memerlukan keluaran berkualitas tinggi dalam bahasa selain bahasa Inggris. LLM sumber terbuka setara dengan kualitas pemain besar seperti OpenAI tetapi sering kali menuntut sumber daya komputasi yang besar. Menerapkan model yang lebih kecil pada platform seperti AWS Lambda dapat menawarkan alternatif yang hemat biaya.

Tujuan Proyek

Tujuan saya dalam proyek ini adalah menerapkan LLM sumber terbuka yang lebih kecil, khususnya Microsoft Phi-2, model parameter 2,7 miliar yang menyaingi keluaran dari model sumber terbuka yang lebih besar. Saya akan menjelajahi LLM, dan lambda berbasis buruh pelabuhan, mengevaluasi kinerja, dan menilai biaya untuk aplikasi dunia nyata.

Tangga

1. Pengaturan Lingkungan (AWS, Docker, dan Python)

Pastikan alat yang diperlukan telah diinstal, termasuk akun AWS, AWS CLI, Docker, dan Python.

2. Atur Fungsi Lambda Secara Lokal dengan Docker

• Buat pengendali fungsi dasar Python Lambda dalam file lambda_function.py .
• Tentukan dependensi di requirements.txt , dimulai dengan perpustakaan AWS ( boto3 ).
• Buat Dockerfile yang menentukan komposisi gambar Docker.
• Siapkan docker-compose.yml untuk menjalankan dan membuat container.
• Bangun dan mulai container secara lokal menggunakan docker-compose up .

3. Jalankan LLM di dalam Kontainer

• Tambahkan llama-cpp-python ke requirements.txt .
• Memperkenalkan tahap build Docker untuk instalasi llama-cpp dan pengunduhan model.
• Ubah kode Lambda saya untuk menjalankan inferensi LLM.

4. Uji Secara Lokal

Bangun kembali wadah dan uji dengan perintah nyata menggunakan curl .

5. Terapkan ke AWS Lambda

Jalankan penerapan menggunakan skrip yang disediakan ( deploy.sh ). Hal ini melibatkan pembuatan atau pemeriksaan repositori ECR, IAM role, autentikasi Docker-ECR, konstruksi image Docker, upload image ECR, akuisisi ARN IAM role, verifikasi fungsi Lambda, konfigurasi, dan penerapan.

6. Uji dari Jarak Jauh

Gunakan URL fungsi Lambda yang diperoleh selama penerapan untuk menguji dengan perintah.

Prasyarat

Pengetahuan tentang pemrograman, Docker, AWS, dan Python.

Catatan

• Semua file harus disimpan dalam satu direktori proyek tanpa subfolder.

Jangan ragu untuk menjelajahi, memodifikasi, dan menjalankan skrip yang disediakan untuk menerapkan dan menguji LLM sumber terbuka di AWS Lambda.

Referensi

1. Memeluk Wajah
2. AWS
3. Horosin - Menerapkan Model Bahasa (LLM) di AWS Lambda
4. Sedang - Menerapkan LLM Hugging Face di Amazon SageMaker