LLMOnAWS
1.0.0
تعد نماذج اللغات الكبيرة (LLMs) من أحدث التقنيات التي أقوم بتجربتها. في حين أن الخدمات المُدارة مثل OpenAI توفر استخدام LLM فعال من حيث التكلفة، إلا أن هناك سيناريوهات حيث يصبح تشغيل LLM محليًا ضروريًا. قد يكون هذا بسبب التعامل مع البيانات الحساسة أو الحاجة إلى مخرجات عالية الجودة بلغات أخرى غير الإنجليزية. تتطابق شهادات LLM مفتوحة المصدر مع جودة اللاعبين الرئيسيين مثل OpenAI ولكنها غالبًا ما تتطلب موارد حوسبة كبيرة. يمكن أن يوفر نشر نماذج أصغر على منصات مثل AWS Lambda بدائل فعالة من حيث التكلفة.
هدفي من هذا المشروع هو نشر LLM أصغر حجمًا مفتوح المصدر، وتحديدًا Microsoft Phi-2، وهو نموذج معلمة يبلغ 2.7 مليار ينافس مخرجات النماذج الأكبر مفتوحة المصدر. سوف أستكشف LLMs و lambdas المستندة إلى عامل الإرساء، وأقوم بتقييم الأداء وتقييم تكاليف تطبيقات العالم الحقيقي.
تأكد من تثبيت الأدوات اللازمة، بما في ذلك حساب AWS وAWS CLI وDocker وPython.
lambda_function.py .requirements.txt ، بدءًا من مكتبة AWS ( boto3 ).Dockerfile يحدد تكوين صورة Docker.docker-compose.yml لتشغيل الحاوية وإنشائها.docker-compose up .llama-cpp-python إلى requirements.txt . أعد بناء الحاوية واختبرها بموجه حقيقي باستخدام curl .
قم بتنفيذ النشر باستخدام البرنامج النصي المتوفر ( deploy.sh ). يتضمن ذلك إنشاء أو التحقق من مستودع ECR، ودور IAM، ومصادقة Docker-ECR، وإنشاء صورة Docker، وتحميل صورة ECR، واكتساب ARN لدور IAM، والتحقق من وظيفة Lambda، والتكوين، والنشر.
استخدم عنوان URL لوظيفة Lambda الذي تم الحصول عليه أثناء النشر للاختبار باستخدام المطالبة.
معرفة عملية بالبرمجة وDocker وAWS وPython.
لا تتردد في استكشاف البرامج النصية المتوفرة وتعديلها وتشغيلها لنشر واختبار LLM مفتوح المصدر على AWS Lambda.
