ماكيت LLM لامدا
1.0.0
بدلاً من استخدام خدمات مثل ChatGPT وAmazon Bedrock وGoogle Bard - هناك العديد من نماذج اللغات الكبيرة مفتوحة المصدر التي يمكن استخدامها لتشغيل روبوت الدردشة محليًا، ويعد GPT4ALL أحد هذه الخيارات.
قادني هذا إلى التساؤل عما إذا كان من الممكن تشغيل LLM داخل وظيفة AWS Lambda. عادةً ما تكون هذه الوظائف صغيرة وسريعة التشغيل وقائمة على الأحداث. ليس المقصود استخدامها في مهام المعالجة المعقدة، ولكنها تعمل على نطاق واسع إلى الصفر ولا تدفع إلا مقابل ما تستخدمه. يبدو الحصول على LLM داخل وظيفة Lambda بمثابة تجربة ممتعة، وطريقة للحصول على نموذج مستضاف لا يتطلب عملية طويلة الأمد.
يحتوي هذا المستودع على تعليمات برمجية لإنشاء وظيفة AWS Lambda مخصصة لوقت التشغيل باستخدام صورة حاوية. يمكن تشغيله محليًا داخل Docker للاختبار أيضًا. تحتوي الوظيفة على نموذج LLM الكامل والرمز لاستخدام النموذج، مما يسمح بإنشاء نص أساسي من استدعاء HTTP فيه.
يستخدم هذا:
قم بتنزيل نموذج GPT4ALL. ولهذا استخدمت gpt4all-falcon-newbpe-q4_0.gguf لأنه نموذج صغير (4 جيجابايت...) يتمتع باستجابات جيدة. من المفترض أن تعمل النماذج الأخرى، لكن يجب أن تكون صغيرة بما يكفي لتناسب حدود ذاكرة Lambda.
ضع ملف bin داخل مجلد function ، بجوار ملف lambda_function.py.
أنشئ الصورة باستخدام docker: docker build --platform linux/amd64 -t makgpt:test1 .
بمجرد إنشائه، يمكنك تشغيله محليًا: docker run -p 9000:8080 makgpt:test1
بمجرد التشغيل، يمكنك تشغيل الاستدعاءات ضده في نافذة طرفية أخرى، مثل curl "http://localhost:9000/2015-03-31/functions/function/invocations" -d '{"body":"{"action":"Set fire to a tree"}"}'
ادفع الصورة إلى ECR داخل حساب AWS الخاص بك. لهذا يمكنك اتباع دليل AWS ضمن Deploying the image في دليل المطور. الخطوات البسيطة هي:
aws ecr get-login-password --region us-east-1 | docker login --username AWS --password-stdin 111122223333.dkr.ecr.us-east-1.amazonaws.comaws ecr create-repository --repository-name hello-world --image-scanning-configuration scanOnPush=true --image-tag-mutability MUTABLEdocker tag docker-image:test :latest docker tag docker-image:test 111122223333.dkr.ecr.us-east-1.amazonaws.com/hello-world:latestdocker push 111122223333.dkr.ecr.us-east-1.amazonaws.com/hello-world:latestقم بإنشاء وظيفة Lambda من هذه الصورة، مع التأكد من توفير ذاكرة كافية لها (يوصى بـ 10 جيجابايت) ومهلة لا تقل عن 5 دقائق.
ولتبسيط الأمر، امنح وظيفة Lambda عنوان URL للوظيفة ويمكنك النقر عليها عبر HTTP بعد ذلك.
يمكنك بعد ذلك تجربتها باستخدام عنوان URL مثل: curl "https://INSERTHERE.lambda-url.us-east-1.on.aws/" -d '{"body":"{"action":"Set fire to a tree"}"}'
تم إعداد هذه الوظيفة باعتبارها لعبة مغامرة نصية أساسية مع المطالبة:
You are a Text-Based Fantasy RPG. The player is exploring the dark forest and you are the dungeon master. The player performs the action: {action} What happens next? You are talking to the player.
{
"action": "Throw your sword at the angry orc"
}
"nAs the player throws their sword at the angry orc, it strikes true and lands squarely in its chest. The orc roars in pain and anger, charging towards the player with a fierce look in its eyes.nnThe player quickly dodges out of the way, but not before noticing something strange about the orc's eyes. They seem to be glowing with an otherworldly light, as if they are possessed by some dark force.nnWith the orc now dangerously close, the player decides to take a risk and try to reason with it. "Stop! I mean you no harm," they say, holding out their hands in a gesture of peace.nnTo their surprise, the orc seems to understand them and hesitates for a moment before continuing its attack. The player quickly grabs their sword and prepares to defend themselves if necessary.nnAs the fight continues, it becomes clear that this orc is not like any other they have faced before. Its movements are unnaturally quick and its strength is unmatched. But with each blow of the sword, the player gains a little more confidence in their abilities.nnFinally, after what seems like an eternity, the orc falls to the ground, defeated."
الوقت المستغرق: 1m 33s
{
"action": "A wizard casts a spell on the player and turns them into a pencil"
}
"nAs the wizard finishes casting his spell, the player suddenly finds themselves transformed into a pencil. They look down at their new form in confusion before noticing that they are no longer holding the wand they were using to cast spells.nnThe player tries to move around, but find that they are unable to do so without making a noise. They try to speak, but find that they cannot make any sounds with their new pencil body.nnSuddenly, they hear a voice from behind them. "Well, well, well. Look who we have here." The player turns around to see the wizard who cast the spell on them.nnThe wizard chuckles at the player's transformation and begins to speak in a mocking tone. "I bet you didn't expect this when you decided to mess with magic, did you?"nnThe player tries to respond, but finds that they are unable to do so without making any noise. They feel helpless and frustrated as they try to come up with a plan to escape their new form.nnWhat will the player do next?"
الوقت المستغرق: 1m 1s
