มากิต แอลเอ็ม แลมบ์ดา

LLM ภายในฟังก์ชัน AWS Lambda

แทนที่จะใช้บริการต่างๆ เช่น ChatGPT, Amazon Bedrock, Google Bard มีโมเดลภาษาขนาดใหญ่แบบโอเพ่นซอร์สหลายตัวที่สามารถใช้เพื่อเรียกใช้แชทบอทในเครื่องได้ GPT4ALL ก็เป็นหนึ่งในตัวเลือกดังกล่าว

สิ่งนี้ทำให้ฉันสงสัยว่าเป็นไปได้หรือไม่ที่จะเรียกใช้ LLM ภายในฟังก์ชัน AWS Lambda โดยปกติแล้วจะเป็นฟังก์ชันขนาดเล็ก ทำงานได้รวดเร็ว และอิงตามเหตุการณ์ ไม่ได้มีไว้เพื่อใช้สำหรับงานประมวลผลที่ซับซ้อน แต่ปรับขนาดเป็นศูนย์และคุณจะจ่ายเฉพาะส่วนที่คุณใช้เท่านั้น การมี LLM ภายในฟังก์ชัน Lambda ดูเหมือนเป็นการทดลองที่สนุก และเป็นวิธีหนึ่งที่จะมีโมเดลที่โฮสต์ไว้ซึ่งไม่ต้องใช้กระบวนการที่ใช้เวลานาน

ภาพรวม

พื้นที่เก็บข้อมูลนี้มีโค้ดสำหรับสร้างฟังก์ชัน AWS Lambda รันไทม์แบบกำหนดเองโดยใช้อิมเมจคอนเทนเนอร์ สามารถรันในเครื่องภายใน Docker เพื่อทดสอบได้เช่นกัน ฟังก์ชันนี้ประกอบด้วยโมเดล LLM แบบเต็มและโค้ดสำหรับใช้โมเดล ช่วยให้สามารถสร้างข้อความพื้นฐานจากการเรียก HTTP เข้าไปได้

สิ่งนี้ใช้:

• แลงเชน
• GPT4ALL
• อิมเมจคอนเทนเนอร์หลาม

กำลังปรับใช้

1. ดาวน์โหลดรุ่น GPT4ALL สำหรับสิ่งนี้ ฉันใช้ gpt4all-falcon-newbpe-q4_0.gguf เพราะเป็นรุ่นเล็ก (4GB...) ซึ่งมีการตอบรับที่ดี รุ่นอื่นๆ ควรใช้งานได้ แต่ต้องมีขนาดเล็กพอที่จะพอดีกับขีดจำกัดหน่วยความจำ Lambda

2. วางไฟล์ bin ไว้ในโฟลเดอร์ function ถัดจากไฟล์ lambda_function.py

3. สร้างอิมเมจด้วย docker: docker build --platform linux/amd64 -t makgpt:test1

4. เมื่อสร้างเสร็จแล้วคุณสามารถเรียกใช้ในเครื่องได้: docker run -p 9000:8080 makgpt:test1

5. เมื่อทำงานแล้ว คุณสามารถเรียกใช้การเรียกใช้กับหน้าต่างเทอร์มินัลอื่นได้ เช่น curl "http://localhost:9000/2015-03-31/functions/function/invocations" -d '{"body":"{"action":"Set fire to a tree"}"}'

6. พุชอิมเมจไปที่ ECR ภายในบัญชี AWS ของคุณ สำหรับสิ่งนี้ คุณสามารถปฏิบัติตามคำแนะนำของ AWS ในส่วน Deploying the image ในคู่มือนักพัฒนา ขั้นตอนง่ายๆ คือ:

   • aws ecr get-login-password --region us-east-1 | docker login --username AWS --password-stdin 111122223333.dkr.ecr.us-east-1.amazonaws.com
   • aws ecr create-repository --repository-name hello-world --image-scanning-configuration scanOnPush=true --image-tag-mutability MUTABLE
   • docker tag docker-image:test :latest
   • docker tag docker-image:test 111122223333.dkr.ecr.us-east-1.amazonaws.com/hello-world:latest
   • docker push 111122223333.dkr.ecr.us-east-1.amazonaws.com/hello-world:latest

7. สร้างฟังก์ชัน Lambda จากอิมเมจนี้ โดยตรวจสอบให้แน่ใจว่ามีหน่วยความจำเพียงพอ (แนะนำ 10GB) และหมดเวลาอย่างน้อย 5 นาที

8. เพื่อความง่าย ให้ระบุ Function URL ให้กับฟังก์ชัน Lambda จากนั้นคุณสามารถกดผ่าน HTTP ได้

9. จากนั้นคุณสามารถลองใช้ URL เช่น: curl "https://INSERTHERE.lambda-url.us-east-1.on.aws/" -d '{"body":"{"action":"Set fire to a tree"}"}'

ตัวอย่าง

ฟังก์ชันนี้มีไว้สำหรับเกมผจญภัยด้วยข้อความพื้นฐานพร้อมข้อความแจ้ง:

You are a Text-Based Fantasy RPG. The player is exploring the dark forest and you are the dungeon master. The player performs the action: {action} What happens next? You are talking to the player.

ออร์คโกรธ

เนื้อหาคำขอ:

 {
  "action": "Throw your sword at the angry orc"
}

การตอบสนอง:

 "nAs the player throws their sword at the angry orc, it strikes true and lands squarely in its chest. The orc roars in pain and anger, charging towards the player with a fierce look in its eyes.nnThe player quickly dodges out of the way, but not before noticing something strange about the orc's eyes. They seem to be glowing with an otherworldly light, as if they are possessed by some dark force.nnWith the orc now dangerously close, the player decides to take a risk and try to reason with it. "Stop! I mean you no harm," they say, holding out their hands in a gesture of peace.nnTo their surprise, the orc seems to understand them and hesitates for a moment before continuing its attack. The player quickly grabs their sword and prepares to defend themselves if necessary.nnAs the fight continues, it becomes clear that this orc is not like any other they have faced before. Its movements are unnaturally quick and its strength is unmatched. But with each blow of the sword, the player gains a little more confidence in their abilities.nnFinally, after what seems like an eternity, the orc falls to the ground, defeated."

เวลาที่ถ่าย: 1m 33s

คาถาพ่อมด

ขอเนื้อความ

 {
  "action": "A wizard casts a spell on the player and turns them into a pencil"
}

การตอบสนอง:

 "nAs the wizard finishes casting his spell, the player suddenly finds themselves transformed into a pencil. They look down at their new form in confusion before noticing that they are no longer holding the wand they were using to cast spells.nnThe player tries to move around, but find that they are unable to do so without making a noise. They try to speak, but find that they cannot make any sounds with their new pencil body.nnSuddenly, they hear a voice from behind them. "Well, well, well. Look who we have here." The player turns around to see the wizard who cast the spell on them.nnThe wizard chuckles at the player's transformation and begins to speak in a mocking tone. "I bet you didn't expect this when you decided to mess with magic, did you?"nnThe player tries to respond, but finds that they are unable to do so without making any noise. They feel helpless and frustrated as they try to come up with a plan to escape their new form.nnWhat will the player do next?"

เวลาที่ใช้: 1m 1s