qwen2 in a lambda

เควนในแลมบ์ดา

อัปเดตเมื่อ 11/09/2024

(การทำเครื่องหมายวันที่เนื่องจากความรวดเร็วของ LLM API ใน Python และอาจแนะนำการเปลี่ยนแปลงที่ไม่สมบูรณ์ตามเวลาที่คนอื่นอ่านข้อความนี้!)

บทนำ:

• นี่เป็นงานวิจัยเล็กๆ น้อยๆ เกี่ยวกับวิธีที่เราสามารถใส่ไฟล์โมเดล Qwen GGUF ลงใน AWS Lambda โดยใช้ Docker และ SAM CLI

• ดัดแปลงมาจาก https://makit.net/blog/llm-in-a-lambda-function/

  • ณ วันที่ 24 กันยายน แพ็คเกจระบบปฏิบัติการที่จำเป็นบางแพ็คเกจไม่รวมอยู่ในคำแนะนำด้านบนและต่อมาใน Dockerfile เนื่องจากอาจเป็น llama-cpp-python @ 0.2.90 ไม่รวมแพ็คเกจระบบปฏิบัติการที่จำเป็น (?)
  • ใครจะรู้ว่ามีอะไรใหม่และที่กำลังจะเกิดขึ้นในอนาคต :shrugs:

แรงจูงใจ:

• ฉันต้องการทราบว่าฉันสามารถลดการใช้จ่าย AWS ของฉันโดยใช้ประโยชน์จากความสามารถของ Lambda เท่านั้น ไม่ใช่ Lambda + Bedrock หรือไม่ เนื่องจากบริการทั้งสองจะมีค่าใช้จ่ายมากขึ้นในระยะยาว

• แนวคิดก็คือเพื่อให้เหมาะสมกับโมเดลภาษาขนาดเล็กซึ่งไม่ต้องใช้ทรัพยากรมาก และหวังว่าจะได้รับเวลาแฝงตั้งแต่วินาทีถึงวินาทีในการกำหนดค่าหน่วยความจำ 128 - 256 mb

• ฉันต้องการใช้โมเดล GGUF เพื่อใช้ระดับปริมาณที่แตกต่างกันเพื่อค้นหาว่าประสิทธิภาพ / ขนาดไฟล์ใดที่ดีที่สุดที่จะโหลดลงในหน่วยความจำ

  • การทดลองของฉันทำให้ฉันใช้ Qwen2 1.5b Q5_K_M เนื่องจากมี "ประสิทธิภาพ" และ "เวลาแฝง" ที่ดีที่สุดในเครื่องเพื่อรับการแจ้งเตือนและแยกโครงสร้าง JSON โดยใช้ llama-cpp

ข้อกำหนดเบื้องต้น:

• นักเทียบท่า
• AWS SAM CLI
• AWS CLI
• หลาม 3.11
• สิทธิ์ ECR
• สิทธิ์แลมบ์ดา
• ดาวน์โหลด qwen2-1_5b-instruct-q5_k_m.gguf ลงใน qwen_fuction/function/
  • หรือดาวน์โหลดโมเดล .gguf อื่นๆ ที่คุณต้องการและเปลี่ยนเส้นทางโมเดลของคุณใน app.y / LOCAL_PATH

คู่มือการตั้งค่า:

• ติดตั้งแพ็คเกจ pip ภายใต้ qwen_function/function/requirements.txt (โดยเฉพาะใน venv/conda env)
• เรียกใช้ sam build / sam validate
• เรียกใช้ sam local start-api เพื่อทดสอบในเครื่อง
• เรียกใช้ curl --header "Content-Type: application/json" --request POST --data '{"prompt":"hello"}' http://localhost:3000/generate เพื่อแจ้ง LLM
  • หรือใช้ไคลเอนต์ API ที่คุณต้องการ
• เรียกใช้ sam deploy --guided เพื่อปรับใช้กับ AWS
• สิ่งนี้จะปรับใช้สแต็กรูปแบบคลาวด์ที่ประกอบด้วยเกตเวย์ API และฟังก์ชัน Lambda

เมตริก

• โลคัลโฮสต์ - Macbook M3 Pro 32 GB

• AWS

  • การกำหนดค่าเริ่มต้น - 128mb, หมดเวลา 30 วินาที

    • แลมบ์ดาหมดเวลา! การสตาร์ทตอนเครื่องเย็นเป็นการหมดเวลาแลมบ์ดา

  • ปรับการกำหนดค่า #1 - 512mb, หมดเวลา 30 วินาที

    • แลมบ์ดาหมดเวลา! การสตาร์ทตอนเครื่องเย็นเป็นการหมดเวลาแลมบ์ดา

  • ปรับการกำหนดค่า #2 - 512mb, หมดเวลา 30 วินาที

    • แลมบ์ดาหมดเวลา! การสตาร์ทตอนเครื่องเย็นเป็นการหมดเวลาแลมบ์ดา

• ปรับการกำหนดค่า # 3 - 3008mb, หมดเวลา 30 วินาที - เริ่มเย็น

• ปรับการกำหนดค่า #3 - 3008mb, หมดเวลา 30 วินาที - วอร์มสตาร์ท

การสังเกต

• ย้อนกลับไปที่โครงสร้างราคาของ Lambda

  • ราคา
  • 1536 MB / 1.465 s / 0.024638 USD มากกว่า 1,000 การเรียกใช้ Lambda
    • Qwen2 1.5b ให้ฉันเพิ่มหน่วยความจำเป็น 3008mb เพื่อไม่ให้หมดเวลาและได้รับการตอบสนองเวลาแฝง 4 - 11 วินาที!
  • Claude 3 Haiku / $0.00025 / $0.00125 โทเค็นอินพุตมากกว่า 1,000 รายการ & โทเค็นเอาต์พุต 1,000 รายการ / เอเชีย - โตเกียว

• การใช้ LLM แบบโฮสต์โดยใช้ AWS Bedrock ฯลฯ บนคลาวด์อาจมีราคาถูกกว่า เนื่องจากโครงสร้างราคาสำหรับ Lambda ที่มี Qwen ดูไม่สามารถแข่งขันได้มากนักเมื่อเทียบกับ Claude 3 Haiku

• นอกจากนี้ การหมดเวลาเกตเวย์ API ไม่สามารถกำหนดค่าได้ง่ายเกินกว่าการหมดเวลา 30 วินาที ขึ้นอยู่กับกรณีการใช้งานของคุณ ซึ่งอาจไม่เหมาะมากนัก

• ผลลัพธ์ผ่าน Local ขึ้นอยู่กับสเปคเครื่องของคุณ!! และอาจบิดเบือนการรับรู้ ความคาดหวัง และความเป็นจริงของคุณไปอย่างมาก

• ขึ้นอยู่กับกรณีการใช้งานของคุณด้วย เวลาแฝงต่อการเรียกใช้แลมบ์ดาและการตอบกลับอาจทำให้ผู้ใช้ได้รับประสบการณ์ที่ไม่ดี

บทสรุป

โดยรวมแล้ว ฉันคิดว่านี่เป็นการทดลองเล็กๆ น้อยๆ ที่สนุกสนาน แม้ว่าจะไม่ครอบคลุมถึงงบประมาณและข้อกำหนดด้านเวลาแฝงผ่าน Qwen 1.5b สำหรับโปรเจ็กต์เสริมของฉันก็ตาม ขอบคุณ @makit อีกครั้งสำหรับคำแนะนำ!