load test llm with locust
1.0.0
Locust เป็นเครื่องมือทดสอบโหลดแบบโอเพ่นซอร์ส เป็นเฟรมเวิร์กยอดนิยมสำหรับการทดสอบโหลด HTTP และโปรโตคอลอื่นๆ แนวทางที่เป็นมิตรต่อนักพัฒนาช่วยให้คุณสามารถกำหนดการทดสอบของคุณในโค้ด Python ปกติ
การทดสอบตั๊กแตนสามารถเรียกใช้จากบรรทัดคำสั่งหรือใช้ UI บนเว็บ สามารถดูปริมาณงาน เวลาตอบสนอง และข้อผิดพลาดได้แบบเรียลไทม์ และ/หรือส่งออกเพื่อการวิเคราะห์ในภายหลัง
https://docs.locust.io/en/stable/what-is-locust.html
ในที่เก็บโค้ดนี้ เรามีตัวอย่างวิธีดำเนินการทดสอบโหลดบน LLM API เพื่อประเมินข้อกำหนดด้านการผลิตของคุณ โค้ดนี้ได้รับการพัฒนาภายใน SageMaker Notebook และใช้อินเทอร์เฟซบรรทัดคำสั่งเพื่อทำการทดสอบโหลดบน SageMaker และ Bedrock LLM API
เมื่อ locustfile.py ได้รับการกำหนดค่าอย่างถูกต้องแล้ว คุณสามารถเริ่มการทดสอบโหลดได้โดยดำเนินการคำสั่งในบรรทัดคำสั่ง สิ่งนี้ทำให้คุณสามารถทดสอบระบบด้วยระดับปริมาณงานที่แตกต่างกัน ขึ้นอยู่กับข้อกำหนดเฉพาะของคุณ
ตั๊กแตน --headless --users 30 --spawn-rate 30 --run-time 120 --csv ./benchmark_metric/benchmark_u30
| พิมพ์ | ชื่อ | # ความต้องการ | #ล้มเหลว | เฉลี่ย | นาที | สูงสุด | ยา | ความต้องการ/s | ความล้มเหลว/วินาที |
|---|---|---|---|---|---|---|---|---|---|
| [ส่ง] | พรอมต์ | 390 | 0 (0.00%) | 9232 | 2037 | 10282 | 9800 | 3.25 | 0.00 |
| รวมกัน | 390 | 0 (0.00%) | 9232 | 2037 | 10282 | 9800 | 3.25 | 0.00 |
ดูตัวอย่างการทดสอบโหลดโมเดล SageMaker ด้วย sagemaker_jumpstart_loadtest.ipynb และโมเดล Bedrock ด้วย bedrock_loadtest.ipynb
ดูการมีส่วนร่วมสำหรับข้อมูลเพิ่มเติม
ห้องสมุดนี้ได้รับอนุญาตภายใต้ใบอนุญาต MIT-0 ดูไฟล์ใบอนุญาต
