load test llm with locust
1.0.0
تعد Locust، أداة اختبار التحميل مفتوحة المصدر، إطارًا شائعًا لاختبار التحميل HTTP والبروتوكولات الأخرى. يتيح لك أسلوب المطور السهل تحديد اختباراتك في كود Python العادي.
يمكن إجراء اختبارات الجراد من سطر الأوامر أو باستخدام واجهة المستخدم المستندة إلى الويب. يمكن عرض الإنتاجية وأوقات الاستجابة والأخطاء في الوقت الفعلي و/أو تصديرها لتحليلها لاحقًا.
https://docs.locust.io/en/stable/what-is-locust.html
في مستودع الأكواد هذا، نقدم مثالاً لكيفية إجراء اختبار التحميل على LLM API لتقييم متطلبات الإنتاج الخاصة بك. تم تطوير التعليمات البرمجية داخل SageMaker Notebook وتستخدم واجهة سطر الأوامر لإجراء اختبار التحميل على كل من SageMaker وBedrock LLM API.
بمجرد تكوين locustfile.py بشكل صحيح، يمكنك بدء اختبار التحميل عن طريق تنفيذ أمر في سطر الأوامر. يتيح لك ذلك اختبار النظام بمستويات مختلفة من الإنتاجية، وفقًا لمتطلباتك المحددة.
الجراد - مقطوعة الرأس - المستخدمون 30 - معدل التكاثر 30 - وقت التشغيل 120 - csv ./benchmark_metric/benchmark_u30
| يكتب | اسم | # طلبات | #فشل | متوسط | دقيقة | الأعلى | ميد | الطلب / ثانية | الفشل / ثانية |
|---|---|---|---|---|---|---|---|---|---|
| [يرسل] | اِسْتَدْعَى | 390 | 0 (0.00%) | 9232 | 2037 | 10282 | 9800 | 3.25 | 0.00 |
| مجمعة | 390 | 0 (0.00%) | 9232 | 2037 | 10282 | 9800 | 3.25 | 0.00 |
راجع أمثلةنا لاختبار التحميل لنموذج SageMaker باستخدام sagemaker_jumpstart_loadtest.ipynb ونموذج Bedrock باستخدام bedrock_loadtest.ipynb .
انظر المساهمة لمزيد من المعلومات.
هذه المكتبة مرخصة بموجب ترخيص MIT-0. انظر ملف الترخيص.
