load test llm with locust

нагрузочное тестирование LLM с Locust

Locust, инструмент нагрузочного тестирования с открытым исходным кодом, является популярной платформой для нагрузочного тестирования HTTP и других протоколов. Его дружественный к разработчикам подход позволяет определять тесты в обычном коде Python.

Тесты Locust можно запускать из командной строки или с помощью веб-интерфейса. Пропускную способность, время отклика и ошибки можно просматривать в режиме реального времени и/или экспортировать для последующего анализа.

https://docs.locust.io/en/stable/what-is-locust.html

В этом репозитории кода мы приводим пример того, как выполнить нагрузочное тестирование API LLM для оценки ваших производственных требований. Код разработан в SageMaker Notebook и использует интерфейс командной строки для проведения нагрузочного тестирования API SageMaker и Bedrock LLM.

После правильной настройки locustfile.py вы можете запустить нагрузочный тест, выполнив команду в командной строке. Это позволяет вам тестировать систему с различными уровнями пропускной способности в зависимости от ваших конкретных требований.

саранча --headless --users 30 --spawn-rate 30 --run-time 120 --csv ./benchmark_metric/benchmark_u30

Тип	Имя	# требования	# не удалось	Среднее	Мин	Макс	Мед	требования/с	отказы/с
[Отправлять]	Быстрый	390	0 (0,00%)	9232	2037 год	10282	9800	3.25	0,00
Агрегированный		390	0 (0,00%)	9232	2037 год	10282	9800	3.25	0,00

См. наши примеры нагрузочного тестирования модели SageMaker с sagemaker_jumpstart_loadtest.ipynb и модели Bedrock с bedrock_loadtest.ipynb .

Безопасность

См. ВКЛАД для получения дополнительной информации.

Лицензия

Эта библиотека лицензируется по лицензии MIT-0. См. файл ЛИЦЕНЗИИ.