load test llm with locust
1.0.0
Locust, uma ferramenta de teste de carga de código aberto, é uma estrutura popular para teste de carga HTTP e outros protocolos. Sua abordagem amigável ao desenvolvedor permite definir seus testes em código Python normal.
Os testes do Locust podem ser executados na linha de comando ou usando sua interface de usuário baseada na web. O rendimento, os tempos de resposta e os erros podem ser visualizados em tempo real e/ou exportados para análise posterior.
https://docs.locust.io/en/stable/what-is-locust.html
Neste repositório de código, fornecemos um exemplo de como realizar testes de carga na API LLM para avaliar seus requisitos de produção. O código é desenvolvido em um SageMaker Notebook e utiliza a interface de linha de comando para conduzir testes de carga na API SageMaker e Bedrock LLM.
Depois que locustfile.py estiver configurado corretamente, você poderá iniciar o teste de carga executando um comando na linha de comando. Isso permite testar o sistema com vários níveis de rendimento, dependendo de seus requisitos específicos.
gafanhoto --headless --users 30 --spawn-rate 30 --run-time 120 --csv ./benchmark_metric/benchmark_u30
| Tipo | Nome | # requisitos | # falha | Média | Mínimo | Máx. | Médio | solicitação/s | falhas/s |
|---|---|---|---|---|---|---|---|---|---|
| [Enviar] | Incitar | 390 | 0 (0,00%) | 9232 | 2037 | 10282 | 9800 | 3,25 | 0,00 |
| Agregado | 390 | 0 (0,00%) | 9232 | 2037 | 10282 | 9800 | 3,25 | 0,00 |
Veja nossos exemplos de teste de carga do modelo SageMaker com sagemaker_jumpstart_loadtest.ipynb e do modelo Bedrock com bedrock_loadtest.ipynb .
Consulte CONTRIBUINDO para obter mais informações.
Esta biblioteca está licenciada sob a licença MIT-0. Veja o arquivo LICENÇA.
