BurstGPT

Um rastreamento de carga de trabalho ChatGPT (GPT-3.5) e GPT-4 para otimizar sistemas de atendimento LLM

Importante

? Os rastreamentos com as novas colunas SessionID e Elapsed time estão sendo coletados agora e estarão disponíveis em breve!

Este repositório contém versões públicas de um conjunto de dados de rastreamento do mundo real de LLM atendendo cargas de trabalho para o benefício da comunidade acadêmica e de pesquisa.

Este serviço LLM é desenvolvido pelo Microsoft Azure.

Existem atualmente 4 arquivos na versão v1.1:

• BurstGPT_1.csv contém todo o nosso rastreamento nos primeiros 2 meses com alguma falha em que Response tokens são 0 s. Totalmente 1.429,7 mil linhas.

• BurstGPT_without_fails_1.csv contém todos os nossos rastreamentos nos primeiros 2 meses sem falhas. Totalmente 1.404,3 mil linhas.

• BurstGPT_2.csv contém todo o nosso rastreamento nos segundos 2 meses com alguma falha em que Response tokens são 0 s. Totalmente 3.858,4 mil linhas.

• BurstGPT_without_fails_2.csv contém todos os nossos rastreamentos nos segundos 2 meses sem falhas. Totalmente 3.784,2 mil linhas.

BurstGPT_1.csv também está em /data para você usar.

Uso

1. Você pode dimensionar a média de solicitações por segundo (RPS) no rastreamento de acordo com suas configurações de avaliação.
2. Você também pode modelar os padrões no traço conforme indicado em nosso artigo e dimensionar os parâmetros nos modelos.
3. Verifique nossa demonstração do gerador de solicitação simples em example/ . Se você tiver alguma necessidade específica, estamos ansiosos para ajudá-lo a explorar e aproveitar o trace em seu potencial máximo. Informe-nos sobre quaisquer problemas ou dúvidas enviando um e-mail para a lista de discussão.

Planos futuros

1. Continuaremos atualizando o intervalo de tempo do rastreamento e adicionando o horário de término de cada solicitação.
2. Atualizaremos o registro de conversas, incluindo os IDs de sessão, carimbos de data e hora, etc., em cada conversa, para que os pesquisadores otimizem os serviços de conversação.
3. Abriremos o código-fonte completo do conjunto de benchmarks para inferência LLM em breve.

Papel

Se o traço for utilizado em sua pesquisa, certifique-se de consultar nosso artigo:

 @misc { wang2024burstgpt ,
      title = { BurstGPT: A Real-world Workload Dataset to Optimize LLM Serving Systems } , 
      author = { Yuxin Wang and Yuhan Chen and Zeyu Li and Xueze Kang and Zhenheng Tang and Xin He and Rui Guo and Xin Wang and Qiang Wang and Amelie Chi Zhou and Xiaowen Chu } ,
      year = { 2024 } ,
      eprint = { 2401.17644 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { id='cs.DC' full_name='Distributed, Parallel, and Cluster Computing' is_active=True alt_name=None in_archive='cs' is_general=False description='Covers fault-tolerance, distributed algorithms, stabilility, parallel computation, and cluster computing. Roughly includes material in ACM Subject Classes C.1.2, C.1.4, C.2.4, D.1.3, D.4.5, D.4.7, E.1.' }
}

Principais características

• Duração: 121 dias consecutivos em 4 meses consecutivos.
• Tamanho do conjunto de dados: ~ 5,29 milhões de linhas, ~ 188 MB.

Esquema

• Timestamp : horário de envio da solicitação, segundos a partir de 0:00:00 do primeiro dia.
• Model : modelos chamados, incluindo ChatGPT (GPT-3.5) e GPT-4 .
• Request tokens : comprimento dos tokens de solicitação.
• Response tokens : comprimento dos tokens de resposta.
• Total tokens : comprimento dos tokens de solicitação mais comprimento dos tokens de resposta.
• Log Type : a forma como os usuários chamam o modelo, em modo conversação ou usando API, incluindo Conversation log e API log .

Visão geral dos dados (primeiros 2 meses)

Figura 1: Periodicidade Semanal no BurstGPT.

Figura 2: Periodicidade Diária no BurstGPT.

Figura 3: Taxa de transferência média diária de solicitações e respostas no BurstGPT.

Figura 4: Estatísticas de tokens de solicitação e resposta no BurstGPT.