BurstGPT

Un seguimiento de cargas de trabajo ChatGPT (GPT-3.5) y GPT-4 para optimizar los sistemas de servicio de LLM

Importante

? Los seguimientos con nuevas columnas SessionID y Elapsed time se están recopilando ahora y estarán disponibles pronto.

Este repositorio contiene publicaciones públicas de un conjunto de datos de seguimiento del mundo real de LLM que atienden cargas de trabajo en beneficio de la comunidad académica y de investigación.

Esta versión de LLM funciona con Microsoft Azure.

Actualmente hay 4 archivos en la versión v1.1:

• BurstGPT_1.csv contiene todo nuestro seguimiento en los primeros 2 meses con alguna falla en la que Response tokens son 0 s. Totalmente 1429,7k líneas.

• BurstGPT_without_fails_1.csv contiene todo nuestro seguimiento en los primeros 2 meses sin fallas. Totalmente 1404,3k líneas.

• BurstGPT_2.csv contiene todo nuestro seguimiento en los segundos 2 meses con alguna falla en la que Response tokens son 0 s. Totalmente 3858,4k líneas.

• BurstGPT_without_fails_2.csv contiene todo nuestro seguimiento en los segundos 2 meses sin fallas. Totalmente 3784,2k líneas.

BurstGPT_1.csv también está en /data para que lo uses.

Uso

1. Puede escalar el promedio de solicitudes por segundo (RPS) en el seguimiento de acuerdo con sus configuraciones de evaluación.
2. También puede modelar los patrones en la traza como se indica en nuestro artículo y escalar los parámetros en los modelos.
3. Consulte nuestra demostración sencilla del generador de solicitudes en example/ . Si tiene algunas necesidades específicas, estamos ansiosos por ayudarlo a explorar y aprovechar el rastro en su máximo potencial. Háganos saber cualquier problema o pregunta enviando un correo electrónico a la lista de correo.

Planes futuros

1. Continuaremos actualizando el rango de tiempo del seguimiento y agregaremos la hora de finalización de cada solicitud.
2. Actualizaremos el registro de conversaciones, incluidos los ID de sesión, marcas de tiempo, etc., en cada conversación, para que los investigadores optimicen los servicios de conversación.
3. Pronto abriremos el código fuente completo del conjunto de pruebas para la inferencia LLM.

Papel

Si el rastreo se utiliza en su investigación, asegúrese de consultar nuestro artículo:

 @misc { wang2024burstgpt ,
      title = { BurstGPT: A Real-world Workload Dataset to Optimize LLM Serving Systems } , 
      author = { Yuxin Wang and Yuhan Chen and Zeyu Li and Xueze Kang and Zhenheng Tang and Xin He and Rui Guo and Xin Wang and Qiang Wang and Amelie Chi Zhou and Xiaowen Chu } ,
      year = { 2024 } ,
      eprint = { 2401.17644 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { id='cs.DC' full_name='Distributed, Parallel, and Cluster Computing' is_active=True alt_name=None in_archive='cs' is_general=False description='Covers fault-tolerance, distributed algorithms, stabilility, parallel computation, and cluster computing. Roughly includes material in ACM Subject Classes C.1.2, C.1.4, C.2.4, D.1.3, D.4.5, D.4.7, E.1.' }
}

Características principales

• Duración: 121 días consecutivos en 4 meses consecutivos.
• Tamaño del conjunto de datos: ~5,29 millones de líneas, ~188 MB.

Esquema

• Timestamp : hora de envío de la solicitud, segundos desde 0:00:00 del primer día.
• Model : llamados modelos, incluidos ChatGPT (GPT-3.5) y GPT-4 .
• Request tokens : longitud de los tokens de solicitud.
• Response tokens : longitud de los tokens de respuesta.
• Total tokens : longitud de los tokens de solicitud más longitud de los tokens de respuesta.
• Log Type : la forma en que los usuarios llaman al modelo, en modo de conversación o usando API, incluido Conversation log y API log .

Resumen de datos (primeros 2 meses)

Figura 1: Periodicidad semanal en BurstGPT.

Figura 2: Periodicidad diaria en BurstGPT.

Figura 3: Rendimiento promedio diario de solicitudes y respuestas en BurstGPT.

Figura 4: Estadísticas de tokens de solicitud y respuesta en BurstGPT.