BurstGPT

Трассировка рабочей нагрузки ChatGPT (GPT-3.5) и GPT-4 для оптимизации систем обслуживания LLM

Важный

? Трассировки с новыми столбцами SessionID и Elapsed time находятся в процессе сбора и скоро будут доступны!

Этот репозиторий содержит общедоступные выпуски реального набора данных трассировки рабочих нагрузок LLM, предназначенных для исследовательского и академического сообщества.

Этот сервис LLM работает на базе Microsoft Azure.

В настоящее время в версии v1.1 имеется 4 файла:

• BurstGPT_1.csv содержит всю нашу трассировку за первые 2 месяца, с некоторым сбоем: Response tokens равны 0 с. Всего 1429,7 тыс. строк.

• BurstGPT_without_fails_1.csv содержит всю нашу трассировку за первые 2 месяца без сбоев. Всего 1404,3 тыс. строк.

• BurstGPT_2.csv содержит всю нашу трассировку за вторые 2 месяца с некоторым сбоем: Response tokens равны 0 с. Всего 3858,4 тыс. строк.

• BurstGPT_without_fails_2.csv содержит всю нашу трассировку за вторые 2 месяца без сбоев. Всего 3784,2 тыс. строк.

BurstGPT_1.csv также находится в /data и вы можете его использовать.

Использование

1. Вы можете масштабировать среднее число запросов в секунду (RPS) в трассировке в соответствии с настройками оценки.
2. Вы также можете моделировать закономерности на трассе, как указано в нашей статье, и масштабировать параметры моделей.
3. Ознакомьтесь с демонстрацией нашего простого генератора запросов в example/ . Если у вас есть какие-то особые потребности, мы будем рады помочь вам изучить и максимально использовать потенциал трассировки. Пожалуйста, сообщите нам о любых проблемах или вопросах, отправив электронное письмо в список рассылки.

Планы на будущее

1. Мы продолжим обновлять временной диапазон трассировки и добавлять время окончания каждого запроса.
2. Мы будем обновлять журнал разговоров, включая идентификаторы сеансов, отметки времени и т. д. в каждом разговоре, чтобы исследователи могли оптимизировать услуги разговоров.
3. В ближайшее время мы опубликуем полный набор тестов для вывода LLM.

Бумага

Если трассировка используется в вашем исследовании, обязательно обратитесь к нашей статье:

 @misc { wang2024burstgpt ,
      title = { BurstGPT: A Real-world Workload Dataset to Optimize LLM Serving Systems } , 
      author = { Yuxin Wang and Yuhan Chen and Zeyu Li and Xueze Kang and Zhenheng Tang and Xin He and Rui Guo and Xin Wang and Qiang Wang and Amelie Chi Zhou and Xiaowen Chu } ,
      year = { 2024 } ,
      eprint = { 2401.17644 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { id='cs.DC' full_name='Distributed, Parallel, and Cluster Computing' is_active=True alt_name=None in_archive='cs' is_general=False description='Covers fault-tolerance, distributed algorithms, stabilility, parallel computation, and cluster computing. Roughly includes material in ACM Subject Classes C.1.2, C.1.4, C.2.4, D.1.3, D.4.5, D.4.7, E.1.' }
}

Основные характеристики

• Продолжительность: 121 день подряд в течение 4 месяцев подряд.
• Размер набора данных: ~5,29 млн строк, ~188 МБ.

Схема

• Timestamp : время подачи запроса, секунды с 0:00:00 первого дня.
• Model : называемые модели, включая ChatGPT (GPT-3.5) и GPT-4 .
• Request tokens : длина токена запроса.
• Response tokens : длина токенов ответа.
• Total tokens : длина токенов запроса плюс длина токенов ответа.
• Log Type : способ вызова модели пользователями: в режиме разговора или с использованием API, включая Conversation log и API log .

Обзор данных (первые 2 месяца)

Рисунок 1. Еженедельная периодичность в BurstGPT.

Рисунок 2: Ежедневная периодичность в BurstGPT.

Рисунок 3. Средняя ежедневная пропускная способность запросов и ответов в BurstGPT.

Рисунок 4. Статистика токенов запросов и ответов в BurstGPT.