BurstGPT

用于优化 LLM 服务系统的 ChatGPT(GPT-3.5) 和 GPT-4 工作负载跟踪

重要的

？带有新列SessionID和Elapsed time的跟踪现在正在收集中，并将很快提供！

该存储库包含 LLM 服务工作负载的真实跟踪数据集的公开版本，以造福研究和学术界。

此法学硕士服务由 Microsoft Azure 提供支持。

Release v1.1 目前有 4 个文件：

• BurstGPT_1.csv包含我们在前 2 个月内的所有跟踪，但Response tokens为0 。总共 1429.7k 行。

• BurstGPT_without_fails_1.csv包含我们在前 2 个月内没有失败的所有跟踪。总共 1404.3k 行。

• BurstGPT_2.csv包含我们在后 2 个月内的所有跟踪，但Response tokens为0 。总共 3858.4k 行。

• BurstGPT_without_fails_2.csv包含我们在接下来的 2 个月内没有失败的所有跟踪。总共 3784.2k 行。

BurstGPT_1.csv也在/data中供您使用。

用法

1. 您可以根据您的评估设置缩放跟踪中的平均每秒请求数 (RPS)。
2. 您还可以按照我们论文中的指示对迹线中的模式进行建模，并缩放模型中的参数。
3. 检查example/中的简单请求生成器演示。如果您有一些特定需求，我们渴望帮助您探索并充分利用跟踪的潜力。请通过向邮件列表发送电子邮件告知我们任何问题或疑问。

未来计划

1. 我们将继续更新跟踪的时间范围并添加每个请求的结束时间。
2. 我们会更新每次对话的对话日志，包括会话ID、时间戳等，以便研究人员优化对话服务。
3. 我们将很快开源 LLM 推理的完整基准套件。

纸

如果您的研究中使用了该痕迹，请确保参考我们的论文：

 @misc { wang2024burstgpt ,
      title = { BurstGPT: A Real-world Workload Dataset to Optimize LLM Serving Systems } , 
      author = { Yuxin Wang and Yuhan Chen and Zeyu Li and Xueze Kang and Zhenheng Tang and Xin He and Rui Guo and Xin Wang and Qiang Wang and Amelie Chi Zhou and Xiaowen Chu } ,
      year = { 2024 } ,
      eprint = { 2401.17644 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { id='cs.DC' full_name='Distributed, Parallel, and Cluster Computing' is_active=True alt_name=None in_archive='cs' is_general=False description='Covers fault-tolerance, distributed algorithms, stabilility, parallel computation, and cluster computing. Roughly includes material in ACM Subject Classes C.1.2, C.1.4, C.2.4, D.1.3, D.4.5, D.4.7, E.1.' }
}

主要特点

• 持续时间：连续 4 个月内连续 121 天。
• 数据集大小：~529M 行，~188MB。

模式

• Timestamp ：请求提交时间，从第一天0:00:00开始的秒数。
• Model ：称为模型，包括ChatGPT (GPT-3.5) 和GPT-4 。
• Request tokens ：请求令牌长度。
• Response tokens ：响应令牌长度。
• Total tokens ：请求令牌长度加上响应令牌长度。
• Log Type ：用户调用模型的方式，是会话模式还是使用API​​，包括Conversation log和API log 。

数据概览（前 2 个月）

图 1：BurstGPT 中的每周周期。

图 2：BurstGPT 的每日周期。

图 3：BurstGPT 中的平均每日请求和响应吞吐量。

图 4：BurstGPT 中请求和响应令牌的统计信息。