BurstGPT 다운로드 - BurstGPT 소스 코드 다운로드

BurstGPT

기타 소스코드

v1.1

다운로드

LLM 서비스 시스템을 최적화하기 위한 ChatGPT(GPT-3.5) 및 GPT-4 워크로드 추적

중요한

? 새로운 SessionID 및 Elapsed time 열이 포함된 추적이 현재 수집 중이며 곧 제공될 예정입니다!

이 저장소에는 연구 및 학계 커뮤니티의 이익을 위해 워크로드를 제공하는 LLM의 실제 추적 데이터세트 공개 릴리스가 포함되어 있습니다.

이 LLM 서비스는 Microsoft Azure에서 제공됩니다.

현재 릴리스 v1.1에는 4개의 파일이 있습니다.

BurstGPT_1.csv 에는 처음 2개월 동안의 모든 추적이 포함되어 있으며 Response tokens 0 인 일부 오류가 있습니다. 총 1429.7k 라인.
BurstGPT_without_fails_1.csv 처음 2개월 동안의 모든 추적이 실패 없이 포함되어 있습니다. 총 1404.3k 라인.
BurstGPT_2.csv 에는 두 번째 2개월 동안의 모든 추적이 포함되어 있으며 Response tokens 0 인 일부 오류가 있습니다. 총 3858.4k 라인.
BurstGPT_without_fails_2.csv 두 번째 2개월 동안의 모든 추적이 실패 없이 포함되어 있습니다. 총 3784.2k 라인.

BurstGPT_1.csv 도 /data 에 있으므로 사용할 수 있습니다.

용법

평가 설정에 따라 추적에서 평균 RPS(초당 요청 수)를 조정할 수 있습니다.
또한 논문에 표시된 대로 트레이스의 패턴을 모델링하고 모델의 매개변수를 확장할 수도 있습니다.
example/ 에서 간단한 요청 생성기 데모를 확인하세요. 특정 요구 사항이 있는 경우 추적의 잠재력을 최대한 활용하고 탐색하는 데 도움을 드리고자 합니다. 문제나 질문이 있으면 메일링 리스트로 이메일을 보내 알려주시기 바랍니다.

향후 계획

계속해서 추적 시간 범위를 업데이트하고 각 요청의 종료 시간을 추가할 예정입니다.
연구자들이 대화 서비스를 최적화할 수 있도록 각 대화의 세션 ID, 타임스탬프 등을 포함한 대화 로그를 업데이트합니다.
곧 LLM 추론을 위한 전체 벤치마크 제품군을 오픈 소스로 공개할 예정입니다.

종이

추적이 연구에 활용되는 경우 다음 논문을 참조하십시오.

 @misc { wang2024burstgpt ,
      title = { BurstGPT: A Real-world Workload Dataset to Optimize LLM Serving Systems } , 
      author = { Yuxin Wang and Yuhan Chen and Zeyu Li and Xueze Kang and Zhenheng Tang and Xin He and Rui Guo and Xin Wang and Qiang Wang and Amelie Chi Zhou and Xiaowen Chu } ,
      year = { 2024 } ,
      eprint = { 2401.17644 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { id='cs.DC' full_name='Distributed, Parallel, and Cluster Computing' is_active=True alt_name=None in_archive='cs' is_general=False description='Covers fault-tolerance, distributed algorithms, stabilility, parallel computation, and cluster computing. Roughly includes material in ACM Subject Classes C.1.2, C.1.4, C.2.4, D.1.3, D.4.5, D.4.7, E.1.' }
}

주요특징

기간: 연속 4개월 동안 연속 121일.
데이터 세트 크기: ~5.29M 라인, ~188MB.

개요

Timestamp : 요청 제출 시간(첫 날 0:00:00 부터 초 단위).
Model : ChatGPT (GPT-3.5) 및 GPT-4 포함한 모델이라고 합니다.
Request tokens : 요청 토큰 길이입니다.
Response tokens : 응답 토큰 길이입니다.
Total tokens : 요청 토큰 길이에 응답 토큰 길이를 더한 것입니다.
Log Type : 사용자가 대화 모드에서 또는 API를 사용하여 모델을 호출하는 방식( Conversation log 및 API log 포함).