LVBench
1.0.0
[프로젝트 페이지] [ arXiv 문서] [ 데이터세트][? 리더보드][? 허깅페이스 리더보드]
LVBench는 최대 2시간 길이의 긴 비디오에서 정보를 이해하고 추출하는 다중 모드 모델의 기능을 평가하고 향상시키기 위해 설계된 벤치마크입니다.
2024.08.2 허깅페이스 스페이스에 LVBench 리더보드를 설치했습니다! 리더보드를 확인해 보세요.
2024.06.11 장편 영상 이해를 위한 새로운 벤치마크 LVBench를 출시했습니다!
LVBench는 긴 비디오를 이해하는 모델의 능력을 평가하기 위해 설계된 벤치마크입니다. 우리는 수동 작업과 모델 지원을 혼합하여 주석을 추가하고 공개 소스로부터 광범위한 긴 비디오 데이터를 수집했습니다. 우리의 벤치마크는 확장된 시간적 맥락에서 모델을 테스트하기 위한 강력한 기반을 제공하여 세심한 사람 주석 및 다단계 품질 관리를 통해 고품질 평가를 보장합니다.
핵심 기능 : 긴 비디오 이해를 위한 6가지 핵심 기능을 통해 포괄적인 모델 평가를 위한 복잡하고 도전적인 질문을 생성할 수 있습니다.
다양한 데이터 : 다양한 범주를 포괄하는 다양한 범위의 긴 비디오 데이터로, 기존의 가장 긴 데이터 세트보다 평균 5배 더 깁니다.
고품질 주석 : 사람이 꼼꼼하게 주석을 달고 다단계 품질 관리 프로세스를 갖춘 신뢰할 수 있는 벤치마크입니다.
우리 데이터 세트는 CC-BY-NC-SA-4.0 라이선스를 따릅니다.
LVBench는 학술 연구에만 사용됩니다. 어떤 형태로든 상업적인 사용을 금지합니다. 우리는 원시 비디오 파일의 저작권을 소유하지 않습니다.
LVBench에 침해가 있는 경우 [email protected]으로 연락하거나 직접 문제를 제기해 주시면 즉시 삭제해 드리겠습니다.
먼저 video2dataset를 설치하세요.
pip 설치 video2dataset pip 제거 변압기 엔진
그런 다음 Huggingface에서 video_info.meta.jsonl 다운로드하여 data 디렉터리에 넣어야 합니다.
video_info.meta.jsonl 파일의 각 항목에는 YouTube 동영상 ID에 해당하는 키 필드가 있습니다. 사용자는 이 ID를 사용하여 해당 동영상을 다운로드할 수 있습니다. 또는 사용자는 다운로드를 위해 우리가 제공하는 다운로드 스크립트인 download.sh를 사용할 수 있습니다.
CD 스크립트 배시 다운로드.sh
실행 후 비디오 파일은 script/videos 디렉터리에 저장됩니다.
pip 설치 -e .
(참고: 빠르게 평가를 시도하고 싶다면 scripts/construct_random_answers.py 사용하여 무작위 응답 파일을 준비할 수 있습니다.)
CD 스크립트 파이썬 test_acc.py
실행 후에는 scripts 디렉터리에 평가 결과 파일 result.json 이 생성됩니다. 결과를 리더보드에 제출할 수 있습니다.
모델 비교:
벤치마크 비교:
모델 대 인간:
답변 분포:
우리의 연구가 귀하의 연구에 도움이 되었다고 생각하시면, 우리의 연구를 인용하는 것을 고려해 보십시오.
@misc{wang2024lvbench, title={LVBench: 매우 긴 비디오 이해 벤치마크},
저자={Weihan Wang, Zehai He, Wenyi Hong, Yean Cheng, Xiaohan Zhang, Ji Qi, Shiyu Huang, Bin Xu, Yuxiao Dong, Ming Ding, Jie Tang}, year={2024}, eprint={2406.08035}, archivePrefix ={arXiv}, 기본클래스={cs.CV}} 
