Movie Gen은 다양한 화면 비율과 동기화된 오디오를 갖춘 고품질 1080p HD 비디오를 생성하는 기본 모델입니다. 여기서는 Movie Gen 기술 보고서에 자세히 설명된 대로 Movie Gen Video Bench(섹션 3.5.2) 및 Movie Gen Audio Bench(섹션 6.3.2)를 포함하는 평가 벤치마크 "Movie Gen Bench"를 소개합니다.
이러한 평가 벤치마크에서 향후 작업을 위해 Movie Gen과 공정하고 쉽게 비교할 수 있도록 Movie Gen Video Bench와 Movie Gen Audio Bench 모두에서 선별되지 않은 Movie Gen에서 생성된 비디오를 추가로 출시합니다.
Movie Gen Video Bench는 다양한 테스트 측면/개념을 모두 다루는 1003개의 프롬프트로 구성됩니다.
다양한 주요 테스트 측면을 포괄적으로 다루는 것 외에도 프롬프트는 높은/중간/낮은 동작 수준을 동시에 잘 다루고 있습니다.
프롬프트 목록 benchmark/MovieGenVideoBench.txt 이 저장소에 포함되어 있으며, benchmark/MovieGenVideoBenchWithTag.csv 에서 각 프롬프트에 대한 테스트 개념과 모션 레벨 태그를 추가로 릴리스합니다. 해당 생성된 비디오(Movie Gen에서 제작)는 이 링크를 통해 다운로드할 수 있습니다.
Movie Gen Video Bench는 Hugging Face에서도 볼 수 있습니다.
Movie Gen Audio Bench는 527개의 생성된 비디오와 관련 음향 효과 및 음악 프롬프트로 구성됩니다.
benchmark/MovieGenAudioBenchSfx.jsonl 에는 사운드 효과 생성에 사용되는 사운드 효과 프롬프트와 추가로 테스트 비디오 생성에 사용되는 비디오 프롬프트가 포함되어 있습니다. 오디오와 프롬프트가 포함된 비디오는 이 링크를 통해 다운로드할 수 있습니다.
benchmark/MovieGenAudioBenchSfxMusic.jsonl 에는 공동 음향 효과 및 배경 음악 생성에 사용되는 음향 효과 및 음악 프롬프트와 추가로 테스트 비디오 생성에 사용되는 비디오 프롬프트가 포함되어 있습니다. 오디오와 프롬프트가 포함된 비디오는 이 링크를 통해 다운로드할 수 있습니다.
해당 모델은 CC-BY-NC 라이센스에 따라 라이센스가 부여되었습니다.
Movie Gen Bench가 유용하다고 생각되면 다음을 인용해 보세요.
@misc{polyak2024moviegencastmedia,
title={Movie Gen: A Cast of Media Foundation Models},
author={Adam Polyak and Amit Zohar and Andrew Brown and Andros Tjandra and Animesh Sinha and Ann Lee and Apoorv Vyas and Bowen Shi and Chih-Yao Ma and Ching-Yao Chuang and David Yan and Dhruv Choudhary and Dingkang Wang and Geet Sethi and Guan Pang and Haoyu Ma and Ishan Misra and Ji Hou and Jialiang Wang and Kiran Jagadeesh and Kunpeng Li and Luxin Zhang and Mannat Singh and Mary Williamson and Matt Le and Matthew Yu and Mitesh Kumar Singh and Peizhao Zhang and Peter Vajda and Quentin Duval and Rohit Girdhar and Roshan Sumbaly and Sai Saketh Rambhatla and Sam Tsai and Samaneh Azadi and Samyak Datta and Sanyuan Chen and Sean Bell and Sharadh Ramaswamy and Shelly Sheynin and Siddharth Bhattacharya and Simran Motwani and Tao Xu and Tianhe Li and Tingbo Hou and Wei-Ning Hsu and Xi Yin and Xiaoliang Dai and Yaniv Taigman and Yaqiao Luo and Yen-Cheng Liu and Yi-Chiao Wu and Yue Zhao and Yuval Kirstain and Zecheng He and Zijian He and Albert Pumarola and Ali Thabet and Artsiom Sanakoyeu and Arun Mallya and Baishan Guo and Boris Araya and Breena Kerr and Carleigh Wood and Ce Liu and Cen Peng and Dimitry Vengertsev and Edgar Schonfeld and Elliot Blanchard and Felix Juefei-Xu and Fraylie Nord and Jeff Liang and John Hoffman and Jonas Kohler and Kaolin Fire and Karthik Sivakumar and Lawrence Chen and Licheng Yu and Luya Gao and Markos Georgopoulos and Rashel Moritz and Sara K. Sampson and Shikai Li and Simone Parmeggiani and Steve Fine and Tara Fowler and Vladan Petrovic and Yuming Du},
year={2024},
eprint={2410.13720},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2410.13720},
}
