Movie Gen besteht aus einer Reihe von Basismodellen, die hochwertige 1080p-HD-Videos mit unterschiedlichen Seitenverhältnissen und synchronisiertem Audio generieren. Hier stellen wir unseren Bewertungsbenchmark „Movie Gen Bench“ vor, der Movie Gen Video Bench (Abschnitt 3.5.2) und Movie Gen Audio Bench (Abschnitt 6.3.2) umfasst, wie im technischen Bericht von Movie Gen beschrieben.
Um einen fairen und einfachen Vergleich mit Movie Gen für zukünftige Arbeiten an diesen Bewertungsbenchmarks zu ermöglichen, veröffentlichen wir zusätzlich die nicht sorgfältig ausgewählten generierten Videos von Movie Gen sowohl auf Movie Gen Video Bench als auch auf Movie Gen Audio Bench.
Movie Gen Video Bench besteht aus 1003 Eingabeaufforderungen, die alle verschiedenen Testaspekte/-konzepte abdecken:
Neben einer umfassenden Abdeckung verschiedener wichtiger Testaspekte bieten die Eingabeaufforderungen gleichzeitig auch eine gute Abdeckung der hohen/mittleren/niedrigen Bewegungsniveaus.
Die Eingabeaufforderungsliste benchmark/MovieGenVideoBench.txt ist in diesem Repo enthalten. Darüber hinaus veröffentlichen wir die Testkonzepte und Bewegungsebenen-Tags für jede Eingabeaufforderung in benchmark/MovieGenVideoBenchWithTag.csv . Die entsprechenden generierten Videos (von Movie Gen) können über diesen Link heruntergeladen werden.
Movie Gen Video Bench ist auch auf Hugging Face erhältlich.
Movie Gen Audio Bench besteht aus 527 generierten Videos und zugehörigen Soundeffekten und Musikansagen
benchmark/MovieGenAudioBenchSfx.jsonl enthält die Soundeffekt-Eingabeaufforderungen, die für die Soundeffekt-Generierung verwendet werden, sowie zusätzlich Video-Eingabeaufforderungen, die für die Erstellung von Testvideos verwendet werden. Über diesen Link können Videos mit Audio und Ansagen heruntergeladen werden.
benchmark/MovieGenAudioBenchSfxMusic.jsonl enthält die Soundeffekt- und Musikansagen, die für die gemeinsame Erzeugung von Soundeffekten und Hintergrundmusik verwendet werden, sowie zusätzlich Videoansagen, die zum Generieren von Testvideos verwendet werden. Über diesen Link können Videos mit Audio und Ansagen heruntergeladen werden.
Das Modell ist unter der CC-BY-NC-Lizenz lizenziert
Wenn Sie Movie Gen Bench nützlich finden, denken Sie bitte darüber nach, Folgendes zu zitieren:
@misc{polyak2024moviegencastmedia,
title={Movie Gen: A Cast of Media Foundation Models},
author={Adam Polyak and Amit Zohar and Andrew Brown and Andros Tjandra and Animesh Sinha and Ann Lee and Apoorv Vyas and Bowen Shi and Chih-Yao Ma and Ching-Yao Chuang and David Yan and Dhruv Choudhary and Dingkang Wang and Geet Sethi and Guan Pang and Haoyu Ma and Ishan Misra and Ji Hou and Jialiang Wang and Kiran Jagadeesh and Kunpeng Li and Luxin Zhang and Mannat Singh and Mary Williamson and Matt Le and Matthew Yu and Mitesh Kumar Singh and Peizhao Zhang and Peter Vajda and Quentin Duval and Rohit Girdhar and Roshan Sumbaly and Sai Saketh Rambhatla and Sam Tsai and Samaneh Azadi and Samyak Datta and Sanyuan Chen and Sean Bell and Sharadh Ramaswamy and Shelly Sheynin and Siddharth Bhattacharya and Simran Motwani and Tao Xu and Tianhe Li and Tingbo Hou and Wei-Ning Hsu and Xi Yin and Xiaoliang Dai and Yaniv Taigman and Yaqiao Luo and Yen-Cheng Liu and Yi-Chiao Wu and Yue Zhao and Yuval Kirstain and Zecheng He and Zijian He and Albert Pumarola and Ali Thabet and Artsiom Sanakoyeu and Arun Mallya and Baishan Guo and Boris Araya and Breena Kerr and Carleigh Wood and Ce Liu and Cen Peng and Dimitry Vengertsev and Edgar Schonfeld and Elliot Blanchard and Felix Juefei-Xu and Fraylie Nord and Jeff Liang and John Hoffman and Jonas Kohler and Kaolin Fire and Karthik Sivakumar and Lawrence Chen and Licheng Yu and Luya Gao and Markos Georgopoulos and Rashel Moritz and Sara K. Sampson and Shikai Li and Simone Parmeggiani and Steve Fine and Tara Fowler and Vladan Petrovic and Yuming Du},
year={2024},
eprint={2410.13720},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2410.13720},
}
