Movie Gen est un ensemble de modèles de base qui génèrent des vidéos HD 1080p de haute qualité avec différents formats d'image et un son synchronisé. Nous présentons ici notre référence d'évaluation « Movie Gen Bench », qui comprend Movie Gen Video Bench (Section 3.5.2) et Movie Gen Audio Bench (Section 6.3.2), comme détaillé dans le rapport technique Movie Gen.
Pour permettre une comparaison juste et facile avec Movie Gen pour les travaux futurs sur ces critères d'évaluation, nous publions également les vidéos générées non sélectionnées par Movie Gen sur Movie Gen Video Bench et Movie Gen Audio Bench.
Movie Gen Video Bench se compose de 1 003 invites qui couvrent tous les différents aspects/concepts de test :
Outre une couverture complète des différents aspects clés des tests, les invites couvrent également en même temps les niveaux de mouvement élevés/moyens/faibles.
La liste d'invites benchmark/MovieGenVideoBench.txt est incluse dans ce dépôt, nous publions également les concepts de test et les balises de niveau de mouvement pour chaque invite dans benchmark/MovieGenVideoBenchWithTag.csv . Les vidéos générées correspondantes (par Movie Gen) peuvent être téléchargées via ce lien.
Movie Gen Video Bench est également disponible sur Hugging Face.
Movie Gen Audio Bench se compose de 527 vidéos générées et d'effets sonores et d'invites musicales associés.
benchmark/MovieGenAudioBenchSfx.jsonl inclut les invites d'effets sonores utilisées pour la génération d'effets sonores, ainsi que les invites vidéo utilisées pour générer des vidéos de test. Des vidéos avec audio et invites peuvent être téléchargées via ce lien.
benchmark/MovieGenAudioBenchSfxMusic.jsonl inclut les invites d'effets sonores et de musique utilisées pour la génération conjointe d'effets sonores et de musique de fond, ainsi que les invites vidéo utilisées pour générer des vidéos de test. Des vidéos avec audio et invites peuvent être téléchargées via ce lien.
Le modèle est sous licence CC-BY-NC
Si vous trouvez Movie Gen Bench utile, pensez à citer :
@misc{polyak2024moviegencastmedia,
title={Movie Gen: A Cast of Media Foundation Models},
author={Adam Polyak and Amit Zohar and Andrew Brown and Andros Tjandra and Animesh Sinha and Ann Lee and Apoorv Vyas and Bowen Shi and Chih-Yao Ma and Ching-Yao Chuang and David Yan and Dhruv Choudhary and Dingkang Wang and Geet Sethi and Guan Pang and Haoyu Ma and Ishan Misra and Ji Hou and Jialiang Wang and Kiran Jagadeesh and Kunpeng Li and Luxin Zhang and Mannat Singh and Mary Williamson and Matt Le and Matthew Yu and Mitesh Kumar Singh and Peizhao Zhang and Peter Vajda and Quentin Duval and Rohit Girdhar and Roshan Sumbaly and Sai Saketh Rambhatla and Sam Tsai and Samaneh Azadi and Samyak Datta and Sanyuan Chen and Sean Bell and Sharadh Ramaswamy and Shelly Sheynin and Siddharth Bhattacharya and Simran Motwani and Tao Xu and Tianhe Li and Tingbo Hou and Wei-Ning Hsu and Xi Yin and Xiaoliang Dai and Yaniv Taigman and Yaqiao Luo and Yen-Cheng Liu and Yi-Chiao Wu and Yue Zhao and Yuval Kirstain and Zecheng He and Zijian He and Albert Pumarola and Ali Thabet and Artsiom Sanakoyeu and Arun Mallya and Baishan Guo and Boris Araya and Breena Kerr and Carleigh Wood and Ce Liu and Cen Peng and Dimitry Vengertsev and Edgar Schonfeld and Elliot Blanchard and Felix Juefei-Xu and Fraylie Nord and Jeff Liang and John Hoffman and Jonas Kohler and Kaolin Fire and Karthik Sivakumar and Lawrence Chen and Licheng Yu and Luya Gao and Markos Georgopoulos and Rashel Moritz and Sara K. Sampson and Shikai Li and Simone Parmeggiani and Steve Fine and Tara Fowler and Vladan Petrovic and Yuming Du},
year={2024},
eprint={2410.13720},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2410.13720},
}
