Movie Gen es un elenco de modelos básicos que genera videos HD de 1080p de alta calidad con diferentes relaciones de aspecto y audio sincronizado. Aquí presentamos nuestro punto de referencia de evaluación "Movie Gen Bench", que incluye Movie Gen Video Bench (Sección 3.5.2) y Movie Gen Audio Bench (Sección 6.3.2), como se detalla en el informe técnico de Movie Gen.
Para permitir una comparación justa y sencilla con Movie Gen para trabajos futuros en estos puntos de referencia de evaluación, también publicamos los videos generados no seleccionados de Movie Gen tanto en Movie Gen Video Bench como en Movie Gen Audio Bench.
Movie Gen Video Bench consta de 1003 indicaciones que cubren todos los diferentes aspectos/conceptos de prueba:
Además de una cobertura integral de diferentes aspectos clave de las pruebas, las indicaciones también tienen una buena cobertura de niveles de movimiento alto/medio/bajo al mismo tiempo.
La lista de mensajes benchmark/MovieGenVideoBench.txt se incluye en este repositorio; además, publicamos los conceptos de prueba y las etiquetas de nivel de movimiento para cada mensaje en benchmark/MovieGenVideoBenchWithTag.csv . Los vídeos generados correspondientes (por Movie Gen) se pueden descargar a través de este enlace.
Movie Gen Video Bench también está disponible en Hugging Face.
Movie Gen Audio Bench consta de 527 videos generados y efectos de sonido asociados e indicaciones musicales.
benchmark/MovieGenAudioBenchSfx.jsonl incluye las indicaciones de efectos de sonido utilizadas para la generación de efectos de sonido y, además, indicaciones de vídeo utilizadas para generar vídeos de prueba. Los vídeos con audio e indicaciones se pueden descargar a través de este enlace.
benchmark/MovieGenAudioBenchSfxMusic.jsonl incluye los efectos de sonido y las indicaciones musicales utilizadas para la generación conjunta de efectos de sonido y música de fondo, y además indicaciones de vídeo utilizadas para generar vídeos de prueba. Los vídeos con audio e indicaciones se pueden descargar a través de este enlace.
El modelo está bajo la licencia CC-BY-NC.
Si encuentra útil Movie Gen Bench, considere citar:
@misc{polyak2024moviegencastmedia,
title={Movie Gen: A Cast of Media Foundation Models},
author={Adam Polyak and Amit Zohar and Andrew Brown and Andros Tjandra and Animesh Sinha and Ann Lee and Apoorv Vyas and Bowen Shi and Chih-Yao Ma and Ching-Yao Chuang and David Yan and Dhruv Choudhary and Dingkang Wang and Geet Sethi and Guan Pang and Haoyu Ma and Ishan Misra and Ji Hou and Jialiang Wang and Kiran Jagadeesh and Kunpeng Li and Luxin Zhang and Mannat Singh and Mary Williamson and Matt Le and Matthew Yu and Mitesh Kumar Singh and Peizhao Zhang and Peter Vajda and Quentin Duval and Rohit Girdhar and Roshan Sumbaly and Sai Saketh Rambhatla and Sam Tsai and Samaneh Azadi and Samyak Datta and Sanyuan Chen and Sean Bell and Sharadh Ramaswamy and Shelly Sheynin and Siddharth Bhattacharya and Simran Motwani and Tao Xu and Tianhe Li and Tingbo Hou and Wei-Ning Hsu and Xi Yin and Xiaoliang Dai and Yaniv Taigman and Yaqiao Luo and Yen-Cheng Liu and Yi-Chiao Wu and Yue Zhao and Yuval Kirstain and Zecheng He and Zijian He and Albert Pumarola and Ali Thabet and Artsiom Sanakoyeu and Arun Mallya and Baishan Guo and Boris Araya and Breena Kerr and Carleigh Wood and Ce Liu and Cen Peng and Dimitry Vengertsev and Edgar Schonfeld and Elliot Blanchard and Felix Juefei-Xu and Fraylie Nord and Jeff Liang and John Hoffman and Jonas Kohler and Kaolin Fire and Karthik Sivakumar and Lawrence Chen and Licheng Yu and Luya Gao and Markos Georgopoulos and Rashel Moritz and Sara K. Sampson and Shikai Li and Simone Parmeggiani and Steve Fine and Tara Fowler and Vladan Petrovic and Yuming Du},
year={2024},
eprint={2410.13720},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2410.13720},
}
