MovieGenBench

电影生成长凳

Movie Gen 是一系列基础模型，可生成具有不同宽高比和同步音频的高质量 1080p 高清视频。在这里，我们介绍一下我们的评估基准“Movie Gen Bench”，其中包括Movie Gen Video Bench（第3.5.2节）和Movie Gen Audio Bench（第6.3.2节），详情请参阅Movie Gen技术报告。

为了能够在这些评估基准上与 Movie Gen 进行公平、轻松的比较，我们还在 Movie Gen Video Bench 和 Movie Gen Audio Bench 上发布了 Movie Gen 的非精选生成视频。

目录

• 电影生成视频台
• Movie Gen 音频工作台
• 执照
• 引文

电影生成视频台

Movie Gen Video Bench 包含 1003 个提示，涵盖所有不同的测试方面/概念：

1. 人类活动（肢体和嘴巴运动、情绪等）
2. 动物
3. 自然与风景
4. 物理学（流体动力学、重力、加速度、碰撞、爆炸等）
5. 不寻常的主题和不寻常的活动。

除了全面覆盖不同关键测试环节外，提示同时对高/中/低运动级别也有很好的覆盖。

下载视频基准

提示列表benchmark/MovieGenVideoBench.txt包含在此存储库中，我们还在benchmark/MovieGenVideoBenchWithTag.csv ​​v 中发布了每个提示的测试概念和运动级别标签。相应生成的视频（由 Movie Gen）可以通过此链接下载。

Movie Gen Video Bench 也可在 Hugging Face 上使用。

Movie Gen 音频工作台

Movie Gen Audio Bench 包含 527 个生成的视频以及相关的音效和音乐提示

• 它涵盖了各种周围环境（例如室内、城市、自然、交通）和声音效果（例如人、动物、物体）。
• Movie Gen Video 用于生成视频。我们还包括用于生成这些视频的视频提示。
• 可用于评估音效生成以及联合音效和背景音乐生成。
• 它可用于评估视频到音频和（文本+视频）到音频的生成。

下载音频基准测试

benchmark/MovieGenAudioBenchSfx.jsonl包含用于音效生成的音效提示，以及用于生成测试视频的视频提示。可以通过此链接下载带有音频和提示的视频。

benchmark/MovieGenAudioBenchSfxMusic.jsonl包含用于联合音效和背景音乐生成的音效和音乐提示，以及用于生成测试视频的视频提示。可以通过此链接下载带有音频和提示的视频。

执照

该模型根据 CC-BY-NC 许可证获得许可

引文

如果您发现 Movie Gen Bench 有用，请考虑引用：

 @misc{polyak2024moviegencastmedia,
      title={Movie Gen: A Cast of Media Foundation Models}, 
      author={Adam Polyak and Amit Zohar and Andrew Brown and Andros Tjandra and Animesh Sinha and Ann Lee and Apoorv Vyas and Bowen Shi and Chih-Yao Ma and Ching-Yao Chuang and David Yan and Dhruv Choudhary and Dingkang Wang and Geet Sethi and Guan Pang and Haoyu Ma and Ishan Misra and Ji Hou and Jialiang Wang and Kiran Jagadeesh and Kunpeng Li and Luxin Zhang and Mannat Singh and Mary Williamson and Matt Le and Matthew Yu and Mitesh Kumar Singh and Peizhao Zhang and Peter Vajda and Quentin Duval and Rohit Girdhar and Roshan Sumbaly and Sai Saketh Rambhatla and Sam Tsai and Samaneh Azadi and Samyak Datta and Sanyuan Chen and Sean Bell and Sharadh Ramaswamy and Shelly Sheynin and Siddharth Bhattacharya and Simran Motwani and Tao Xu and Tianhe Li and Tingbo Hou and Wei-Ning Hsu and Xi Yin and Xiaoliang Dai and Yaniv Taigman and Yaqiao Luo and Yen-Cheng Liu and Yi-Chiao Wu and Yue Zhao and Yuval Kirstain and Zecheng He and Zijian He and Albert Pumarola and Ali Thabet and Artsiom Sanakoyeu and Arun Mallya and Baishan Guo and Boris Araya and Breena Kerr and Carleigh Wood and Ce Liu and Cen Peng and Dimitry Vengertsev and Edgar Schonfeld and Elliot Blanchard and Felix Juefei-Xu and Fraylie Nord and Jeff Liang and John Hoffman and Jonas Kohler and Kaolin Fire and Karthik Sivakumar and Lawrence Chen and Licheng Yu and Luya Gao and Markos Georgopoulos and Rashel Moritz and Sara K. Sampson and Shikai Li and Simone Parmeggiani and Steve Fine and Tara Fowler and Vladan Petrovic and Yuming Du},
      year={2024},
      eprint={2410.13720},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2410.13720}, 
}