MovieGenBench

Скамейка для кинопроизводителей

Movie Gen — это набор базовых моделей, которые создают высококачественное HD-видео 1080p с различными соотношениями сторон и синхронизированным звуком. Здесь мы представляем наш оценочный тест Movie Gen Bench, который включает Movie Gen Video Bench (раздел 3.5.2) и Movie Gen Audio Bench (раздел 6.3.2), как подробно описано в техническом отчете Movie Gen.

Чтобы обеспечить справедливое и простое сравнение с Movie Gen для будущих работ по этим оценочным тестам, мы дополнительно публикуем не тщательно отобранные видео, сгенерированные из Movie Gen, как на Movie Gen Video Bench, так и на Movie Gen Audio Bench.

Оглавление

• Видеостенд Movie Gen
• Аудиосистема Movie Gen
• Лицензия
• Цитирование

Видеостенд Movie Gen

Movie Gen Video Bench состоит из 1003 подсказок, которые охватывают все различные аспекты/концепции тестирования:

1. деятельность человека (движения конечностей и рта, эмоции и т. д.)
2. животные
3. природа и пейзажи
4. физика (гидродинамика, гравитация, ускорение, столкновения, взрывы и т. д.)
5. необычные предметы и необычные занятия.

Помимо всестороннего освещения различных ключевых аспектов тестирования, подсказки также хорошо охватывают одновременно высокие, средние и низкие уровни движения.

Скачать видео тест

Список подсказок benchmark/MovieGenVideoBench.txt включен в этот репозиторий. Мы дополнительно публикуем концепции тестирования и теги уровня движения для каждого подсказки в benchmark/MovieGenVideoBenchWithTag.csv . Соответствующие сгенерированные видеоролики (от Movie Gen) можно скачать по этой ссылке.

Movie Gen Video Bench также доступен на Hugging Face.

Аудиосистема Movie Gen

Movie Gen Audio Bench состоит из 527 созданных видеороликов и связанных с ними звуковых эффектов и музыкальных подсказок.

• Он охватывает различные окружающие среды (например, в помещении, в городе, на природе, в транспорте) и звуковые эффекты (например, человека, животного, предметов).
• Movie Gen Video используется для создания видео. Мы дополнительно включаем видео-подсказки, используемые для создания этих видеороликов.
• Его можно использовать для оценки создания звуковых эффектов, а также для создания совместных звуковых эффектов и фоновой музыки.
• Его можно использовать для оценки преобразования видео в аудио и (текст+видео) в аудио.

Скачать тест аудио

benchmark/MovieGenAudioBenchSfx.jsonl включает подсказки звуковых эффектов, используемые для создания звуковых эффектов, а также видеоподсказки, используемые для создания видеороликов тестирования. Видео со звуком и подсказками можно скачать по этой ссылке.

benchmark/MovieGenAudioBenchSfxMusic.jsonl включает звуковые эффекты и музыкальные подсказки, используемые для совместного создания звуковых эффектов и фоновой музыки, а также видеоподсказки, используемые для создания тестовых видеороликов. Видео со звуком и подсказками можно скачать по этой ссылке.

Лицензия

Модель распространяется по лицензии CC-BY-NC.

Цитирование

Если вы считаете Movie Gen Bench полезным, пожалуйста, процитируйте:

 @misc{polyak2024moviegencastmedia,
      title={Movie Gen: A Cast of Media Foundation Models}, 
      author={Adam Polyak and Amit Zohar and Andrew Brown and Andros Tjandra and Animesh Sinha and Ann Lee and Apoorv Vyas and Bowen Shi and Chih-Yao Ma and Ching-Yao Chuang and David Yan and Dhruv Choudhary and Dingkang Wang and Geet Sethi and Guan Pang and Haoyu Ma and Ishan Misra and Ji Hou and Jialiang Wang and Kiran Jagadeesh and Kunpeng Li and Luxin Zhang and Mannat Singh and Mary Williamson and Matt Le and Matthew Yu and Mitesh Kumar Singh and Peizhao Zhang and Peter Vajda and Quentin Duval and Rohit Girdhar and Roshan Sumbaly and Sai Saketh Rambhatla and Sam Tsai and Samaneh Azadi and Samyak Datta and Sanyuan Chen and Sean Bell and Sharadh Ramaswamy and Shelly Sheynin and Siddharth Bhattacharya and Simran Motwani and Tao Xu and Tianhe Li and Tingbo Hou and Wei-Ning Hsu and Xi Yin and Xiaoliang Dai and Yaniv Taigman and Yaqiao Luo and Yen-Cheng Liu and Yi-Chiao Wu and Yue Zhao and Yuval Kirstain and Zecheng He and Zijian He and Albert Pumarola and Ali Thabet and Artsiom Sanakoyeu and Arun Mallya and Baishan Guo and Boris Araya and Breena Kerr and Carleigh Wood and Ce Liu and Cen Peng and Dimitry Vengertsev and Edgar Schonfeld and Elliot Blanchard and Felix Juefei-Xu and Fraylie Nord and Jeff Liang and John Hoffman and Jonas Kohler and Kaolin Fire and Karthik Sivakumar and Lawrence Chen and Licheng Yu and Luya Gao and Markos Georgopoulos and Rashel Moritz and Sara K. Sampson and Shikai Li and Simone Parmeggiani and Steve Fine and Tara Fowler and Vladan Petrovic and Yuming Du},
      year={2024},
      eprint={2410.13720},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2410.13720}, 
}