Movie Gen は、さまざまなアスペクト比と同期されたオーディオを備えた高品質の 1080p HD ビデオを生成する基礎モデルのキャストです。ここでは、Movie Gen テクニカル レポートで詳しく説明されているように、Movie Gen Video Bench (セクション 3.5.2) と Movie Gen Audio Bench (セクション 6.3.2) を含む評価ベンチマーク「Movie Gen Bench」を紹介します。
これらの評価ベンチマークで将来の作品について Movie Gen と公平かつ簡単に比較できるようにするために、Movie Gen から厳選されていない生成ビデオを Movie Gen Video Bench と Movie Gen Audio Bench の両方で追加リリースします。
Movie Gen Video Bench は、さまざまなテストの側面/概念をすべてカバーする 1003 のプロンプトで構成されています。
さまざまな主要なテスト側面を包括的にカバーしていることに加えて、プロンプトは同時に高/中/低の動作レベルも十分にカバーしています。
プロンプト リストbenchmark/MovieGenVideoBench.txtはこのリポジトリに含まれています。さらに、各プロンプトのテスト概念とモーション レベル タグをbenchmark/MovieGenVideoBenchWithTag.csv v でリリースします。対応する生成されたビデオ (Movie Gen による) は、このリンクからダウンロードできます。
Movie Gen Video Bench は Hugging Face でも利用できます。
Movie Gen Audio Bench は、生成された 527 のビデオと、関連するサウンドエフェクトおよび音楽プロンプトで構成されています
benchmark/MovieGenAudioBenchSfx.jsonlには、効果音の生成に使用される効果音プロンプトと、テスト ビデオの生成に使用されるビデオ プロンプトが含まれています。音声とプロンプト付きのビデオは、このリンクからダウンロードできます。
benchmark/MovieGenAudioBenchSfxMusic.jsonlには、効果音とバックグラウンド ミュージックの共同生成に使用される効果音と音楽のプロンプト、さらにテスト ビデオの生成に使用されるビデオ プロンプトが含まれています。音声とプロンプト付きのビデオは、このリンクからダウンロードできます。
このモデルは CC-BY-NC ライセンスに基づいてライセンスされています
Movie Gen Bench が役立つと思われる場合は、次の引用を検討してください。
@misc{polyak2024moviegencastmedia,
title={Movie Gen: A Cast of Media Foundation Models},
author={Adam Polyak and Amit Zohar and Andrew Brown and Andros Tjandra and Animesh Sinha and Ann Lee and Apoorv Vyas and Bowen Shi and Chih-Yao Ma and Ching-Yao Chuang and David Yan and Dhruv Choudhary and Dingkang Wang and Geet Sethi and Guan Pang and Haoyu Ma and Ishan Misra and Ji Hou and Jialiang Wang and Kiran Jagadeesh and Kunpeng Li and Luxin Zhang and Mannat Singh and Mary Williamson and Matt Le and Matthew Yu and Mitesh Kumar Singh and Peizhao Zhang and Peter Vajda and Quentin Duval and Rohit Girdhar and Roshan Sumbaly and Sai Saketh Rambhatla and Sam Tsai and Samaneh Azadi and Samyak Datta and Sanyuan Chen and Sean Bell and Sharadh Ramaswamy and Shelly Sheynin and Siddharth Bhattacharya and Simran Motwani and Tao Xu and Tianhe Li and Tingbo Hou and Wei-Ning Hsu and Xi Yin and Xiaoliang Dai and Yaniv Taigman and Yaqiao Luo and Yen-Cheng Liu and Yi-Chiao Wu and Yue Zhao and Yuval Kirstain and Zecheng He and Zijian He and Albert Pumarola and Ali Thabet and Artsiom Sanakoyeu and Arun Mallya and Baishan Guo and Boris Araya and Breena Kerr and Carleigh Wood and Ce Liu and Cen Peng and Dimitry Vengertsev and Edgar Schonfeld and Elliot Blanchard and Felix Juefei-Xu and Fraylie Nord and Jeff Liang and John Hoffman and Jonas Kohler and Kaolin Fire and Karthik Sivakumar and Lawrence Chen and Licheng Yu and Luya Gao and Markos Georgopoulos and Rashel Moritz and Sara K. Sampson and Shikai Li and Simone Parmeggiani and Steve Fine and Tara Fowler and Vladan Petrovic and Yuming Du},
year={2024},
eprint={2410.13720},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2410.13720},
}
