Movie Gen adalah serangkaian model dasar yang menghasilkan video HD 1080p berkualitas tinggi dengan rasio aspek berbeda dan audio tersinkronisasi. Di sini, kami memperkenalkan tolok ukur evaluasi kami "Movie Gen Bench", yang mencakup Movie Gen Video Bench (Bagian 3.5.2) dan Movie Gen Audio Bench (Bagian 6.3.2), sebagaimana dirinci dalam laporan teknis Movie Gen.
Untuk memungkinkan perbandingan yang adil dan mudah dengan Movie Gen untuk pekerjaan di masa depan pada tolok ukur evaluasi ini, kami juga merilis video hasil pilihan dari Movie Gen di Movie Gen Video Bench dan Movie Gen Audio Bench.
Movie Gen Video Bench terdiri dari 1003 petunjuk yang mencakup semua aspek/konsep pengujian yang berbeda:
Selain cakupan komprehensif dari berbagai aspek pengujian utama, petunjuknya juga memiliki cakupan tingkat gerakan tinggi/sedang/rendah yang baik pada saat yang bersamaan.
Daftar prompt benchmark/MovieGenVideoBench.txt disertakan dalam repo ini, kami juga merilis konsep pengujian dan tag level gerakan untuk setiap prompt di benchmark/MovieGenVideoBenchWithTag.csv . Video yang dihasilkan terkait (oleh Movie Gen) dapat diunduh melalui tautan ini.
Bangku Video Gen Film juga tersedia di Hugging Face.
Bangku Audio Gen Film terdiri dari 527 video yang dihasilkan dan efek suara serta petunjuk musik terkait
benchmark/MovieGenAudioBenchSfx.jsonl menyertakan perintah efek suara yang digunakan untuk pembuatan efek suara, dan tambahan perintah video yang digunakan untuk membuat video pengujian. Video dengan audio dan petunjuknya dapat diunduh melalui tautan ini.
benchmark/MovieGenAudioBenchSfxMusic.jsonl menyertakan efek suara dan perintah musik yang digunakan untuk pembuatan efek suara gabungan dan musik latar, dan tambahan perintah video yang digunakan untuk menghasilkan video pengujian. Video dengan audio dan petunjuknya dapat diunduh melalui tautan ini.
Model ini dilisensikan di bawah lisensi CC-BY-NC
Jika menurut Anda Movie Gen Bench bermanfaat, harap pertimbangkan untuk mengutip:
@misc{polyak2024moviegencastmedia,
title={Movie Gen: A Cast of Media Foundation Models},
author={Adam Polyak and Amit Zohar and Andrew Brown and Andros Tjandra and Animesh Sinha and Ann Lee and Apoorv Vyas and Bowen Shi and Chih-Yao Ma and Ching-Yao Chuang and David Yan and Dhruv Choudhary and Dingkang Wang and Geet Sethi and Guan Pang and Haoyu Ma and Ishan Misra and Ji Hou and Jialiang Wang and Kiran Jagadeesh and Kunpeng Li and Luxin Zhang and Mannat Singh and Mary Williamson and Matt Le and Matthew Yu and Mitesh Kumar Singh and Peizhao Zhang and Peter Vajda and Quentin Duval and Rohit Girdhar and Roshan Sumbaly and Sai Saketh Rambhatla and Sam Tsai and Samaneh Azadi and Samyak Datta and Sanyuan Chen and Sean Bell and Sharadh Ramaswamy and Shelly Sheynin and Siddharth Bhattacharya and Simran Motwani and Tao Xu and Tianhe Li and Tingbo Hou and Wei-Ning Hsu and Xi Yin and Xiaoliang Dai and Yaniv Taigman and Yaqiao Luo and Yen-Cheng Liu and Yi-Chiao Wu and Yue Zhao and Yuval Kirstain and Zecheng He and Zijian He and Albert Pumarola and Ali Thabet and Artsiom Sanakoyeu and Arun Mallya and Baishan Guo and Boris Araya and Breena Kerr and Carleigh Wood and Ce Liu and Cen Peng and Dimitry Vengertsev and Edgar Schonfeld and Elliot Blanchard and Felix Juefei-Xu and Fraylie Nord and Jeff Liang and John Hoffman and Jonas Kohler and Kaolin Fire and Karthik Sivakumar and Lawrence Chen and Licheng Yu and Luya Gao and Markos Georgopoulos and Rashel Moritz and Sara K. Sampson and Shikai Li and Simone Parmeggiani and Steve Fine and Tara Fowler and Vladan Petrovic and Yuming Du},
year={2024},
eprint={2410.13720},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2410.13720},
}
