Movie Gen عبارة عن مجموعة من النماذج الأساسية التي تنتج مقاطع فيديو عالية الجودة بدقة 1080 بكسل مع نسب عرض إلى ارتفاع مختلفة وصوت متزامن. نقدم هنا معيار التقييم الخاص بنا "Movie Gen Bench"، والذي يتضمن Movie Gen Video Bench (القسم 3.5.2) وMovie Gen Audio Bench (القسم 6.3.2)، كما هو مفصل في التقرير الفني لـ Movie Gen.
لتمكين المقارنة العادلة والسهلة مع Movie Gen للأعمال المستقبلية وفقًا لمعايير التقييم هذه، نقوم أيضًا بإصدار مقاطع الفيديو التي تم إنشاؤها غير منتقاة من Movie Gen على كل من Movie Gen Video Bench وMovie Gen Audio Bench.
يتكون Movie Gen Video Bench من 1003 مطالبة تغطي جميع جوانب/مفاهيم الاختبار المختلفة:
إلى جانب التغطية الشاملة لمختلف جوانب الاختبار الرئيسية، تتمتع المطالبات أيضًا بتغطية جيدة لمستويات الحركة العالية/المتوسطة/المنخفضة في نفس الوقت.
تم تضمين benchmark/MovieGenVideoBench.txt في هذا الريبو، كما قمنا أيضًا بإصدار مفاهيم الاختبار وعلامات مستوى الحركة لكل مطالبة في benchmark/MovieGenVideoBenchWithTag.csv . يمكن تنزيل مقاطع الفيديو المقابلة التي تم إنشاؤها (بواسطة Movie Gen) عبر هذا الرابط.
يتوفر Movie Gen Video Bench أيضًا على Hugging Face.
يتكون Movie Gen Audio Bench من 527 مقطع فيديو تم إنشاؤه والمؤثرات الصوتية والمطالبات الموسيقية المرتبطة بها
يتضمن benchmark/MovieGenAudioBenchSfx.jsonl مطالبات المؤثرات الصوتية المستخدمة لإنشاء المؤثرات الصوتية، بالإضافة إلى مطالبات الفيديو المستخدمة لإنشاء مقاطع فيديو اختبارية. يمكن تنزيل مقاطع الفيديو مع الصوت والمطالبات عبر هذا الرابط.
يتضمن benchmark/MovieGenAudioBenchSfxMusic.jsonl المؤثرات الصوتية والمطالبات الموسيقية المستخدمة لإنشاء المؤثرات الصوتية المشتركة وإنشاء موسيقى الخلفية، بالإضافة إلى مطالبات الفيديو المستخدمة لإنشاء مقاطع فيديو اختبارية. يمكن تنزيل مقاطع الفيديو مع الصوت والمطالبات عبر هذا الرابط.
النموذج مرخص بموجب ترخيص CC-BY-NC
إذا وجدت أن Movie Gen Bench مفيد، فيرجى مراعاة الاستشهاد بما يلي:
@misc{polyak2024moviegencastmedia,
title={Movie Gen: A Cast of Media Foundation Models},
author={Adam Polyak and Amit Zohar and Andrew Brown and Andros Tjandra and Animesh Sinha and Ann Lee and Apoorv Vyas and Bowen Shi and Chih-Yao Ma and Ching-Yao Chuang and David Yan and Dhruv Choudhary and Dingkang Wang and Geet Sethi and Guan Pang and Haoyu Ma and Ishan Misra and Ji Hou and Jialiang Wang and Kiran Jagadeesh and Kunpeng Li and Luxin Zhang and Mannat Singh and Mary Williamson and Matt Le and Matthew Yu and Mitesh Kumar Singh and Peizhao Zhang and Peter Vajda and Quentin Duval and Rohit Girdhar and Roshan Sumbaly and Sai Saketh Rambhatla and Sam Tsai and Samaneh Azadi and Samyak Datta and Sanyuan Chen and Sean Bell and Sharadh Ramaswamy and Shelly Sheynin and Siddharth Bhattacharya and Simran Motwani and Tao Xu and Tianhe Li and Tingbo Hou and Wei-Ning Hsu and Xi Yin and Xiaoliang Dai and Yaniv Taigman and Yaqiao Luo and Yen-Cheng Liu and Yi-Chiao Wu and Yue Zhao and Yuval Kirstain and Zecheng He and Zijian He and Albert Pumarola and Ali Thabet and Artsiom Sanakoyeu and Arun Mallya and Baishan Guo and Boris Araya and Breena Kerr and Carleigh Wood and Ce Liu and Cen Peng and Dimitry Vengertsev and Edgar Schonfeld and Elliot Blanchard and Felix Juefei-Xu and Fraylie Nord and Jeff Liang and John Hoffman and Jonas Kohler and Kaolin Fire and Karthik Sivakumar and Lawrence Chen and Licheng Yu and Luya Gao and Markos Georgopoulos and Rashel Moritz and Sara K. Sampson and Shikai Li and Simone Parmeggiani and Steve Fine and Tara Fowler and Vladan Petrovic and Yuming Du},
year={2024},
eprint={2410.13720},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2410.13720},
}
