Movie Gen เป็นโมเดลพื้นฐานที่สร้างวิดีโอคุณภาพสูง 1080p HD พร้อมอัตราส่วนภาพที่แตกต่างกันและเสียงที่ซิงโครไนซ์กัน ที่นี่ เราขอแนะนำเกณฑ์มาตรฐานการประเมินของเรา "Movie Gen Bench" ซึ่งรวมถึง Movie Gen Video Bench (ส่วนที่ 3.5.2) และ Movie Gen Audio Bench (ส่วนที่ 6.3.2) ตามรายละเอียดในรายงานทางเทคนิคของ Movie Gen
เพื่อให้การเปรียบเทียบอย่างยุติธรรมและง่ายดายกับ Movie Gen สำหรับการทำงานในอนาคตบนเกณฑ์มาตรฐานการประเมินเหล่านี้ เราได้เผยแพร่วิดีโอที่สร้างขึ้นโดยไม่ได้คัดสรรจาก Movie Gen บนทั้ง Movie Gen Video Bench และ Movie Gen Audio Bench
Movie Gen Video Bench ประกอบด้วยพรอมต์ 1,003 รายการที่ครอบคลุมแง่มุม/แนวคิดการทดสอบที่แตกต่างกันทั้งหมด:
นอกเหนือจากความครอบคลุมที่ครอบคลุมของแง่มุมการทดสอบหลักต่างๆ แล้ว ข้อความแจ้งยังครอบคลุมระดับการเคลื่อนไหวสูง/กลาง/ต่ำในเวลาเดียวกันได้ดีอีกด้วย
รายการพร้อมท์ benchmark/MovieGenVideoBench.txt รวมอยู่ใน repo นี้ เรายังเผยแพร่แนวคิดการทดสอบและแท็กระดับการเคลื่อนไหวเพิ่มเติมสำหรับแต่ละพร้อมท์ใน benchmark/MovieGenVideoBenchWithTag.csv สามารถดาวน์โหลดวิดีโอที่สร้างขึ้นที่เกี่ยวข้อง (โดย Movie Gen) ได้จากลิงก์นี้
Movie Gen Video Bench มีให้บริการบน Hugging Face เช่นกัน
Movie Gen Audio Bench ประกอบด้วยวิดีโอที่สร้างขึ้น 527 รายการ รวมถึงเอฟเฟกต์เสียงและเพลงประกอบที่เกี่ยวข้อง
benchmark/MovieGenAudioBenchSfx.jsonl มีข้อความแจ้งเอฟเฟกต์เสียงที่ใช้สำหรับการสร้างเอฟเฟกต์เสียง และข้อความแจ้งวิดีโอเพิ่มเติมที่ใช้สำหรับสร้างวิดีโอทดสอบ สามารถดาวน์โหลดวิดีโอพร้อมเสียงและคำแนะนำได้จากลิงก์นี้
benchmark/MovieGenAudioBenchSfxMusic.jsonl รวมถึงเอฟเฟกต์เสียงและข้อความแจ้งเพลงที่ใช้สำหรับเอฟเฟกต์เสียงร่วมและการสร้างเพลงพื้นหลัง และข้อความแจ้งวิดีโอเพิ่มเติมที่ใช้สำหรับการสร้างวิดีโอทดสอบ สามารถดาวน์โหลดวิดีโอพร้อมเสียงและคำแนะนำได้จากลิงก์นี้
โมเดลนี้ได้รับอนุญาตภายใต้ใบอนุญาต CC-BY-NC
หากคุณพบว่า Movie Gen Bench มีประโยชน์ โปรดพิจารณาการอ้างอิง:
@misc{polyak2024moviegencastmedia,
title={Movie Gen: A Cast of Media Foundation Models},
author={Adam Polyak and Amit Zohar and Andrew Brown and Andros Tjandra and Animesh Sinha and Ann Lee and Apoorv Vyas and Bowen Shi and Chih-Yao Ma and Ching-Yao Chuang and David Yan and Dhruv Choudhary and Dingkang Wang and Geet Sethi and Guan Pang and Haoyu Ma and Ishan Misra and Ji Hou and Jialiang Wang and Kiran Jagadeesh and Kunpeng Li and Luxin Zhang and Mannat Singh and Mary Williamson and Matt Le and Matthew Yu and Mitesh Kumar Singh and Peizhao Zhang and Peter Vajda and Quentin Duval and Rohit Girdhar and Roshan Sumbaly and Sai Saketh Rambhatla and Sam Tsai and Samaneh Azadi and Samyak Datta and Sanyuan Chen and Sean Bell and Sharadh Ramaswamy and Shelly Sheynin and Siddharth Bhattacharya and Simran Motwani and Tao Xu and Tianhe Li and Tingbo Hou and Wei-Ning Hsu and Xi Yin and Xiaoliang Dai and Yaniv Taigman and Yaqiao Luo and Yen-Cheng Liu and Yi-Chiao Wu and Yue Zhao and Yuval Kirstain and Zecheng He and Zijian He and Albert Pumarola and Ali Thabet and Artsiom Sanakoyeu and Arun Mallya and Baishan Guo and Boris Araya and Breena Kerr and Carleigh Wood and Ce Liu and Cen Peng and Dimitry Vengertsev and Edgar Schonfeld and Elliot Blanchard and Felix Juefei-Xu and Fraylie Nord and Jeff Liang and John Hoffman and Jonas Kohler and Kaolin Fire and Karthik Sivakumar and Lawrence Chen and Licheng Yu and Luya Gao and Markos Georgopoulos and Rashel Moritz and Sara K. Sampson and Shikai Li and Simone Parmeggiani and Steve Fine and Tara Fowler and Vladan Petrovic and Yuming Du},
year={2024},
eprint={2410.13720},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2410.13720},
}
