ทีม DA-Group ของ Peking University ได้เปิดตัวโมเดลการสร้างวิดีโอที่มีประสิทธิภาพ Magic1-for-1 ซึ่งสามารถสร้างวิดีโอยาวหนึ่งนาทีในเวลาเพียงหนึ่งนาที ประสิทธิภาพของมันมาจากการเพิ่มประสิทธิภาพของการใช้หน่วยความจำและความล่าช้าในการอนุมานการย่อยสลายงานการสร้างวิดีโอเป็นสองงานย่อย: ข้อความไปยังภาพและภาพเป็นวิดีโอซึ่งจะช่วยปรับปรุงประสิทธิภาพการฝึกอบรมและปรับปรุงความแม่นยำในการสร้าง การเปิดตัวโอเพ่นซอร์สของโมเดลนี้เป็นเครื่องมือที่มีประสิทธิภาพสำหรับการวิจัยที่เกี่ยวข้องและนำความเป็นไปได้มากขึ้นให้กับนักพัฒนาและนักวิจัย
เมื่อเร็ว ๆ นี้ทีม DA-Group-PKU ได้เปิดตัวโมเดลการสร้างวิดีโอใหม่ที่เรียกว่า "Magic1-for-1" . คลิปวิดีโอยาว เทคโนโลยีนี้ปรับปรุงประสิทธิภาพของการสร้างวิดีโออย่างมากโดยการเพิ่มประสิทธิภาพการใช้หน่วยความจำและลดเวลาแฝงการอนุมาน
โมเดล Magic1-for-1 แบ่งงานสร้างวิดีโอออกเป็นสองส่วนย่อยคีย์: การสร้างข้อความกับภาพและการสร้างภาพสู่วิดีโอ ผ่านการสลายตัวดังกล่าวทีมไม่เพียง แต่ปรับปรุงประสิทธิภาพของการฝึกอบรม แต่ยังประสบความสำเร็จในการสร้างวิดีโอที่แม่นยำยิ่งขึ้น การเปิดตัวรุ่นนี้ไม่เพียง แต่ให้เครื่องมือใหม่สำหรับการวิจัยในสาขาที่เกี่ยวข้อง แต่ยังเปิดโอกาสให้นักพัฒนาและนักวิจัยมากขึ้น
ในเวลาเดียวกันกับเทคโนโลยีที่เปิดตัวทีมยังมีรายงานทางเทคนิคที่สอดคล้องกันน้ำหนักรุ่นและรหัสสำหรับผู้ใช้ที่สนใจในการดาวน์โหลดและใช้งาน พวกเขาสนับสนุนให้นักพัฒนาและนักวิจัยมากขึ้นมีส่วนร่วมในโครงการและส่งเสริมความก้าวหน้าของเทคโนโลยีการสร้างวิดีโอแบบโต้ตอบ เพื่อความสะดวกของผู้ใช้ทีมให้คำแนะนำการตั้งค่าสภาพแวดล้อมโดยละเอียดรวมถึงวิธีการสร้างสภาพแวดล้อม Python ที่เหมาะสมและติดตั้งไลบรารีการพึ่งพาที่ต้องการ
นอกจากนี้ Magic1-for-1 ยังรองรับโหมดการอนุมานที่หลากหลายรวมถึงการตั้งค่า GPU และ Multi-GPU เดี่ยวทำให้ผู้ใช้สามารถเลือกวิธีการสร้างที่เหมาะสมที่สุดได้อย่างยืดหยุ่นตามเงื่อนไขอุปกรณ์ของตนเอง ผู้ใช้สามารถเสร็จสิ้นการก่อสร้างและการทำงานของโมเดลในขั้นตอนง่ายๆเพียงไม่กี่ขั้นตอนและสามารถเพิ่มความเร็วในการอนุมานผ่านเทคโนโลยีเชิงปริมาณ
การเปิดตัวเทคโนโลยีนี้เป็นความก้าวหน้าที่สำคัญในด้านการสร้างภาพรวมด้วยศักยภาพในการพัฒนาในอนาคตอย่างมาก และหวังว่าผู้คนจำนวนมากจะเข้าร่วมในด้านการวิจัยที่น่าตื่นเต้น
โครงการ: https://github.com/da-group-pku/magic-1-for-1
ประเด็นสำคัญ:
** การสร้างที่มีประสิทธิภาพ **: รุ่น Magic1-for-1 สามารถสร้างวิดีโอหนึ่งนาทีในหนึ่งนาทีเพิ่มประสิทธิภาพการใช้หน่วยความจำและลดเวลาแฝงการอนุมาน
** ทรัพยากรเปิด **: ทีมได้เปิดตัวรายงานทางเทคนิคน้ำหนักและรหัสรุ่นและนักพัฒนาและนักวิจัยสามารถเข้าร่วมในการบริจาคได้
** การใช้เหตุผลที่ยืดหยุ่น **: รองรับการตั้งค่าการอนุมาน GPU และ Multi-GPU เดี่ยวและผู้ใช้สามารถเลือกโหมดการทำงานที่เหมาะสมตามความต้องการของพวกเขา
การเปิดตัวโมเดล Magic1-for-1 จะส่งเสริมการพัฒนาเทคโนโลยีการสร้างภาพสู่วิดีโออย่างไม่ต้องสงสัยและลักษณะที่มีประสิทธิภาพโอเพ่นซอร์สและลักษณะที่ยืดหยุ่น เราหวังว่าโมเดลที่ใช้กันอย่างแพร่หลายและได้รับการปรับปรุงอย่างต่อเนื่องในอนาคต