ทีม Colossal-AI ได้เปิดซอร์สโซลูชันการสร้างอัลกอริทึม Sora Open-Sora โดยมีเป้าหมายเพื่อลดต้นทุนการทำซ้ำและปรับปรุงประสิทธิภาพ โซลูชันนี้ครอบคลุมกระบวนการทั้งหมดตั้งแต่การประมวลผลข้อมูลไปจนถึงการอนุมานการฝึกอบรม รองรับโครงสร้างแบบจำลองที่หลากหลาย วิธีการบีบอัดวิดีโอ และการเพิ่มประสิทธิภาพการฝึกอบรมแบบคู่ขนาน ซึ่งช่วยปรับปรุงประสิทธิภาพการฝึกอบรมได้อย่างมาก Open-Sora ใช้รุ่น DiT-XL/2 เพื่อทำการทดสอบประสิทธิภาพที่มีความยาวลำดับ 600K บน GPU H800 SXM 8*80GB ตัวเดียว ผลลัพธ์แสดงให้เห็นว่าการปรับปรุงประสิทธิภาพและการลดต้นทุนเกิน 40% โครงการนี้มุ่งมั่นที่จะมอบโซลูชันการสืบพันธุ์ Sora ที่สมบูรณ์และมีประสิทธิภาพ เพื่ออำนวยความสะดวกให้กับนักวิจัยและนักพัฒนา
Colossal-AI ได้ใช้โอเพนซอร์สโซลูชันสถาปัตยกรรมการเกิดซ้ำของ Sora อย่าง Open-Sora โดยอ้างว่าสามารถลดต้นทุนการเกิดซ้ำได้ 46% และขยายความยาวลำดับอินพุตการฝึกโมเดลเป็น 819K แพตช์ โซลูชันการสร้างอัลกอริทึมของ Sora ในรายงานทางเทคนิคของ Sora นั้น Sora ใช้เครือข่ายการบีบอัดวิดีโอเพื่อบีบอัดวิดีโอขนาดต่างๆ ให้เป็นลำดับของบล็อกเชิงพื้นที่ชั่วคราวในพื้นที่แฝง จากนั้นใช้ Diffusion Transformer ในการลดสัญญาณรบกวน และสุดท้ายก็ถอดรหัสเพื่อสร้างวิดีโอ Open-Sora สรุปขั้นตอนการฝึกอบรมที่ Sora อาจใช้เพื่อมอบโซลูชันสถาปัตยกรรมการเกิดซ้ำของ Sora ที่สมบูรณ์ รวมถึงกระบวนการทั้งหมดตั้งแต่การประมวลผลข้อมูลไปจนถึงการอนุมานการฝึกอบรม ปัจจุบัน Open-Sora ได้มอบโซลูชันสถาปัตยกรรมการเกิดซ้ำของ Sora ที่สมบูรณ์ ซึ่งรวมถึงกระบวนการทั้งหมดตั้งแต่การประมวลผลข้อมูลไปจนถึงการอนุมานการฝึกอบรม การรองรับความละเอียดแบบไดนามิก โครงสร้างแบบจำลองหลายรูปแบบ วิธีการบีบอัดวิดีโอหลายวิธี และการเพิ่มประสิทธิภาพการฝึกอบรมแบบขนานหลายรายการ ในแง่ของประสิทธิภาพ การทดสอบประสิทธิภาพของรุ่น DiT-XL/2 บน GPU H800 SXM 8*80GB เดี่ยวเป็นตัวอย่าง ที่ความยาวลำดับ 600K โซลูชัน Open-Sora มีการปรับปรุงประสิทธิภาพมากกว่า 40% และ ต้นทุนเมื่อเทียบกับโซลูชันพื้นฐานลดลง ที่อยู่โอเพ่นซอร์ส Open-Sora: https://github.com/hpcaitech/Open-Soraโอเพ่นซอร์สของ Open-Sora มอบทรัพยากรอันมีค่าแก่นักวิจัยและนักพัฒนา ซึ่งช่วยเร่งความก้าวหน้าของเทคโนโลยีการสร้างวิดีโอ ประสิทธิภาพสูงและต้นทุนต่ำคาดว่าจะกระตุ้นให้ผู้คนเข้าร่วมการวิจัยในสาขานี้มากขึ้น เราหวังว่าจะปรับปรุงและพัฒนา Open-Sora ต่อไปในอนาคตเพื่อสนับสนุนด้านการสร้างวิดีโอ AI มากขึ้น