Tim Colossal-AI telah membuat solusi reproduksi algoritma Sora Open-Sora menjadi sumber terbuka, yang bertujuan untuk mengurangi biaya reproduksi dan meningkatkan kinerja. Solusi ini mencakup seluruh proses mulai dari pemrosesan data hingga inferensi pelatihan, mendukung berbagai struktur model, metode kompresi video, dan pengoptimalan pelatihan paralel, sehingga meningkatkan efisiensi pelatihan secara signifikan. Open-Sora menggunakan model DiT-XL/2 untuk melakukan uji kinerja panjang urutan 600K pada satu GPU H800 SXM 8*80GB. Hasilnya menunjukkan bahwa peningkatan kinerja dan pengurangan biaya melebihi 40%. Proyek ini berkomitmen untuk menyediakan solusi reproduksi Sora yang lengkap dan efisien untuk memberikan kemudahan bagi peneliti dan pengembang.
Colossal-AI telah menjadikan solusi arsitektur perulangan Sora yang lengkap sebagai sumber terbuka, Open-Sora, mengklaim dapat mengurangi biaya perulangan sebesar 46% dan memperluas panjang urutan masukan pelatihan model hingga 819 ribu patch. Solusi reproduksi algoritma Sora Dalam laporan teknis Sora, Sora menggunakan jaringan kompresi video untuk mengompresi video dengan berbagai ukuran menjadi rangkaian blok spatio-temporal dalam ruang laten, kemudian menggunakan Diffusion Transformer untuk denoising, dan akhirnya mendekode untuk menghasilkan video. Open-Sora merangkum jalur pelatihan yang mungkin digunakan Sora untuk menyediakan solusi arsitektur perulangan Sora yang lengkap, termasuk seluruh proses mulai dari pemrosesan data hingga inferensi pelatihan. Saat ini, Open-Sora telah menyediakan solusi arsitektur perulangan Sora yang lengkap, termasuk seluruh proses mulai dari pemrosesan data hingga inferensi pelatihan, mendukung resolusi dinamis, beberapa struktur model, beberapa metode kompresi video, dan beberapa optimalisasi pelatihan paralel. Dalam hal kinerja, dengan mengambil uji kinerja model DiT-XL/2 pada satu GPU H800 SXM 8*80GB sebagai contoh, pada panjang urutan 600K, solusi Open-Sora memiliki peningkatan kinerja lebih dari 40% dan biaya dibandingkan dengan solusi dasar mengurangi. Alamat sumber terbuka Open-Sora: https://github.com/hpcaitech/Open-Sora.Open source Open-Sora menyediakan sumber daya berharga bagi para peneliti dan pengembang, mempercepat kemajuan teknologi pembuatan video. Efisiensinya yang tinggi dan biayanya yang rendah diharapkan dapat mendorong lebih banyak orang untuk berpartisipasi dalam penelitian di bidang ini. Kami menantikan peningkatan dan pengembangan lebih lanjut Open-Sora di masa depan untuk berkontribusi lebih banyak pada bidang pembuatan video AI.