Tencent AI Lab dan Tencent PCG's ARC Lab bersama-sama merilis kerangka kerja baru yang disebut StereoCrafter. Teknologi ini dapat mengubah video 2D biasa menjadi video 3D stereoskopis dengan fidelitas tinggi, menghadirkan perubahan revolusioner pada pengalaman yang imersif. StereoCrafter menggunakan teknologi pembelajaran mendalam untuk mengatasi keterbatasan metode konversi video 3D tradisional, secara signifikan meningkatkan efek pembangkitan, dan dapat beradaptasi dengan persyaratan fidelitas tinggi dari berbagai perangkat tampilan untuk memenuhi permintaan konten 3D yang terus meningkat.
Baru-baru ini, Tencent AI Lab dan Tencent PCG's ARC Lab bersama-sama meluncurkan kerangka kerja baru yang disebut StereoCrafter, yang dapat mengubah video 2D biasa menjadi video 3D stereoskopis dengan fidelitas tinggi.
Inovasi ini menjawab meningkatnya permintaan akan konten 3D, khususnya di bidang pengalaman imersif. StereoCrafter memanfaatkan sepenuhnya keunggulan model dasar, mengatasi keterbatasan metode konversi tradisional, secara signifikan meningkatkan efek pembuatan, dan memastikan bahwa konten yang dihasilkan dapat memenuhi persyaratan fidelitas tinggi dari berbagai perangkat tampilan.
Inti dari sistem ini dibagi menjadi dua langkah utama. Langkah pertama adalah memetakan ulang video berdasarkan informasi kedalaman, mengekstrak informasi oklusi dan sekaligus melakukan transformasi video; langkah kedua adalah memperbaiki video stereoskopis. Sistem ini menggunakan model difusi video stabil yang telah dilatih sebelumnya sebagai dasar dan memperkenalkan protokol penyesuaian untuk tugas pengecatan video stereoskopis. Untuk menangani masukan video dengan panjang dan resolusi berbeda, tim juga mengeksplorasi strategi autoregresif dan teknik pemrosesan slicing untuk memastikan bahwa sistem dapat beradaptasi secara fleksibel terhadap berbagai kondisi masukan.
Untuk mendukung pelatihan, tim membangun jalur pemrosesan data canggih yang menghasilkan kumpulan data berskala besar dan berkualitas tinggi. Selama proses konstruksi kumpulan data, tim peneliti memilih dari sejumlah besar video stereoskopis dan menghasilkan kedalaman video yang sesuai, mengubah informasi video dan oklusi untuk memastikan bahwa video di sebelah kanan berfungsi sebagai tolok ukur nyata. Metode inovatif ini memberikan solusi praktis untuk mengubah video 2D menjadi video 3D, memungkinkan Apple Vision Pro dan perangkat layar 3D lainnya menghadirkan pengalaman imersif yang lebih menarik.
StereoCrafter bukan hanya sebuah terobosan teknologi, namun juga membawa perubahan potensial terhadap pengalaman media digital, yang berpotensi mengubah cara kita menonton dan menikmati konten digital.
Pintu masuk proyek: https://stereocrafter.github.io/
Menyorot:
StereoCrafter menggunakan teknologi baru untuk secara efisien mengkonversi video 2D menjadi video 3D stereoskopis yang imersif.
Sistem ini dibagi menjadi dua langkah utama: rekonstruksi video mendalam dan perbaikan video stereoskopik untuk meningkatkan efek pembangkitan.
Tim peneliti membangun kumpulan data berkualitas tinggi untuk mendukung pelatihan algoritme dan memastikan kualitas keluaran.
Kemunculan StereoCrafter menandai lompatan besar dalam teknologi konversi video 2D ke 3D. Efisiensi konversi yang efisien dan kualitas keluaran fidelitas tinggi akan sangat memperkaya pembuatan dan konsumsi konten 3D, memberikan pengalaman audio-visual yang lebih mendalam kepada pengguna. Kedepannya, teknologi ini diharapkan dapat digunakan secara luas dalam film, game, virtual reality dan bidang lainnya.