Alat panduan pembuatan gambar/video ControlNeXt sumber terbuka yang dibuat oleh tim Jiajiaya Tiongkok Hong Kong dapat disebut sebagai "artefak penurunan berat badan" dalam industri AI. Ukurannya kecil, sangat kompatibel dengan model seri Difusi Stabil, dan bersifat plug-and-play, sehingga sangat menyederhanakan proses pengoperasian. ControlNeXt mendukung berbagai mode kontrol, seperti panduan tepi, kontrol postur, masking, dan kontrol kedalaman lapangan. Kemampuan kontrolnya yang kuat bahkan dapat mengontrol gerakan tarian Iron Man secara akurat. Yang lebih menakjubkan lagi adalah kecepatan pelatihan dan kecepatan pembangkitannya jauh lebih cepat daripada ControlNet, dan efisiensinya meningkat pesat.
ControlNeXt mendukung berbagai mode kontrol, termasuk panduan tepi, kontrol postur, masking, dan kontrol kedalaman lapangan. Ia bahkan dapat membiarkan Iron Man menarikan tarian indah dengan gerakan presisi hingga ke jari-jarinya, menunjukkan kemampuan kontrolnya yang kuat.
Rahasia penurunan berat badan ControlNeXt adalah dengan cerdik menghilangkan cabang kontrol pemakan besar di ControlNet dan menggantinya dengan paket makanan ringan yang terdiri dari sejumlah kecil blok ResNet. Meskipun modul kecil dan indah ini hanya sepersepuluh dari ukuran aslinya, modul ini dapat dengan sempurna mengekstrak fitur dari berbagai kondisi kontrol.
Tidak hanya itu, ControlNeXt juga seorang jenius dalam belajar. Hanya diperlukan 400 langkah untuk mempelajari keterampilan baru, sementara ControlNet membutuhkan ribuan langkah. Dalam hal kecepatan pembangkitan, ControlNeXt bahkan lebih baik lagi, hanya menghasilkan penundaan 10,4%, sedangkan ControlNet memerlukan penundaan penuh sebesar 41,9%.
Keahlian unik lainnya dari ControlNeXt adalah normalisasi silang. Teknologi ini seperti mengadakan pesta untuk fitur-fiturnya, sehingga distribusi datanya selaras mungkin, sehingga menghindari sensitivitas inisialisasi parameter dan memungkinkan kondisi kontrol diterapkan pada awal pelatihan.
ControlNeXt seperti Transformer di dunia AI, kecil dan fleksibel namun bertenaga. Ini tidak hanya memungkinkan gadis dua dimensi untuk menyesuaikan garis kontrol dengan sempurna, tetapi juga menciptakan karakter lintas dimensi dengan gaya berbeda. Dengan artefak ini, saya yakin kita akan segera dapat melihat lebih banyak karya seni AI yang menakjubkan!
Beranda proyek: https://pbihao.github.io/projects/controlnext/index.html
ControlNeXt menghadirkan kemungkinan baru di bidang pembuatan gambar/video AI dengan kemampuan kontrolnya yang efisien, ringan, dan bertenaga. Fitur open sourcenya juga memudahkan pengembang untuk melakukan penelitian dan aplikasi yang lebih mendalam. Saya yakin akan ada lebih banyak aplikasi inovatif berdasarkan ControlNeXt di masa depan. Kami menantikan ControlNeXt bersinar di bidang kreasi seni AI!