Editor Downcodes mengetahui bahwa para peneliti dari Nvidia dan Universitas Tel Aviv bersama-sama mengembangkan alat pembuat gambar AI yang disebut ComfyGen. Alat ini dapat secara otomatis menghasilkan alur kerja yang kompleks berdasarkan perintah teks sederhana, sehingga sangat menyederhanakan kesulitan dalam menghasilkan gambar berkualitas tinggi. ComfyGen menerobos keterbatasan metode teks-ke-gambar model tunggal tradisional. Dengan memilih model secara cerdas, menyesuaikan kata-kata cepat secara akurat, dan menggabungkannya dengan alat lain, ComfyGen mencapai efek pembuatan gambar yang lebih baik, membawa perubahan revolusioner pada bidang gambar AI. generasi. Keuntungan intinya adalah ia meniru gaya kerja para insinyur cepat berpengalaman dan dapat secara fleksibel menyesuaikan strategi sesuai dengan kebutuhan yang berbeda, yang secara signifikan akan menurunkan ambang batas untuk menghasilkan gambar dan meningkatkan efisiensi pengguna profesional.
Baru-baru ini, peneliti dari Nvidia dan Universitas Tel Aviv meluncurkan alat AI inovatif yang disebut ComfyGen, membawa terobosan baru di bidang pembuatan gambar. ComfyGen dapat secara otomatis menghasilkan alur kerja gambar yang kompleks berdasarkan perintah teks sederhana, sehingga sangat menyederhanakan proses pembuatan gambar berkualitas tinggi.
Kekuatan inti ComfyGen terletak pada pendekatan alur kerja multi-langkahnya. Tidak seperti metode teks-ke-gambar model tunggal tradisional, ComfyGen dengan cerdas memilih model yang sesuai, merumuskan perintah yang tepat, dan menggabungkannya dengan alat lain (seperti kaca pembesar gambar) untuk mencapai hasil terbaik. Pendekatan ini meniru cara kerja teknisi cepat yang berpengalaman, dengan kemampuan untuk menyesuaikan strategi pembuatan secara fleksibel berdasarkan konten teks berbeda dan gaya gambar yang diinginkan.
Alat ini menggunakan model bahasa tingkat lanjut (seperti Claude3.5Sonnet) untuk memahami perintah teks pengguna dan secara otomatis menghasilkan alur kerja yang sesuai. Para peneliti menggunakan dua metode untuk mencapai fungsi ini:
Pembelajaran kontekstual: Manfaatkan model bahasa yang ada untuk membantu model memilih alur kerja yang paling tepat untuk perintah baru dengan menyediakan tabel alur kerja dari berbagai kategori perintah dan skor rata-ratanya.
Penyempurnaan: Model bahasa (seperti Llama-3.1-8B dan -70B) dilatih secara khusus untuk memprediksi alur kerja yang sesuai dengan skor cepat dan target.
Dibandingkan dengan model tunggal tradisional (seperti Stable Diffusion XL) dan alur kerja tetap, ComfyGen berkinerja baik dalam penilaian otomatis dan studi pengguna. Penelitian menunjukkan bahwa alur kerja yang dihasilkan oleh ComfyGen dapat cocok dengan kategori perintah dengan baik, seperti model pembesaran wajah lebih cenderung digunakan saat memproses perintah manusia, sedangkan model yang benar secara anatomi lebih banyak digunakan saat memproses perintah animasi.
Keunggulan lain dari ComfyGen adalah kemampuan beradaptasinya. Hal ini dibangun berdasarkan alur kerja yang ada dan model penilaian yang dibuat oleh komunitas dan dapat dengan cepat beradaptasi dengan perkembangan teknologi baru. Namun, hal ini juga membawa batasan tertentu, yaitu sistem saat ini terutama mengandalkan data pelatihan yang diketahui untuk seleksi, yang mungkin membatasi keragaman dan orisinalitas alur kerja yang dihasilkan.
Ke depannya, tim peneliti berencana untuk mengembangkan lebih lanjut ComfyGen guna memungkinkan pembuatan alur kerja yang benar-benar baru dan memperluas penerapannya pada tugas gambar-ke-gambar. Mereka juga mengusulkan gagasan untuk menggabungkan pendekatan ini dengan pendekatan berbasis agen untuk mengoptimalkan alur kerja secara berulang melalui dialog pengguna, yang mungkin menjadi arah baru untuk penelitian di masa depan.
Kemunculan ComfyGen membawa kemungkinan baru dalam bidang pembuatan gambar AI:
Menurunkan hambatan masuk: Dengan mengotomatiskan alur kerja yang kompleks, ComfyGen dapat membantu pemula menghasilkan gambar berkualitas tinggi dengan lebih mudah.
Meningkatkan efisiensi: Untuk pengguna profesional, ComfyGen dapat sangat mengurangi waktu penyesuaian alur kerja secara manual dan meningkatkan efisiensi kerja.
Hasil yang dipersonalisasi: Dengan memilih model dan parameter secara cerdas, ComfyGen mampu menghasilkan gambar yang lebih dipersonalisasi berdasarkan kebutuhan yang berbeda.
Mempromosikan inovasi teknologi: Pendekatan ComfyGen dapat menginspirasi lebih banyak inovasi di bidang pembuatan gambar AI dan mendorong pengembangan alat yang lebih cerdas dan fleksibel.
Aplikasi lintas domain: Konsep yang dihasilkan oleh alur kerja cerdas ini dapat diterapkan ke bidang lain, seperti pemrosesan audio, pengeditan video, dll.
Meskipun kode dan demonstrasi ComfyGen belum dirilis ke publik, potensinya telah menarik perhatian luas di industri ini. Seiring dengan perkembangan dan peningkatan teknologi ini, kita dapat melihat lebih banyak alat kreasi cerdas berbasis AI bermunculan, membawa perubahan dan peluang baru bagi industri kreatif.
Secara keseluruhan, kemunculan ComfyGen menandai langkah maju yang besar dalam teknologi pembuatan gambar AI. Otomatisasi, efisiensi, dan personalisasinya akan sangat memengaruhi cara pembuatan gambar di masa depan. Kami menantikan rilis resmi ComfyGen dan menyaksikan perubahan yang dibawanya ke industri kreatif.