Tim peneliti Universitas Nasional Singapura telah mengembangkan kerangka kerja pembuatan gambar baru yang disebut Ominicontrol. Ominicontrol menggunakan model konverter difusi pra -terlatih (DIT) untuk menggabungkan kondisi gambar untuk mencapai integrasi tema yang kuat dan kemampuan penyelarasan spasial. Ini dapat menangani berbagai kondisi dan tugas gambar, seperti pembuatan tema dan penggunaan informasi seperti tepi dan peta kedalaman untuk penyelarasan ruang, yang menunjukkan keunggulan besar dalam tugas pembuatan gambar yang digerakkan oleh tema.
Di era digital saat ini, teknologi pembuatan gambar berkembang pada tingkat yang mengkhawatirkan. Baru -baru ini, tim peneliti dari Universitas Nasional Singapura telah mengusulkan kerangka kerja baru -Meinicontrol, yang bertujuan untuk meningkatkan fleksibilitas dan efisiensi pembuatan gambar. Kerangka kerja ini membawa sepenuhnya penggunaan model transformator terlatih (DIT) yang telah memanfaatkan sepenuhnya transformator terlatih dengan menggabungkan kondisi gambar, membawa kemampuan kontrol yang belum pernah terjadi sebelumnya.
Sederhananya, selama diagram material disediakan, tema diagram material dapat diintegrasikan ke dalam gambar yang dihasilkan dengan ominicontrol. Sebagai contoh, Xiaobian mengunggah peta materi di sebelah kiri, dan memasukkan kata cepat "Chip orang yang ditempatkan di sebelah meja di kantor dokter, dan meja diletakkan di atas meja."
Inti dari ominicontrol adalah "mekanisme penggunaan kembali parameter". Mekanisme ini memungkinkan model DIT untuk memproses kondisi gambar secara efektif dengan parameter tambahan yang lebih sedikit. Ini berarti bahwa dibandingkan dengan metode yang ada, ominicontrol dapat mencapai fungsi yang kuat hanya dengan menambahkan 0,1% hingga 0,1%. Selain itu, dapat menangani berbagai kondisi dan tugas gambar secara seragam, seperti generasi berbasis tema dan penerapan kondisi penyelarasan ruang, seperti tepi dan peta kedalaman. Fleksibilitas ini sangat cocok untuk tugas pembuatan tema -yang didorong.
Tim peneliti juga menekankan bahwa ominicontrol adalah untuk mencapai kemampuan ini melalui gambar pelatihan, yang sangat penting untuk generasi tema -yang didorong. Setelah penilaian yang luas, ominicontrol telah secara signifikan melebihi model UNET yang ada dan model adaptif DIT dalam tugas -tugas generasi mengemudi tema dan kondisi penyelarasan ruang. Penelitian ini telah membawa kemungkinan baru ke bidang penciptaan.
Untuk mendukung berbagai penelitian yang lebih luas, tim juga merilis set data pelatihan yang disebut subjek200K, yang berisi lebih dari 200.000 gambar yang seragam dan menyediakan pipa sintesis data yang efisien. Kumpulan data ini akan memberi para peneliti sumber daya harta karun untuk membantu mereka mengeksplorasi lebih lanjut tema untuk menghasilkan tugas dengan suara bulat.
Peluncuran Omini tidak hanya meningkatkan efisiensi dan efek pembuatan gambar, tetapi juga memberikan lebih banyak kemungkinan untuk penciptaan artistik. Dengan kemajuan teknologi yang berkelanjutan, generasi citra di masa depan akan lebih cerdas dan dipersonalisasi.
Pengalaman online: https://huggingface.co/spaces/yuanshi/ominicontrol
Github: https: //github.com/yuanshi9815/ominicontrol
Tesis: https://arxiv.org/html/2411.15098v2
Poin:
Ominicontrol melalui mekanisme penggunaan kembali parameter untuk membuat kapasitas kontrol pembuatan gambar lebih kuat dan lebih efisien.
Kerangka kerja ini dapat menangani berbagai kondisi dan tugas gambar secara bersamaan, seperti tepi dan peta kedalaman untuk memenuhi berbagai kebutuhan kreatif.
Tim merilis set data lebih dari 200.000 gambar subjek200K, membantu penelitian dan eksplorasi lebih lanjut.
Munculnya ominicontrol menandai bahwa teknologi generasi gambar telah bergerak menuju tonggak baru. Mekanisme penggunaan kembali parameter yang efisien dan kemampuan pemrosesan multi -tasking yang kuat memberikan alat yang kuat bagi seniman dan peneliti, dan juga menunjukkan potensi tak terbatas dari teknologi pembuatan gambar di masa depan. Selamat datang di tautan yang disediakan untuk mempelajari detail lebih lanjut dan mengalami ominicontrol.