Penelitian Laboratorium Tongyi Alibaba telah membawa kemajuan terobosan pada kemampuan generasi gambar model grafik sastra dan biografi. Mereka menemukan bahwa model transformator difusi yang ada dapat menghasilkan set multi-piktur dengan hubungan spesifik hanya dengan sejumlah kecil panduan, yang menumbangkan kognisi bahwa model difusi tradisional memerlukan pelatihan data besar-besaran untuk menghasilkan gambar berkualitas tinggi. Inti dari penelitian ini adalah teknologi IC-Lora, yang secara efektif mengaktifkan kemampuan "pembelajaran konteks" model, yang memungkinkan model untuk memahami hubungan antara gambar dan menghasilkan urutan gambar dengan konsistensi logis. Teknologi ini tidak hanya meningkatkan efisiensi dan kualitas pembuatan gambar, tetapi juga mengurangi biaya pelatihan model, membawa perubahan revolusioner ke bidang pembuatan gambar AI.
Model difusi tradisional seperti siswa yang hancur, dan IC-Lora memberikannya kemampuan untuk belajar dari satu sama lain. Dengan menyambung beberapa gambar secara cerdik ke dalam gambar besar dan menggabungkan teks untuk menggambarkannya menjadi prop yang panjang, para peneliti memungkinkan model untuk memproses informasi dari banyak gambar pada saat yang sama dan memahami hubungan antara gambar. Pada saat yang sama, penyempurnaan dilakukan melalui sejumlah kecil koleksi gambar berkualitas tinggi, pengetahuan asli dan kemampuan belajar konteks model dipertahankan. Artikel ini mencantumkan beberapa kasus eksperimental, dengan jelas menunjukkan efek aplikasi IC-LORA dalam skenario yang berbeda, seperti menghasilkan gambar gaya komik, menghasilkan gambar dari berbagai ekspresi atau adegan berdasarkan gambar yang ada, dll. Munculnya IC-Lora telah mengurangi biaya pelatihan model AI dan memungkinkan lebih banyak orang untuk berpartisipasi dalam penciptaan AI. Alamat Proyek: https://ali-vilab.github.io/in-context-lora-page/
Kemajuan terobosan teknologi IC-Lora telah membawa kemungkinan baru ke bidang pembuatan gambar AI. Di masa depan, dengan kedewasaan berkelanjutan dan peningkatan teknologi, kita dapat menantikan aplikasi yang lebih inovatif berdasarkan IC-Lora dan aplikasi AI yang lebih luas di bidang penciptaan artistik.