IC-Light adalah proyek untuk memanipulasi pencahayaan gambar.
Nama "IC-Light" adalah singkatan dari "Imforming Consistent Light" (kami akan menjelaskannya secara singkat di akhir halaman ini).
Saat ini, kami merilis dua jenis model: model pencahayaan ulang yang dikondisikan teks dan model yang dikondisikan latar belakang. Kedua jenis ini mengambil gambar latar depan sebagai masukan.
Beberapa berita tentang fluks ada di sini.
Skrip di bawah ini akan menjalankan model relighting yang dikondisikan teks:
git clone https://github.com/lllyasviel/IC-Light.git cd IC-Light conda create -n iclight python=3.10 conda activate iclight pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121 pip install -r requirements.txt python gradio_demo.py
Atau, untuk menggunakan demo yang dikondisikan di latar belakang:
python gradio_demo_bg.py
Pengunduhan model dilakukan secara otomatis.
Perhatikan bahwa "gradio_demo.py" memiliki HuggingFace Space resmi di sini.
(Perhatikan bahwa "Preferensi Pencahayaan" hanyalah laten awal - misalnya, jika Preferensi Pencahayaan adalah "Kiri" maka laten awal adalah kiri putih kanan hitam.)
Prompt: wanita cantik, wajah detail, suasana hangat, di rumah, kamar tidur
Preferensi Pencahayaan: Kiri
Prompt: wanita cantik, wajah detail, sinar matahari dari jendela
Preferensi Pencahayaan: Kiri
wanita cantik, wajah detail, neon, Wong Kar-wai, hangat
Preferensi Pencahayaan: Kiri
Prompt: wanita cantik, wajah detail, sinar matahari, luar ruangan, suasana hangat
Preferensi Pencahayaan: Benar
Prompt: wanita cantik, wajah detail, sinar matahari, luar ruangan, suasana hangat
Preferensi Pencahayaan: Kiri
Prompt: wanita cantik, wajah detail, sinar matahari dari jendela
Preferensi Pencahayaan: Benar
Prompt: wanita cantik, detail wajah, bayangan dari jendela
Preferensi Pencahayaan: Kiri
Prompt: wanita cantik, wajah detail, matahari terbenam di atas laut
Preferensi Pencahayaan: Benar
Prompt: anak laki-laki tampan, detail wajah, lampu neon, kota
Preferensi Pencahayaan: Kiri
Prompt: wanita cantik, detail wajah, cahaya dan bayangan
Preferensi Pencahayaan: Kiri
(wanita cantik, wajah detail, pencahayaan studio lembut)
Prompt: Buddha, wajah detail, sci-fi RGB bercahaya, cyberpunk
Preferensi Pencahayaan: Kiri
Prompt: Buddha, detail wajah, pencahayaan alami
Preferensi Pencahayaan: Kiri
Petunjuk: mainan, detail wajah, bayangan dari jendela
Preferensi Pencahayaan: Bawah
Petunjuk: mainan, detail wajah, matahari terbenam di atas laut
Preferensi Pencahayaan: Benar
Prompt: anjing, lampu ajaib, pencahayaan RGB sci-fi, pencahayaan studio
Preferensi Pencahayaan: Bawah
Prompt: manusia misterius, suasana hangat, suasana hangat, di rumah, kamar tidur
Preferensi Pencahayaan: Benar
Model yang dikondisikan latar belakang tidak memerlukan dorongan yang cermat. Seseorang cukup menggunakan petunjuk sederhana seperti "pria tampan, pencahayaan sinematik".
Visualisasi yang lebih terstruktur:
Dalam ruang HDR, iluminasi memiliki sifat bahwa semua transpor cahaya bersifat independen.
Hasilnya, perpaduan tampilan sumber cahaya berbeda setara dengan tampilan sumber cahaya campuran:
Dengan menggunakan tahap cahaya di atas sebagai contoh, dua gambar dari "campuran tampilan" dan "campuran sumber cahaya" konsisten (idealnya setara secara matematis dalam ruang HDR).
Kami menerapkan konsistensi seperti itu (menggunakan MLP di ruang laten) saat melatih model yang menyala kembali.
Hasilnya, model ini mampu menghasilkan pencahayaan ulang yang sangat konsisten - sangat konsisten sehingga pencahayaan ulang yang berbeda bahkan dapat digabungkan sebagai peta biasa! Terlepas dari kenyataan bahwa model tersebut adalah difusi laten.
Dari kiri ke kanan adalah masukan, keluaran model yang menyala kembali, gambar bayangan yang dibagi, dan gabungan peta normal. Perhatikan bahwa model ini tidak dilatih dengan data peta normal apa pun. Estimasi normal ini berasal dari konsistensi relighting.
Anda dapat mereproduksi eksperimen ini menggunakan tombol ini (4x lebih lambat karena menyalakan ulang gambar 4 kali)
Di bawah ini adalah gambar yang lebih besar (silakan coba sendiri untuk mendapatkan hasil lebih banyak!)
Sebagai referensi, geowizard (geowizard adalah karya yang sangat hebat!):
Dan, switchlight (switchlight adalah karya hebat lainnya!):
iclight_sd15_fc.safetensors - Model penyalaan ulang default, dikondisikan pada teks dan latar depan. Anda dapat menggunakan laten awal untuk mempengaruhi penyalaan kembali.
iclight_sd15_fcon.safetensors - Sama seperti "iclight_sd15_fc.safetensors" tetapi dilatih dengan noise offset. Perhatikan bahwa "iclight_sd15_fc.safetensors" default sedikit mengungguli model ini dalam studi pengguna. Dan inilah alasan mengapa model defaultnya adalah model tanpa noise offset.
iclight_sd15_fbc.safetensors - Menyalakan ulang model yang dikondisikan dengan teks, latar depan, dan latar belakang.
Perhatikan juga bahwa BRIA RMBG 1.4 asli ditujukan untuk penggunaan non-komersial. Jika Anda menggunakan IC-Light dalam proyek komersial, gantilah dengan pengganti latar belakang lain seperti BiRefNet.
@Misc{iclight,
author = {Lvmin Zhang and Anyi Rao and Maneesh Agrawala},
title = {IC-Light GitHub Page},
year = {2024},
}Baca juga...
Total Relighting: Belajar Menyalakan Kembali Potret untuk Penggantian Latar Belakang
Harmonisasi yang Menyenangkan: Penggantian Latar Belakang Potret yang Sadar Pencahayaan
SwitchLight: Desain Bersama Arsitektur Berbasis Fisika dan Kerangka Pra-pelatihan untuk Pencahayaan Ulang Potret Manusia
