IC-Light es un proyecto para manipular la iluminación de imágenes.
El nombre "IC-Light" significa "Imposing Consistent Light" (lo describiremos brevemente al final de esta página).
Actualmente, lanzamos dos tipos de modelos: modelo de reiluminación condicionado por texto y modelo condicionado por fondo. Ambos tipos toman imágenes de primer plano como entrada.
Algunas noticias sobre flux están aquí.
El siguiente script ejecutará el modelo de reiluminación condicionado por texto:
git clone https://github.com/lllyasviel/IC-Light.git cd IC-Light conda create -n iclight python=3.10 conda activate iclight pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121 pip install -r requirements.txt python gradio_demo.py
O, para utilizar una demostración condicionada en segundo plano:
python gradio_demo_bg.py
La descarga del modelo es automática.
Tenga en cuenta que "gradio_demo.py" tiene un espacio oficial de huggFace aquí.
(Tenga en cuenta que las "Preferencias de iluminación" son solo latentes iniciales; por ejemplo, si la Preferencia de iluminación es "Izquierda", entonces la latente inicial es izquierda, blanca, derecha, negra).
Aviso: mujer hermosa, rostro detallado, ambiente cálido, en casa, dormitorio
Preferencia de iluminación: izquierda
Mensaje: mujer hermosa, rostro detallado, luz del sol desde la ventana
Preferencia de iluminación: izquierda
mujer hermosa, rostro detallado, neón, Wong Kar-wai, cálido
Preferencia de iluminación: izquierda
Aviso: mujer hermosa, rostro detallado, sol, aire libre, ambiente cálido
Preferencia de iluminación: Derecha
Aviso: mujer hermosa, rostro detallado, sol, aire libre, ambiente cálido
Preferencia de iluminación: izquierda
Mensaje: mujer hermosa, rostro detallado, luz del sol desde la ventana
Preferencia de iluminación: Derecha
Mensaje: mujer hermosa, rostro detallado, sombra desde la ventana
Preferencia de iluminación: izquierda
Mensaje: mujer hermosa, rostro detallado, puesta de sol sobre el mar
Preferencia de iluminación: Derecha
Mensaje: chico guapo, rostro detallado, luz de neón, ciudad
Preferencia de iluminación: izquierda
Mensaje: mujer hermosa, rostro detallado, luces y sombras.
Preferencia de iluminación: izquierda
(mujer hermosa, rostro detallado, iluminación suave de estudio)
Mensaje: Buda, rostro detallado, brillo RGB de ciencia ficción, cyberpunk
Preferencia de iluminación: izquierda
Mensaje: Buda, rostro detallado, iluminación natural.
Preferencia de iluminación: izquierda
Mensaje: juguete, cara detallada, sombra desde la ventana
Preferencia de iluminación: inferior
Mensaje: juguete, cara detallada, puesta de sol sobre el mar.
Preferencia de iluminación: Derecha
Aviso: perro, iluminación mágica, iluminación RGB de ciencia ficción, iluminación de estudio
Preferencia de iluminación: inferior
Aviso: humano misterioso, atmósfera cálida, atmósfera cálida, en casa, dormitorio.
Preferencia de iluminación: Derecha
El modelo condicionado en segundo plano no requiere indicaciones cuidadosas. Se pueden utilizar indicaciones simples como "hombre guapo, iluminación cinematográfica".
Una visualización más estructurada:
En el espacio HDR, la iluminación tiene la propiedad de que todos los transportes de luz son independientes.
Como resultado, la combinación de apariencias de diferentes fuentes de luz es equivalente a la apariencia con fuentes de luz mixtas:
Usando la etapa de luz anterior como ejemplo, las dos imágenes de la "mezcla de apariencia" y la "mezcla de fuente de luz" son consistentes (idealmente matemáticamente equivalentes en el espacio HDR).
Impusimos dicha coherencia (usando MLP en el espacio latente) al entrenar los modelos de reiluminación.
Como resultado, el modelo es capaz de producir un reencendido muy consistente, ¡ tan consistente que incluso se pueden fusionar diferentes reencendidos como mapas normales! A pesar de que los modelos están latentes en la difusión.
De izquierda a derecha están las entradas, las salidas del modelo, la reiluminación, la imagen de sombra dividida y los mapas normales fusionados. Tenga en cuenta que el modelo no está entrenado con ningún dato de mapa normal. Esta estimación normal proviene de la consistencia del reencendido.
Puedes reproducir este experimento usando este botón (es 4 veces más lento porque vuelve a iluminar la imagen 4 veces)
A continuación se muestran imágenes más grandes (¡no dude en probarlas usted mismo para obtener más resultados!)
Como referencia, geowizard (¡geowizard es un trabajo realmente genial!):
Y Switchlight (¡Switchlight es otro gran trabajo!):
iclight_sd15_fc.safetensors : el modelo de iluminación predeterminado, condicionado al texto y al primer plano. Puede utilizar el latente inicial para influir en el reencendido.
iclight_sd15_fcon.safetensors : igual que "iclight_sd15_fc.safetensors" pero entrenado con ruido compensado. Tenga en cuenta que el "iclight_sd15_fc.safetensors" predeterminado supera ligeramente a este modelo en un estudio de usuarios. Y esta es la razón por la cual el modelo predeterminado es el modelo sin ruido compensado.
iclight_sd15_fbc.safetensors : modelo de reiluminación condicionado con texto, primer plano y fondo.
Además, tenga en cuenta que el BRIA RMBG 1.4 original es para uso no comercial. Si utiliza IC-Light en proyectos comerciales, reemplácelo con otro sustituto de fondo como BiRefNet.
@Misc{iclight,
author = {Lvmin Zhang and Anyi Rao and Maneesh Agrawala},
title = {IC-Light GitHub Page},
year = {2024},
}Lea también...
Reiluminación total: aprender a iluminar retratos para reemplazar el fondo
Armonización Relightful: Reemplazo del fondo de retrato consciente de la iluminación
SwitchLight: codiseño de arquitectura basada en la física y marco de preentrenamiento para la reiluminación de retratos humanos
