IC-Light é um projeto para manipular a iluminação de imagens.
O nome "IC-Light" significa "Imposing Consistent Light" (descreveremos isso brevemente no final desta página).
Atualmente, lançamos dois tipos de modelos: modelo de reacendimento condicionado por texto e modelo condicionado por fundo. Ambos os tipos utilizam imagens de primeiro plano como entradas.
Algumas novidades sobre fluxo estão aqui.
O script abaixo executará o modelo de reacendimento condicionado por texto:
git clone https://github.com/lllyasviel/IC-Light.git cd IC-Light conda create -n iclight python=3.10 conda activate iclight pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121 pip install -r requirements.txt python gradio_demo.py
Ou, para usar a demonstração condicionada em segundo plano:
python gradio_demo_bg.py
O download do modelo é automático.
Observe que "gradio_demo.py" tem um huggingFace Space oficial aqui.
(Observe que as "Preferências de iluminação" são apenas latentes iniciais - por exemplo, se a preferência de iluminação for "Esquerda", a latente inicial será esquerda branca direita preta.)
Alerta: mulher bonita, rosto detalhado, ambiente acolhedor, em casa, quarto
Preferência de iluminação: Esquerda
Dica: mulher bonita, rosto detalhado, luz do sol da janela
Preferência de iluminação: Esquerda
mulher bonita, rosto detalhado, néon, Wong Kar-wai, caloroso
Preferência de iluminação: Esquerda
Alerta: mulher bonita, rosto detalhado, sol, ambiente externo e acolhedor
Preferência de iluminação: certa
Alerta: mulher bonita, rosto detalhado, sol, ambiente externo e acolhedor
Preferência de iluminação: Esquerda
Dica: mulher bonita, rosto detalhado, luz do sol da janela
Preferência de iluminação: certa
Dica: mulher bonita, rosto detalhado, sombra da janela
Preferência de iluminação: Esquerda
Dica: mulher bonita, rosto detalhado, pôr do sol sobre o mar
Preferência de iluminação: certa
Dica: menino bonito, rosto detalhado, luz neon, cidade
Preferência de iluminação: Esquerda
Alerta: mulher bonita, rosto detalhado, luz e sombra
Preferência de iluminação: Esquerda
(mulher bonita, rosto detalhado, iluminação suave de estúdio)
Dica: Buda, rosto detalhado, ficção científica RGB brilhante, cyberpunk
Preferência de iluminação: Esquerda
Dica: Buda, rosto detalhado, iluminação natural
Preferência de iluminação: Esquerda
Dica: brinquedo, rosto detalhado, sombra da janela
Preferência de iluminação: inferior
Dica: brinquedo, rosto detalhado, pôr do sol sobre o mar
Preferência de iluminação: certa
Prompt: cachorro, iluminação mágica, brilho RGB de ficção científica, iluminação de estúdio
Preferência de iluminação: inferior
Alerta: misterioso humano, atmosfera calorosa, atmosfera calorosa, em casa, quarto
Preferência de iluminação: certa
O modelo condicionado em segundo plano não requer orientação cuidadosa. Pode-se apenas usar instruções simples como “homem bonito, iluminação cinematográfica”.
Uma visualização mais estruturada:
No espaço HDR, a iluminação tem a propriedade de que todos os transportes de luz são independentes.
Como resultado, a mistura das aparências de diferentes fontes de luz é equivalente à aparência com fontes de luz mistas:
Usando o estágio de luz acima como exemplo, as duas imagens da "mistura de aparência" e da "mistura de fonte de luz" são consistentes (matematicamente equivalentes no espaço HDR, idealmente).
Impusemos tal consistência (usando MLPs no espaço latente) ao treinar os modelos de reacender.
Como resultado, o modelo é capaz de produzir reacender altamente consistente - tão consistente que diferentes reacender podem até ser mesclados como mapas normais! Apesar de os modelos serem de difusão latente.
Da esquerda para a direita estão as entradas, a reiluminação das saídas do modelo, a imagem de sombra dividida e os mapas normais mesclados. Observe que o modelo não é treinado com nenhum dado normal do mapa. Esta estimativa normal vem da consistência do reacendimento.
Você pode reproduzir esta experiência usando este botão (é 4x mais lento porque reacende a imagem 4 vezes)
Abaixo estão imagens maiores (sinta-se à vontade para tentar obter mais resultados!)
Para referência, geowizard (geowizard é um ótimo trabalho!):
E switchlight (switchlight é outro ótimo trabalho!):
iclight_sd15_fc.safetensors - O modelo de reacendimento padrão, condicionado ao texto e ao primeiro plano. Você pode usar a latente inicial para influenciar o reacendimento.
iclight_sd15_fcon.safetensors - O mesmo que "iclight_sd15_fc.safetensors", mas treinado com ruído de deslocamento. Observe que o padrão "iclight_sd15_fc.safetensors" supera ligeiramente este modelo em um estudo de usuário. E esta é a razão pela qual o modelo padrão é o modelo sem ruído de deslocamento.
iclight_sd15_fbc.safetensors - Modelo de reacendimento condicionado com texto, primeiro plano e fundo.
Além disso, observe que o BRIA RMBG 1.4 original é para uso não comercial. Se você usa IC-Light em projetos comerciais, substitua-o por outro substituto de segundo plano como BiRefNet.
@Misc{iclight,
author = {Lvmin Zhang and Anyi Rao and Maneesh Agrawala},
title = {IC-Light GitHub Page},
year = {2024},
}Leia também ...
Reacender Total: Aprendendo a Reacender Retratos para Substituição de Fundo
Harmonização Relightful: Substituição de fundo de retrato com reconhecimento de iluminação
SwitchLight: co-projeto de arquitetura baseada na física e estrutura de pré-treinamento para iluminação de retratos humanos
