IC-Light ist ein Projekt zur Manipulation der Beleuchtung von Bildern.
Der Name „IC-Light“ steht für „Imposed Consistent Light“ (wir werden dies am Ende dieser Seite kurz beschreiben).
Derzeit veröffentlichen wir zwei Arten von Modellen: ein textbedingtes Relighting-Modell und ein hintergrundbedingtes Modell. Beide Typen verwenden Vordergrundbilder als Eingaben.
Hier gibt es Neuigkeiten zum Thema Flux.
Das folgende Skript führt das textbedingte Relighting-Modell aus:
git clone https://github.com/lllyasviel/IC-Light.git cd IC-Light conda create -n iclight python=3.10 conda activate iclight pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121 pip install -r requirements.txt python gradio_demo.py
Oder um eine hintergrundbedingte Demo zu verwenden:
python gradio_demo_bg.py
Das Herunterladen des Modells erfolgt automatisch.
Beachten Sie, dass „gradio_demo.py“ hier einen offiziellen HuggingFace-Bereich hat.
(Beachten Sie, dass es sich bei den „Beleuchtungspräferenzen“ nur um anfängliche latente Werte handelt. Wenn die Beleuchtungspräferenz z. B. „Links“ lautet, ist die anfängliche latente Farbe links weiß, rechts schwarz.)
Eingabeaufforderung: schöne Frau, detailliertes Gesicht, warme Atmosphäre, zu Hause, im Schlafzimmer
Beleuchtungspräferenz: Links
Aufforderung: schöne Frau, detailliertes Gesicht, Sonnenschein vom Fenster
Beleuchtungspräferenz: Links
schöne Frau, detailliertes Gesicht, Neon, Wong Kar-wai, warm
Beleuchtungspräferenz: Links
Aufforderung: schöne Frau, detailliertes Gesicht, Sonnenschein, draußen, warme Atmosphäre
Beleuchtungspräferenz: Richtig
Aufforderung: schöne Frau, detailliertes Gesicht, Sonnenschein, draußen, warme Atmosphäre
Beleuchtungspräferenz: Links
Aufforderung: schöne Frau, detailliertes Gesicht, Sonnenschein vom Fenster
Beleuchtungspräferenz: Richtig
Eingabeaufforderung: schöne Frau, detailliertes Gesicht, Schatten vom Fenster
Beleuchtungspräferenz: Links
Motiv: schöne Frau, detailliertes Gesicht, Sonnenuntergang über dem Meer
Beleuchtungspräferenz: Richtig
Eingabeaufforderung: hübscher Junge, detailliertes Gesicht, Neonlicht, Stadt
Beleuchtungspräferenz: Links
Eingabeaufforderung: schöne Frau, detailliertes Gesicht, Licht und Schatten
Beleuchtungspräferenz: Links
(schöne Frau, detailliertes Gesicht, sanfte Studiobeleuchtung)
Eingabeaufforderung: Buddha, detailliertes Gesicht, Science-Fiction-RGB-Glühen, Cyberpunk
Beleuchtungspräferenz: Links
Eingabeaufforderung: Buddha, detailliertes Gesicht, natürliches Licht
Beleuchtungspräferenz: Links
Eingabeaufforderung: Spielzeug, detailliertes Gesicht, Schatten vom Fenster
Beleuchtungspräferenz: Unten
Motiv: Spielzeug, detailliertes Gesicht, Sonnenuntergang über dem Meer
Beleuchtungspräferenz: Richtig
Eingabeaufforderung: Hund, magisches Licht, Science-Fiction-RGB-Glühen, Studiobeleuchtung
Beleuchtungspräferenz: Unten
Aufforderung: geheimnisvoller Mensch, warme Atmosphäre, warme Atmosphäre, zu Hause, im Schlafzimmer
Beleuchtungspräferenz: Richtig
Das hintergrundkonditionierte Modell erfordert keine sorgfältige Eingabeaufforderung. Man kann einfach einfache Aufforderungen wie „gutaussehender Mann, filmische Beleuchtung“ verwenden.
Eine strukturiertere Visualisierung:
Im HDR-Raum hat die Beleuchtung die Eigenschaft, dass alle Lichttransporte unabhängig sind.
Dadurch entspricht die Verschmelzung der Erscheinungen unterschiedlicher Lichtquellen der Erscheinung bei gemischten Lichtquellen:
Am Beispiel der obigen Lichtbühne sind die beiden Bilder aus der „Erscheinungsmischung“ und der „Lichtquellenmischung“ konsistent (idealerweise mathematisch äquivalent im HDR-Raum).
Wir haben diese Konsistenz (unter Verwendung von MLPs im latenten Raum) beim Training der Relighting-Modelle durchgesetzt.
Dadurch ist das Modell in der Lage, eine äußerst konsistente Neubeleuchtung zu erzeugen – so konsistent, dass verschiedene Neubeleuchtungen sogar als Normalkarten zusammengeführt werden können! Trotz der Tatsache, dass es sich bei den Modellen um latente Diffusion handelt.
Von links nach rechts sind Eingaben, Modellausgaben mit Neubeleuchtung, geteilte Schattenbilder und zusammengeführte Normalkarten zu sehen. Beachten Sie, dass das Modell nicht mit normalen Kartendaten trainiert wird. Diese normale Schätzung ergibt sich aus der Konsistenz der Wiederbeleuchtung.
Sie können dieses Experiment mit dieser Schaltfläche reproduzieren (es ist 4x langsamer, da das Bild viermal neu beleuchtet wird).
Unten finden Sie größere Bilder (versuchen Sie es gerne selbst, um mehr Ergebnisse zu erzielen!)
Als Referenz, Geowizard (Geowizard ist ein wirklich tolles Werk!):
Und switchlight (switchlight ist eine weitere tolle Arbeit!):
iclight_sd15_fc.safetensors – Das standardmäßige Neubeleuchtungsmodell, abhängig von Text und Vordergrund. Mit dem Initiallatent können Sie Einfluss auf die Nachzündung nehmen.
iclight_sd15_fcon.safetensors – Wie „iclight_sd15_fc.safetensors“, jedoch mit Offset-Rauschen trainiert. Beachten Sie, dass die Standardeinstellung „iclight_sd15_fc.safetensors“ dieses Modell in einer Benutzerstudie leicht übertrifft. Aus diesem Grund ist das Standardmodell das Modell ohne Offset-Rauschen.
iclight_sd15_fbc.safetensors – Neubeleuchtungsmodell konditioniert mit Text, Vordergrund und Hintergrund.
Beachten Sie außerdem, dass die ursprüngliche BRIA RMBG 1.4 für den nichtkommerziellen Gebrauch bestimmt ist. Wenn Sie IC-Light in kommerziellen Projekten verwenden, ersetzen Sie es durch einen anderen Hintergrundersatz wie BiRefNet.
@Misc{iclight,
author = {Lvmin Zhang and Anyi Rao and Maneesh Agrawala},
title = {IC-Light GitHub Page},
year = {2024},
}Lesen Sie auch ...
Total Relighting: Lernen, Porträts neu zu beleuchten, um den Hintergrund zu ersetzen
Relightful Harmonisation: Beleuchtungsbewusster Ersatz des Porträthintergrunds
SwitchLight: Co-Design einer physikgesteuerten Architektur und eines Pre-Training-Frameworks für die Neubeleuchtung menschlicher Porträts
