Regional Prompting FLUX

Schulungsfreie regionale Eingabeaufforderung für Diffusionstransformatoren

Anthony Chen ^1,2 · Jianjin Xu ³ · Wenzhao Zheng ⁴ · Gaole Dai ¹ · Yida Wang ⁵ · Renrui Zhang ⁶ · Haofan Wang ² · Shanghang Zhang ^1*

¹ Peking University · ² InstantX Team · ³ Carnegie Mellon University · ⁴ UC Berkeley · ⁵ Li Auto Inc. · ⁶ CUHK

Trainingsfreies regionales Prompting für Diffusionstransformatoren (Regional-Prompting-FLUX) ermöglicht Diffusionstransformatoren (d. h. FLUX) mit feinkörniger kompositorischer Text-zu-Bild-Generierungsfähigkeit auf trainingsfreie Weise. Empirisch zeigen wir, dass unsere Methode hochwirksam und mit LoRA und ControlNet kompatibel ist.

Wir schließen viel schneller als die RPG-basierte Implementierung und beanspruchen dennoch weniger GPU-Speicher .

Freigeben

• [05.11.2024] Wir veröffentlichen den Code, probieren Sie ihn gerne aus!

• [05.11.2024] Wir veröffentlichen den technischen Bericht!

Demos

Benutzerdefinierte regionale Kontrolle

Regionale Masken	Konfiguration	Generiertes Ergebnis
Rot: Cocktailregion (xyxy: [450, 560, 960, 900]) Grün: Tabellenbereich (xyxy: [320, 900, 1280, 1280]) Blau: Hintergrund	Basis-Eingabeaufforderung: „Ein tropischer Cocktail auf einem Holztisch am Strand bei Sonnenuntergang.“ Hintergrundaufforderung: „Ein Foto“ Regionale Hinweise: Region 0: „Ein bunter Cocktail im Glas mit tropischen Früchten und einem Papierschirm, mit Eiswürfeln und Kondenswasser.“ Region 1: „Verwitterter Holztisch mit Muscheln und einer Serviette.“ Einstellungen: Bildgröße: 1280x1280 Samen: 124 Schritte zur Maskeninjektion: 10 Doppeltes Injektionsintervall: 1 Einzelinjektionsintervall: 2 Basisverhältnis: 0,1
Rot: Regenbogenregion (xyxy: [0, 0, 1280, 256]) Grün: Schiffsregion (xyxy: [0, 256, 1280, 520]) Gelb: Fischregion (xyxy: [0, 520, 640, 768]) Blau: Schatzregion (xyxy: [640, 520, 1280, 768])	Basis-Eingabeaufforderung: „Ein majestätisches Schiff segelt unter einem Regenbogen, während lebendige Meeresbewohner durch das kristallklare Wasser gleiten und die Wunder der Natur verkörpern, während eine alte, rostige Schatztruhe auf dem Meeresboden verborgen liegt.“ Regionale Hinweise: Region 0: „Ein riesiger, strahlender Regenbogen wölbt sich über den weiten Himmel, leuchtet in lebendigen Farben und vermischt sich mit sanft dahinziehenden ätherischen Wolken, wirft ein magisches Licht über die Szene und schafft eine surreale, traumhafte Atmosphäre.“ Region 1: „Das majestätische Schiff mit seinen großen Segeln, die sich vor dem kristallblauen Wasser wehen, gleitet vorwärts, während Vögel über ihm schweben. Sein Rumpf und seine Segel spiegeln die lebendigen Farben des Meeres wider und verkörpern ein Gefühl von Abenteuer und Geheimnis, während es durch diese verzauberte Gegend reist.“ Welt." Region 2: „Unter dem glitzernden Wasser schießen Schwärme bunter Fische spielerisch umher, ihre Schuppen blinken in Gelb-, Blau- und Orangetönen. Winzige Seepferdchen treiben vorbei, während sanfte Schildkröten paddeln und so eine lebendige, bezaubernde Unterwasserszene schaffen.“ Region 3: „Auf dem Meeresboden liegt eine uralte, rostige Schatztruhe, die stark mit Seepocken und Algen verkrustet ist. Das korrodierte Metall und das verwitterte Holz der Truhe deuten auf Jahrhunderte hin, die sie unter Wasser verbracht hat. Der Deckel ist leicht geöffnet und zeigt ein schwaches Leuchten im Inneren, so klein Fische huschen umher und verleihen dem vergessenen Relikt einen Hauch von Geheimnis.“ Einstellungen: Bildgröße: 1280x768 Samen: 124 Schritte zur Maskeninjektion: 10 Doppeltes Injektionsintervall: 1 Einzelinjektionsintervall: 1 Basisverhältnis: 0,2
Rot: Frau mit Fackelregion (xyxy: [128, 128, 640, 768]) Grün: Hintergrund	Basis-Eingabeaufforderung: „Eine alte Frau steht feierlich da und hält eine lodernde Fackel in der Hand, während im Hintergrund eine erbitterte Schlacht tobt, die sowohl Stärke als auch Tragödie in einer historischen Kriegsszene einfängt.“ Hintergrundaufforderung: „Ein Foto.“ Regionale Hinweise: Region 0: „Eine würdevolle Frau in alten Gewändern steht im Vordergrund, ihr Gesicht wird von der Fackel beleuchtet, die sie hoch hält. Ihr Gesichtsausdruck ist von Entschlossenheit und Trauer geprägt, ihre Kleidung und ihr Aussehen spiegeln die historische Zeit wider. Die Fackel wirft dramatische Schatten auf sie Merkmale, seine Flammen tanzen lebhaft gegen die Dunkelheit. Einstellungen: Bildgröße: 1280x768 Samen: 124 Schritte zur Maskeninjektion: 10 Doppeltes Injektionsintervall: 1 Einzelinjektionsintervall: 1 Basisverhältnis: 0,3
Rot: Hunderegion (assets/demo_custom_0_mask_0.png) Grün: Cat-Region (assets/demo_custom_0_mask_1.png) Blau: Hintergrund	Basis-Eingabeaufforderung: „Hund und Katze sitzen auf üppigem grünem Gras, in einer sonnigen Umgebung im Freien.“ Hintergrundaufforderung: „Ein Foto“ Regionale Hinweise: Region 0: „Ein freundlicher Golden Retriever mit luxuriösem goldenem Fell, Schlappohren und warmem Gesichtsausdruck, der auf leuchtend grünem Gras sitzt.“ Region 1: „Eine goldene Britisch-Kurzhaarkatze mit rundem Gesicht, Plüschfell und kupferfarbenen Augen, die königlich sitzt“ Einstellungen: Bildgröße: 1280x768 Samen: 124 Schritte zur Maskeninjektion: 10 Doppeltes Injektionsintervall: 1 Einzelinjektionsintervall: 2 Basisverhältnis: 0,1	Hinweis: Die Generierung mit der Segmentierungsmaske ist eine experimentelle Funktion. Das generierte Bild ist nicht perfekt durch die Regionen eingeschränkt. Wir gehen davon aus, dass dies daran liegt, dass die Maske während des Downsampling-Prozesses eine Verschlechterung erleidet.

LoRA-Kompatibilität

Regionale Masken	Konfiguration	Generiertes Ergebnis
Rot: Dinosaurierregion (xyxy: [0, 0, 640, 1280]) Blau: Stadtregion (xyxy: [640, 0, 1280, 1280])	Basis-Eingabeaufforderung: „Skizzierter Stil: Ein niedlicher Dinosaurier, der in einer fröhlichen Szene spielerisch winzige Feuerwolken über eine Cartoon-Stadt bläst.“ Regionale Hinweise: Region 0: „Skizzierter Stil, Dinosaurier mit runden Augen und einem verschmitzten Lächeln, der kleine Flammen über die Stadt bläst.“ Region 1: „Skizzierter Stil, Stadt mit bunten Gebäuden und winzigen Flammen, die sanft darüber schweben und eine verspielte Note verleihen.“ Einstellungen: Bildgröße: 1280x1280 Samen: 1298 Schritte zur Maskeninjektion: 10 Doppeltes Injektionsintervall: 1 Einzelinjektionsintervall: 1 Basisverhältnis: 0,1 LoRA: Pfad: Shakker-Labs/FLUX.1-dev-LoRA-Children-Simple-Sketch Maßstab: 1,5 Auslösewörter: „skizzierter Stil“
Rot: UFO-Region (xyxy: [320, 320, 640, 640])	Basis-Eingabeaufforderung: „Ein niedliches UFO im Cartoon-Stil, das über einer sonnigen Stadtstraße schwebt. Der künstlerische Stil verbindet Realität und Illustrationselemente.“ Hintergrundaufforderung: „Ein Foto“ Regionale Hinweise: Region 0: „Ein silbernes UFO im Cartoon-Stil mit blinkenden Lichtern, die in der Luft schweben. Der künstlerische Stil verbindet Realität und Illustrationselemente.“ Einstellungen: Bildgröße: 1280x1280 Samen: 1298 Schritte zur Maskeninjektion: 10 Doppeltes Injektionsintervall: 1 Einzelinjektionsintervall: 2 Basisverhältnis: 0,2 LoRA: Pfad: Shakker-Labs/FLUX.1-dev-LoRA-Vector-Journey Maßstab: 1,0

ControlNet-Kompatibilität

Regionale Masken	Konfiguration	Generiertes Ergebnis
Rot: Erste Fahrzeugregion (xyxy: [0, 0, 426, 968]) Grün: Zweite Autoregion (xyxy: [426, 0, 853, 968]) Blau: Dritte Fahrzeugregion (xyxy: [853, 0, 1280, 968])	Basis-Eingabeaufforderung: „Drei Hochleistungssportwagen, rot, blau und gelb, rasen Seite an Seite auf einer Stadtstraße.“ Regionale Hinweise: Region 0: „Ein schnittiger roter Sportwagen an der Spitze, mit aggressivem aerodynamischem Design und glänzender Lackierung, die das Licht einfängt. Das Auto scheint sich mit hoher Geschwindigkeit zu bewegen, mit Bewegungsunschärfeeffekten.“ Region 1: „Ein kraftvoller blauer Sportwagen in der Mittelposition, Kopf an Kopf mit seinen Konkurrenten. Sein metallischer Lack schimmert, während er vorwärts rast, mit sichtbaren Geschwindigkeitslinien und dynamischer Bewegung.“ Region 2: „Ein auffälliger gelber Sportwagen auf dem dritten Platz, dessen kräftige Farbe sich von der Straße abhebt. Die aggressive Haltung und das aerodynamische Profil des Autos unterstreichen seine Rennleistung.“ Einstellungen: Bildgröße: 1280x968 Samen: 124 Schritte zur Maskeninjektion: 10 Double Inject Blocks Intervall: 1 Intervall für einzelne Injektionsblöcke: 2 Basisverhältnis: 0,2 ControlNet: Steuermodus: 2 ControlNet-Konditionierungsskala: 0,7
Rot: Frauenregion (xyxy: [0, 0, 640, 968]) Grün: Strandregion (xyxy: [640, 0, 1280, 968])	Basis-Eingabeaufforderung: „Eine Frau, die an einem wunderschönen Strand mit malerischem Blick auf die Küste spaziert.“ Regionale Hinweise: Region 0: „Eine Frau in einem fließenden Sommerkleid mit zarten rosa und blauen Blumenmustern, die barfuß am Sandstrand läuft. Ihr Kleid mit Blumenmuster weht anmutig in der Meeresbrise, während sie lässig am Ufer entlang spaziert, mit einem friedlichen Gesichtsausdruck Gesicht und ihr Haar, sanft vom Wind zerzaust. Region 1: „Eine atemberaubende Küstenlandschaft mit kristallklarem, türkisfarbenem Wasser, das bis zum Horizont reicht. Rhythmische Wellen rollen mit weißen Schaumkämmen heran und erzeugen ein faszinierendes Muster, wenn sie auf das Ufer schlagen. Die Wellen variieren in der Größe, einige plätschern dabei sanft über den Sand Andere drängen mit größerer Kraft vorwärts, sanfte Wellen hinterlassen komplizierte Muster auf dem nassen Sand und vereinzelte Palmen wiegen sich im Wind. Einstellungen: Bildgröße: 1280x968 Samen: 124 Schritte zur Maskeninjektion: 10 Double Inject Blocks Intervall: 1 Intervall für einzelne Injektionsblöcke: 2 Basisverhältnis: 0,2 ControlNet: Steuermodus: 4 ControlNet-Konditionierungsskala: 0,7

Installation

Um die Reproduzierbarkeit zu gewährleisten, verwenden wir frühere Commits aus dem Diffusor-Repo, da wir festgestellt haben, dass neue Diffusor-Versionen möglicherweise zu anderen Ergebnissen führen.

# install diffusers locally
git clone https://github.com/huggingface/diffusers.git
cd diffusers

# reset diffusers version to 0.31.dev, where we developed Regional-Prompting-FLUX on, different version may experience different results
git reset --hard d13b0d63c0208f2c4c078c4261caf8bf587beb3b
pip install -e ".[torch]"
cd ..

# install other dependencies
pip install -U transformers sentencepiece protobuf PEFT

# clone this repo
git clone https://github.com/antonioo-c/Regional-Prompting-FLUX.git

# replace file in diffusers
cd Regional-Prompting-FLUX
cp transformer_flux.py ../diffusers/src/diffusers/models/transformers/transformer_flux.py

Schnellstart

Siehe detailliertes Beispiel (einschließlich LoRAs und ControlNets) in infer_flux_regional.py. Nachfolgend finden Sie ein Schnellstartbeispiel.

 import Torchfrompipeline_flux_regional import RegionalFluxPipeline, RegionalFluxAttnProcessor2_0pipeline = RegionalFluxPipeline.from_pretrained("black-forest-labs/FLUX.1-dev", Torch_dtype=torch.bfloat16).to("cuda")attn_procs = {}für Namen inpipeline.transformer. attn_processors.keys():if 'transformer_blocks' in name und name.endswith("attn.processor"):attn_procs[name] = RegionalFluxAttnProcessor2_0()else:attn_procs[name] =pipeline.transformer.attn_processors[name]pipeline.transformer.set_attn_processor(attn_procs)## allgemeine Einstellungenimage_width = 1280image_height = 768num_inference_steps = 24seed = 124base_prompt = „Eine uralte Frau steht feierlich mit einer lodernden Fackel in der Hand, während im Hintergrund ein erbitterter Kampf tobt, der sowohl Stärke als auch Tragödie in einer historischen Kriegsszene einfängt.“background_prompt = „ein Foto“ # standardmäßig eingestellt, aber Wenn Sie den Hintergrund bereichern möchten, können Sie ihn auf einen aussagekräftigeren Wert einstellen promptregional_prompt_mask_pairs = {"0": {"description": "Eine würdevolle Frau in alten Gewändern steht im Vordergrund, ihr Gesicht wird von der Fackel beleuchtet, die sie hoch hält. Ihr Gesichtsausdruck ist von Entschlossenheit und Trauer geprägt, ihre Kleidung und ihr Aussehen spiegeln die historische Zeit wider. Die Fackel wirft dramatische Schatten auf ihre Gesichtszüge, ihre Flammen tanzen lebhaft gegen die Dunkelheit. ","mask": [128, 128, 640, 768]
    }
}## Regionskontrollfaktor settingsmask_inject_steps = 10 # größer bedeutet stärkere Kontrolle, empfohlen zwischen 5-10double_inject_blocks_interval = 1 # 1 bedeutet stärkste Kontrollesingle_inject_blocks_interval = 1 # 1 bedeutet stärkste Kontrollebase_ratio = 0,2 # kleiner bedeutet stärkere Kontrolleregional_prompts = []regional_masks = []background_mask = Torch.ones((image_height, image_width))für region_idx, Region in regional_prompt_mask_pairs.items():description = region['description']mask = region['mask']x1, y1, x2, y2 = maskmask = Torch.zeros ((image_height, image_width))mask[y1:y2, x1:x2] = 1.0background_mask -= maskregional_prompts.append(description)regional_masks.append(mask)# Wenn regionale Masken nicht das gesamte Bild abdecken, fügen Sie eine Hintergrundaufforderung und eine Maske hinzu, wenn background_mask.sum() > 0:regional_prompts.append(background_prompt)regional_masks.append(background_mask )image = Pipeline(prompt=base_prompt,width=image_width, height=image_height,mask_inject_steps=mask_inject_steps,num_inference_steps=num_inference_steps,generator=torch.Generator("cuda").manual_seed(seed),joint_attention_kwargs={"regional_prompts": regional_prompts,"regional_masks": regional_masks,"double_inject_blocks_interval": double_inject_blocks_interval,"single_inject_blocks_interval": single_inject_blocks_interval,"base_ratio": base_ratio},
  ).images[0]image.save(f"output.jpg")

? Anerkennung

Unsere Arbeit wird von HuggingFace und fal.ai gesponsert. Danke!

Zitieren

Wenn Sie Regional-Prompting-FLUX für Ihre Forschung und Anwendungen nützlich finden, zitieren Sie uns bitte mit diesem BibTeX:

 @article{chen2024training, title={Trainingsfreie regionale Eingabeaufforderung für Diffusionstransformatoren}, Autor={Chen, Anthony und Xu, Jianjin und Zheng, Wenzhao und Dai, Gaole und Wang, Yida und Zhang, Renrui und Wang, Haofan und Zhang , Shanghang}, Zeitschrift={arXiv preprint arXiv:2411.02395}, Jahr={2024}}

Bei Fragen können Sie uns gerne über [email protected] kontaktieren.