ComfyUI All-in-One-FluxDev-Workflow

ComfyUI-All-in-One-FluxDev-Workflow

Aktualisiert v0.2: Falsche Knoten, die eine Verbindung zum Knoten florence2 herstellten, wurden behoben

Update 08.11.2024: Nach ein wenig Herumtüfteln habe ich eine Möglichkeit gefunden, das qualitativ hochwertige Bild mit Controlnet zu reproduzieren, wie sie auf ihrer Github/HF-Seite demonstrieren. Außerdem habe ich herausgefunden, dass die beiden Sampling-Methoden kombiniert und neu organisiert werden können Da es sich um einen einfacheren und effizienteren Ansatz handelt, werde ich Version 0.3 bald aktualisieren, um alle diese Änderungen aufzunehmen.

Überblick

Ich habe in ComfyUI einen All-in-One-FluxDev-Workflow erstellt, der verschiedene Techniken zum Generieren von Bildern mit dem FluxDev-Modell kombiniert, einschließlich IMG-zu-IMG und Text-zu-IMG. Dieser Workflow kann LoRAs und ControlNets verwenden und ermöglicht negative Eingabeaufforderungen mit Ksampler, dynamische Schwellenwerte, Inpainting und mehr. Bitte beachten Sie, dass dies nicht die „richtige“ Art der Anwendung dieser Techniken ist, sondern vielmehr meine persönliche Interpretation basierend auf den verfügbaren Informationen.

Starke Nutzung des USE Everywhere-Knotens

Dieser Workflow basiert stark auf dem USE Everywhere-Knoten, um ihn für meine täglichen Generierungsanforderungen so sauber und effizient wie möglich zu gestalten. Ich teile diesen Workflow mit der Community, um Erkenntnisse und Verbesserungsvorschläge zu sammeln. Experimentieren Sie ruhig selbst.

Hauptmerkmale

• Wechseln Sie zwischen Bild-zu-Bild- und Text-zu-Bild-Generierung
• Wählen Sie für die Text-zu-Bild-Generierung eine vordefinierte SDXL-Auflösung oder verwenden Sie den Knoten „Pixel Resolution Calculator“, um über den Schalter eine Auflösung basierend auf Seitenverhältnis und Megapixel zu erstellen
• Laden Sie ControlNet-Modelle und LoRAs
• Probenahme mit Modell-Sampling-Flux und Sampler Custom Advance-Knoten, basierend auf dem ursprünglichen offiziellen Demo-Workflow
• Sampling mit dynamischem Schwellenwert und Ksampler Advance-Knoten, der positive und negative Konditionierung mit FluxGuidance ermöglicht
• Einfaches Inpainting
• Hochauflösende Korrekturen wie iterative Hochskalierung mit Tiled Diffusion

Verwendung dieses Workflows

1. Aktualisiert: Keine manuelle benutzerdefinierte Installation erforderlich. Sie können die Knoten jetzt im Manager finden. Befolgen Sie einfach Schritt 3. Installieren Sie die benutzerdefinierten Knoten des Pixel Resolution Calculator über die Git-URL im ComfyUI Manager (ich habe noch keinen Pull eingereicht). URL: https://github.com/Ling-APE/ComfyUI-PixelResolutionCalculator
2. Laden Sie die JSON-Datei herunter und importieren Sie sie in ComfyUI
3. Installieren Sie fehlende Knoten über den ComfyUI-Manager
4. Konfigurieren Sie die Schalter
5. Fügen Sie Eingabeaufforderungen hinzu (oder verwenden Sie detaillierte Untertitel aus Vision-LLMs).
6. ControlNet-Bild hochladen (optional)
7. Umgehen/Entbypassen Sie die Knoten, die Sie benötigen
8. Erzeugen!

Anforderungen

• Benutzerdefinierte Knoten für den My Pixel Resolution Calculator (optional)
• Originalgewichte: Flux1-dev.safetensors
• FP8-Version (für <24 GB VRAM-Systeme): flux1-dev-fp8.safetensors
• Text-Encoder (in ComfyUI/models/clip platzieren): flux_text_encoders
• VAE (platzieren Sie ae.sft in ComfyUI/models/vae ): ae.safetensors
• Für eine geringere RAM-Auslastung laden Sie den FP8 T5XXL-Encoder herunter (mit etwas Qualitätsverlust).
• xlabs-ai flux-controlnet-canny Weight controlnet.safetensors (unter ComfyUI/models/controlnet ablegen, bei Bedarf Ordner öffnen)
• Flux_RealismLora_converted Flux_realism_lora.safetensors (unter ComfyUI/models/loras ablegen, ggf. Ordner öffnen)
• Ollama und Llava:13b (optional)
• Microsoft Florence 2-Modell (optional, sollte aber bei der ersten Ausführung automatisch heruntergeladen werden)

Niedriges VRAM-Setup:

Starten Sie ComfyUI mit dem Argument „--lowvram“ (fügen Sie es Ihrer .bat-Datei hinzu), um den Text-Encoder auf die CPU auszulagern

Bekannte Fehler

• Wenn Sie Strg + Z verwenden, um Änderungen rückgängig zu machen, lösen sich einige Knoten an beliebigen Orten von selbst. Finden Sie die Knoten, die die Verknüpfung verloren haben, trennen Sie die Eingaben und schließen Sie sie wieder an. Alles sollte wieder funktionieren.

ControlNet und LoRA

Zum Zeitpunkt der Erstellung dieses Workflows sind zwei ControlNets und mehrere LoRAs verfügbar, darunter:

• Canny ControlNet und Realism LoRA von XLabs-AI
• Canny Controlnet von InstantX
• Ästhetisches (Anime) LoRA für FLUX von advokat
• Ich habe auch eine Control-Netunion-Modellseite unter der umarmenden Vorderseite von InstantX gefunden, also werden wir vielleicht in naher Zukunft ein Gewerkschaftsmodell haben.

Ich habe nur die Canny- und Realism-LoRAs von XLabs-AI getestet, und hier sind einige wichtige Erkenntnisse:

• Wenn Sie Fehlermeldungen erhalten, die besagen, dass keine Schlüssel vorhanden sind, müssen Sie zu Ihren ComfyUI-Verzeichnissen gehen und ein Terminal öffnen, um den Code einzugeben: git checkout xlabs_flux_controlnet
• Nach meinen Tests scheint das Modell auf quadratische Seitenverhältnisse und die hier ebenfalls erwähnte Orientierungsskala 4 trainiert zu sein
• Ich kann es nur mit minimaler Aufforderung zum Laufen bringen, wie die offizielle Demo von Github. Komplexe Eingabeaufforderungen funktionieren nicht. Obwohl es mir nicht gelungen ist, genau die gleiche Qualität wie in der Demo zu reproduzieren, mache ich vielleicht etwas falsch.
• Was LoRA betrifft, müssen Sie das konvertierte LoRA von bequemanonymous herunterladen, damit es funktioniert
• XLabs Controlnet fällt unter die nichtkommerzielle Lizenz FLUX.1 [dev] und was intantX betrifft, bin ich zu faul, um Informationen darüber zu finden, ob (es sollte dasselbe sein, oder?)
• LoRA-Workflow basierend auf Simple+Advanced FLUX.1 ComfyUI Workflows von markury

Dynamisches Thresholding und negatives Prompting

Der Ksampler-Workflow mit dynamischer Schwellenwertermittlung basiert auf dem offiziellen ComfyUI-Blogbeitrag. Und ich zitiere:

Beachten Sie, dass Sie für beide Modelle entweder SamplerCustomAdvanced mit BasicGuider verwenden können oder, wenn Sie KSampler verwenden, CFG auf 1 setzen. Sie können die neue FluxGuidance im Dev-Modell verwenden, um den destillierten CFG-ähnlichen Wert zu steuern. (Die Einstellung auf 2 wird für Realismus oder eine bessere Stilkontrolle empfohlen.) Diese Modelle sind darauf trainiert, ohne echtes CFG zu arbeiten. Das heißt jedoch nicht, dass Sie CFG niemals verwenden können – tatsächlich hat die Community ComfyUI schnell als Experimentierplattform genutzt, um eine Vielzahl von Tricks auszuprobieren, um das Beste aus den neuen Modellen herauszuholen. (Zum Beispiel die Verwendung des benutzerdefinierten Knotens „Dynamic Thresholding“ oder die Verwendung des neuen integrierten Knotens FluxGuidance , um CFG und negative Eingabeaufforderungen zu kompensieren und zu aktivieren. Es ist auch ModelSamplingFlux integriert, um die Flux-Sigma-Verschiebung zu steuern, obwohl die Vorteile begrenzter sind.)

Bedenken Sie, dass dies meine eigene Interpretation ist und Sie jederzeit Änderungen vornehmen und experimentieren können.

0-Shot-Non-Cherry-Pick-Demo mit dieser Sampling-Methode:

Der Knoten zur Berechnung der Pixelauflösung

Das Repo finden Sie hier.

Der Pixel Resolution Calculator ist ein benutzerdefinierter Knoten, den ich gestern mit Hilfe von LLama3.1 entwickelt habe (Ja, ich habe keine Programmierkenntnisse, sondern habe es unterwegs von Grund auf gelernt). Es handelt sich lediglich um einen sehr einfachen Knoten, der aus den Megapixeln und dem Seitenverhältnis Ihrer Wahl die nächstgelegene „latentfreundliche“ Pixelauflösung generiert. Ich habe mich vom ImageScaleToTotalPixels-Knoten aus dem ursprünglichen Flux-Demo-Workflow inspirieren lassen, da anscheinend alle über die Pixelauflösung statt über die Anzahl der Breiten- und Höhenpixel wie in SDXL sprechen. Es gibt auch einen Knoten zum Konvertieren einer latenten Beispieleingabe in die Pixelanzahl für Breite und Höhe.

Upscaling mit Tiled Diffusion

Ein Upscaling-Workflow ist ebenfalls enthalten. Es verwendet den Iterative Upscale (Image)-Knoten aus dem Impact-Paket und die gekachelte Diffusion, um eine hochauflösende Korrektur wie Hochskalierung und Detaillierung der Knotengruppe mit dem Upscale-Modell Ihrer Wahl zu erstellen. Mit dem PK-Hook können Sie auch Rauschunterdrückung, CFG und Schrittplanung durchführen.

Demobild hier vergleichen.

Inpainting

Da es noch kein für Flux trainiertes Inpainting-Modell gibt, kann hier nur die einfachste Form des Inpaintings erreicht werden. Sie können auch versuchen, ControlNets zu integrieren, achten Sie jedoch auf die quadratische Auflösung und die Führungsskala (4).

Ollama und Florenz2

Nur ein paar einfache Knoten zum Ausführen von Ollama und Florence2 für die Verwendung von Vision LLm für detaillierte Untertitel und um schnelle Einblicke zu erhalten. Ich verwende LLaVa 13B und Florence2 groß in der Demo. Sie benötigen Ollama-, Ollama ComfyUI- und Florence2 ComfyUI-Knoten, siehe die Links für eine detaillierte Nutzungs- und Installationsanleitung.

Detaillierte Anleitung

Eine ausführlichere Anleitung wird hinzugefügt, falls die Benutzer Schwierigkeiten damit haben, sie zu verwenden....

---

BS

Flux ist ein so flexibles Modell und angesichts der Tatsache, dass es sich um eine erste Version handelt, sehr beeindruckend. Innerhalb von zwei Wochen nach der Veröffentlichung sind bereits ControlNets und LoRAs verfügbar, was zeigt, wie sehr die Community dieses Modell liebt. Ich freue mich jetzt auf einige Inpainting-Modelle. Und am wichtigsten, Matteo, bitte veröffentliche ein iPadapter für Flux.... bitte, das eine fehlende Puzzle und ich bin fertig....

Viel Spaß beim Generieren!

PS: Ich füge die Eingabeaufforderung ein, die ich mit LLama3.1 verwende, um mir dabei zu helfen, ohne Grund Rechtschreib- und Grammatikprüfungen für genau dieses Repo durchzuführen:

Handeln Sie als professioneller Autor mit ausgeprägten Schreibfähigkeiten und einem tiefen Verständnis für das Schreiben im Allgemeinen. Unterstützen Sie Benutzer auf Anfrage beim Umschreiben, Neuformatieren und Durchführen von Grammatik- und Rechtschreibprüfungen. Zu Ihren Aufgaben sollten gehören:

1. Umschreiben von Dokumenten, um korrekte Grammatik und Rechtschreibung sicherzustellen.
2. Sätze umformulieren, um sie flüssiger und verständlicher zu machen.
3. Formatieren von Inhalten mit Markdown, um die Lesbarkeit zu verbessern.
4. Beibehaltung des ursprünglichen Inhalts : Löschen, ändern oder fügen Sie dem Dokument keine unnötigen Informationen hinzu.
5. Bestehende Markdown-Formatierung beibehalten : Wenn das Dokument bereits Markdown verwendet, behalten Sie die Formatierung bei. Sie können die Datei bei Bedarf neu formatieren, ohne jedoch die ursprüngliche Struktur zu beeinträchtigen.
6. Beibehaltung technischer Begriffe : Vermeiden Sie das Umschreiben spezifischer Begriffe, die sich auf das Thema beziehen, wie etwa „Ksampler“ oder „LoRAs“, es sei denn, Sie sind sich über deren Bedeutung nicht sicher. Bitten Sie in diesem Fall den Benutzer um eine Bestätigung.
7. Den ursprünglichen Ton beibehalten : Halten Sie den Ton des Dokuments konsistent, egal ob formell oder informell. Stellen Sie sicher, dass Witze und humorvolle Elemente erhalten bleiben.

Bitte zusätzlich:

1. Nutzen Sie die Gedankenkette : Teilen Sie Ihren Gedankengang beim Umschreiben des Dokuments mit und erläutern Sie die Gründe für die Änderungen.
2. Vorgenommene Änderungen auflisten : Geben Sie die Änderungen an, die Sie am Dokument vorgenommen haben, damit der Benutzer die Überarbeitungen verfolgen kann.
3. Machen Sie Vorschläge : Wenn es mehrere Möglichkeiten gibt, einen Abschnitt umzuschreiben, machen Sie Vorschläge und lassen Sie den Benutzer entscheiden, welchen Ansatz er bevorzugt.

Verstehen Sie diese Anforderungen?