Fluxgym

Anderer Quellcode

Herunterladen

Flux-Fitnessstudio

Absolut einfache Web-Benutzeroberfläche zum Trainieren von FLUX LoRA mit NIEDRIGER VRAM-Unterstützung (12 GB/16 GB/20 GB).

Frontend: Die vom AI-Toolkit abgeleitete WebUI (Gradio-UI erstellt von https://x.com/multimodalart)
Backend: Das von Kohya Scripts bereitgestellte Trainingsskript

FluxGym unterstützt 100 % der SD-Skriptfunktionen von Kohya über eine Registerkarte „Erweitert“, die standardmäßig ausgeblendet ist.

Was ist das?

Ich wollte eine supereinfache Benutzeroberfläche zum Trainieren von Flux LoRAs
Das AI-Toolkit-Projekt ist großartig und der Gradio-UI-Beitrag von @multimodalart ist perfekt, aber das Projekt funktioniert nur für 24 GB VRAM.
Kohya-Skripte sind für das Training von FLUX sehr flexibel und leistungsstark, müssen aber im Terminal ausgeführt werden.
Was wäre, wenn Sie die Einfachheit von AI-Toolkit WebUI und die Flexibilität von Kohya Scripts nutzen könnten?
Flux Gym war geboren. Unterstützt 12 GB, 16 GB, 20 GB VRAMs und ist erweiterbar, da darunter Kohya-Skripte verwendet werden.

Nachricht

25. September: Docker-Unterstützung + Modelle automatisch herunterladen (Modelle müssen beim Einrichten nicht manuell heruntergeladen werden) + Unterstützung benutzerdefinierter Basismodelle (nicht nur Flux-Dev, sondern alles andere, muss nur in die Datei models.yaml aufgenommen werden).
16. September: „Auf Huggingface veröffentlichen“ hinzugefügt + 100 % Kohya SD-Scripts-Funktionsunterstützung: https://x.com/cocktailpeanut/status/1835719701172756592
11. September: Automatische Beispielbildgenerierung + benutzerdefinierte Auflösung: https://x.com/cocktailpeanut/status/1833881392482066638

Unterstützte Modelle

Flux1-Entwickler
Flux1-dev2pro (wie hier erklärt: https://medium.com/@zhiwangshi28/why-flux-lora-so-hard-to-train-and-how-to-overcome-it-a0c70bc59eaf)
Flux1-schnell (Konnte keine qualitativ hochwertigen Ergebnisse erzielen, daher nicht wirklich empfohlen, aber experimentieren Sie ruhig damit)
Mehr?

Die Modelle werden automatisch heruntergeladen, wenn Sie das Training mit dem ausgewählten Modell beginnen.

Sie können der Liste der unterstützten Modelle ganz einfach weitere hinzufügen, indem Sie die Datei models.yaml bearbeiten. Wenn Sie einige interessante Basismodelle teilen möchten, senden Sie bitte eine PR.

Wie Menschen Fluxgym nutzen

Hier sind Leute, die Fluxgym nutzen, um Lora vor Ort zu trainieren, und ihre Erfahrungen teilen:

https://pinokio.computer/item?uri=https://github.com/cocktailpeanut/fluxgym

Weitere Informationen

Um mehr zu erfahren, schauen Sie sich diesen X-Thread an: https://x.com/cocktailpeanut/status/1832084951115972653

Installieren

1. One-Click-Installation

Mit dem Pinokio 1-Klick-Launcher können Sie alles automatisch lokal installieren und starten: https://pinokio.computer/item?uri=https://github.com/cocktailpeanut/fluxgym

2. Manuell installieren

Erster Klon von Fluxgym und Kohya-SS/SD-Skripten:

 git clone https://github.com/cocktailpeanut/fluxgym
cd fluxgym
git clone -b sd3 https://github.com/kohya-ss/sd-scripts

Ihre Ordnerstruktur sieht folgendermaßen aus:

 /fluxgym
  app.py
  requirements.txt
  /sd-scripts

Aktivieren Sie nun ein Venv aus dem Root fluxgym -Ordner:

Wenn Sie Windows verwenden:

 python -m venv env
envScriptsactivate

Wenn Sie Linux verwenden:

 python -m venv env
source env/bin/activate

Dadurch wird ein env -Ordner direkt unter dem fluxgym -Ordner erstellt:

 /fluxgym
  app.py
  requirements.txt
  /sd-scripts
  /env

Gehen Sie nun zum Ordner sd-scripts und installieren Sie Abhängigkeiten zur aktivierten Umgebung:

 cd sd-scripts
pip install -r requirements.txt

Gehen Sie nun zurück zum Stammordner und installieren Sie die App-Abhängigkeiten:

 cd ..
pip install -r requirements.txt

Installieren Sie abschließend Pytorch Nightly:

 pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

Start

Gehen Sie mit aktiviertem venv zurück zum Stammordner fluxgym und führen Sie Folgendes aus:

 python app.py

Stellen Sie sicher, dass venv aktiviert ist, bevor Sie python app.py ausführen.
Windows: env/Scripts/activate Linux: source env/bin/activate

3. Installation über Docker

Erster Klon von Fluxgym und Kohya-SS/SD-Skripten:

 git clone https://github.com/cocktailpeanut/fluxgym
cd fluxgym
git clone -b sd3 https://github.com/kohya-ss/sd-scripts

Überprüfen Sie Ihre user id und group id und ändern Sie sie über environment variables PUID und PGID , wenn sie nicht 1000 ist. Sie können diese unter Linux herausfinden, indem Sie den folgenden Befehl ausführen: id

Erstellen Sie nun das Image und führen Sie es über docker-compose aus:

 docker compose up -d --build

Öffnen Sie den Webbrowser und rufen Sie die IP-Adresse des Computers/der VM auf: http://localhost:7860

Verwendung

Die Verwendung ist ziemlich einfach:

Geben Sie die Lora-Informationen ein
Laden Sie Bilder hoch und beschriften Sie sie (mit dem Triggerwort).
Klicken Sie auf „Start“.

Das ist alles!

Konfiguration

Beispielbilder

Standardmäßig generiert Fluxgym während des Trainings keine Beispielbilder.

Sie können Fluxgym jedoch so konfigurieren, dass für alle N Schritte automatisch Beispielbilder generiert werden. So sieht es aus:

Um dies zu aktivieren, legen Sie einfach die beiden Felder fest:

Beispielbild-Eingabeaufforderungen: Diese Eingabeaufforderungen werden verwendet, um während des Trainings automatisch Bilder zu generieren. Wenn Sie mehrere möchten, trennen Sie die Teach-Eingabeaufforderung mit einer neuen Zeile.
Beispielbild alle N Schritte: Wenn Ihre „Erwarteten Trainingsschritte“ 960 und Ihr „Beispielbild alle N Schritte“ 100 beträgt, werden die Bilder bei den Schritten 100, 200, 300, 400, 500, 600, 700, 800 generiert. 900, für JEDE Eingabeaufforderung.

Erweiterte Beispielbilder

Dank der integrierten Syntax von kohya/sd-scripts können Sie während der Trainingsphase genau steuern, wie die Beispielbilder generiert werden:

Nehmen wir an, das Auslösewort ist „hrld person“. Normalerweise würden Sie Beispielaufforderungen ausprobieren wie:

 hrld person is riding a bike
hrld person is a body builder
hrld person is a rock star

Sie können jedoch für jede Eingabeaufforderung erweiterte Flags hinzufügen, um den Bilderzeugungsprozess vollständig zu steuern. Mit dem Flag --d können Sie beispielsweise den SEED angeben.

Die Angabe eines Seeds bedeutet, dass jedes Beispielbild genau diesen Seed verwendet, was bedeutet, dass Sie buchstäblich sehen können, wie sich die LoRA entwickelt. Hier ist ein Beispiel für die Verwendung:

 hrld person is riding a bike --d 42
hrld person is a body builder --d 42
hrld person is a rock star --d 42

So sieht es in der Benutzeroberfläche aus:

Und hier sind die Ergebnisse:

Zusätzlich zum Flag --d können Sie folgende weitere Flags verwenden:

--n : Negative Eingabeaufforderung bis zur nächsten Option.
--w : Gibt die Breite des generierten Bildes an.
--h : Gibt die Höhe des generierten Bildes an.
--d : Gibt den Startwert des generierten Bildes an.
--l : Gibt den CFG-Maßstab des generierten Bildes an.
--s : Gibt die Anzahl der Schritte in der Generierung an.

Die Eingabeaufforderungsgewichtungen wie ( ) und [ ] funktionieren ebenfalls. (Erfahren Sie mehr über Aufmerksamkeit/Betonung)

Veröffentlichung auf Huggingface

Holen Sie sich Ihr Huggingface-Token von https://huggingface.co/settings/tokens
Geben Sie den Token in das Feld „Huggingface Token“ ein und klicken Sie auf „Anmelden“. Dadurch wird der Token-Text in einer lokalen Datei mit dem Namen HF_TOKEN (alle lokal und privat) gespeichert.
Sobald Sie angemeldet sind, können Sie einen trainierten LoRA aus der Dropdown-Liste auswählen, bei Bedarf den Namen bearbeiten und auf Huggingface veröffentlichen.

Fortschrittlich

Die Registerkarte „Erweitert“ wird automatisch erstellt, indem die Startflags analysiert werden, die für die neueste Version von Kohya SD-Scripts verfügbar sind. Das bedeutet, dass Fluxgym eine vollwertige Benutzeroberfläche für die Verwendung des Kohya-Skripts ist.

Standardmäßig ist die Registerkarte „Erweitert“ ausgeblendet. Sie können auf das Akkordeon „Erweitert“ klicken, um es zu erweitern.

Erweiterte Funktionen

Untertiteldateien hochladen

Sie können die Untertiteldateien auch zusammen mit den Bilddateien hochladen. Sie müssen nur die Konvention befolgen:

Jede Untertiteldatei muss eine .txt Datei sein.
Zu jeder Untertiteldatei muss eine entsprechende Bilddatei mit demselben Namen vorhanden sein.
Wenn Sie beispielsweise eine Bilddatei mit dem Namen img0.png haben, muss die entsprechende Untertiteldatei img0.txt lauten.

Expandieren

Zusätzliche Informationen