SD3.5

Stabile Diffusion 3.5

Nur inferenzbasierte, winzige Referenzimplementierung von SD3.5 und SD3 – alles, was Sie für eine einfache Inferenz mit SD3.5/SD3 benötigen, mit Ausnahme der Gewichtungsdateien.

Enthält Code für die Text-Encoder (OpenAI CLIP-L/14, OpenCLIP bigG, Google T5-XXL) (diese Modelle sind alle öffentlich), den VAE-Decoder (ähnlich früheren SD-Modellen, aber 16 Kanäle und kein Postquantconv-Schritt), und das Kern-MM-DiT (völlig neu).

Hinweis: Bei diesem Repo handelt es sich um eine Referenzbibliothek, die Partnerorganisationen bei der Implementierung von SD3.5/SD3 unterstützen soll. Für alternative Schlussfolgerungen verwenden Sie Comfy.

Aktualisierungen

• 29. Okt. 2024: Inferenzcode für SD3.5-Medium veröffentlicht.
• 24. Okt. 2024: Code-Lizenz auf MIT-Lizenz aktualisiert.
• 22. Okt. 2024: Inferenzcode für SD3.5-Large, Large-Turbo veröffentlicht. Funktioniert auch auf SD3-Medium.

Herunterladen

Laden Sie die folgenden Modelle von HuggingFace in models herunter:

1. Stability AI SD3.5 Large oder Stability AI SD3.5 Large Turbo oder Stability AI SD3.5 Medium
2. OpenAI CLIP-L
3. OpenCLIP bigG
4. Google T5-XXL

Dieser Code funktioniert auch für Stability AI SD3 Medium.

Installieren

 # Note: on windows use "python" not "python3"
python3 -s -m venv .sd3.5
source .sd3.5/bin/activate
# or on windows: venv/scripts/activate
python3 -s -m pip install -r requirements.txt

Laufen

 # Generate a cat using SD3.5 Large model (at models/sd3.5_large.safetensors) with its default settings
python3 sd3_infer.py --prompt " cute wallpaper art of a cat "
# Or use a text file with a list of prompts, using SD3.5 Large
python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3.5_large.safetensors
# Generate from prompt file using SD3.5 Large Turbo with its default settings
python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3.5_large_turbo.safetensors
# Generate from prompt file using SD3.5 Medium with its default settings, at 2k resolution
python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3.5_medium.safetensors --width 1920 --height 1080
# Generate from prompt file using SD3 Medium with its default settings
python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3_medium.safetensors

Bilder werden standardmäßig an outputs//__ ausgegeben. Um dem Ausgabeverzeichnis ein Postfix hinzuzufügen, fügen Sie --postfix hinzu. Zum Beispiel,

python3 sd3_infer.py --prompt path/to/my_prompts.txt --postfix " steps100 " --steps 100

Um die Auflösung des generierten Bildes zu ändern, fügen Sie --width --height hinzu.

Verwenden Sie optional die Skip Layer Guidance für potenziell bessere Struktur- und Anatomiekohärenz von SD3.5-Medium.

python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3.5_medium.safetensors --skip_layer_cfg True

Dateiführer

• sd3_infer.py – Einstiegspunkt, überprüfen Sie dies für die grundlegende Verwendung des Diffusionsmodells
• sd3_impls.py – enthält den Wrapper um MMDiTX und VAE
• other_impls.py – enthält die CLIP-Modelle, das T5-Modell und einige Dienstprogramme
• mmditx.py – enthält den Kern von MMDiT-X selbst
• models mit den folgenden Dateien (separat herunterladen):
  • clip_l.safetensors (OpenAI CLIP-L kann wie SDXL/SD3 eine öffentliche Kopie abrufen)
  • clip_g.safetensors (openclip bigG kann wie SDXL/SD3 eine öffentliche Kopie abrufen)
  • t5xxl.safetensors (Google T5-v1.1-XXL, kann eine öffentliche Kopie erhalten)
  • sd3.5_large.safetensors oder sd3.5_large_turbo.safetensors oder sd3.5_medium.safetensors (oder sd3_medium.safetensors )

Code-Ursprung

Der hier enthaltene Code stammt von:

• Internes Forschungscode-Repository für Stabilitäts-KI (MM-DiT)
• Öffentliche Stabilitäts-KI-Repositories (z. B. VAE)
• Ein einzigartiger Code für dieses Referenz-Repo, geschrieben von Alex Goodwin und Vikram Voleti für Stability AI
• Etwas Code aus der ComfyUI-internen Stabilitätsimplementierung von SD3 (für einige Codekorrekturen und Handler)
• HuggingFace und Upstream-Anbieter (für Abschnitte des CLIP/T5-Codes)

Legal

Überprüfen Sie die LICENSE-CODE-Datei.

Notiz

Einige Codes in other_impls stammen von HuggingFace und unterliegen der HuggingFace Transformers Apache2-Lizenz