sd3.5

Difusi Stabil 3.5

Implementasi referensi kecil khusus inferensi pada SD3.5 dan SD3 - semua yang Anda perlukan untuk inferensi sederhana menggunakan SD3.5/SD3, tidak termasuk file bobot.

Berisi kode untuk encoder teks (OpenAI CLIP-L/14, OpenCLIP bigG, Google T5-XXL) (semua model ini bersifat publik), Decoder VAE (mirip dengan model SD sebelumnya, tetapi 16 saluran dan tidak ada langkah postquantconv), dan inti MM-DiT (benar-benar baru).

Catatan: repo ini adalah perpustakaan referensi yang dimaksudkan untuk membantu organisasi mitra dalam mengimplementasikan SD3.5/SD3. Untuk inferensi alternatif, gunakan Comfy.

Pembaruan

• 29 Okt 2024 : Merilis kode inferensi untuk SD3.5-Medium.
• 24 Okt 2024 : Lisensi kode diperbarui menjadi Lisensi MIT.
• 22 Okt 2024 : Merilis kode inferensi untuk SD3.5-Large, Large-Turbo. Juga berfungsi pada SD3-Medium.

Unduh

Unduh model berikut dari HuggingFace ke direktori models :

1. Stabilitas AI SD3.5 Besar atau Stabilitas AI SD3.5 Turbo Besar atau Stabilitas AI SD3.5 Sedang
2. OpenAI CLIP-L
3. OpenCLIP besarG
4. Google T5-XXL

Kode ini juga berfungsi untuk Stability AI SD3 Medium.

Memasang

 # Note: on windows use "python" not "python3"
python3 -s -m venv .sd3.5
source .sd3.5/bin/activate
# or on windows: venv/scripts/activate
python3 -s -m pip install -r requirements.txt

Berlari

 # Generate a cat using SD3.5 Large model (at models/sd3.5_large.safetensors) with its default settings
python3 sd3_infer.py --prompt " cute wallpaper art of a cat "
# Or use a text file with a list of prompts, using SD3.5 Large
python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3.5_large.safetensors
# Generate from prompt file using SD3.5 Large Turbo with its default settings
python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3.5_large_turbo.safetensors
# Generate from prompt file using SD3.5 Medium with its default settings, at 2k resolution
python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3.5_medium.safetensors --width 1920 --height 1080
# Generate from prompt file using SD3 Medium with its default settings
python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3_medium.safetensors

Gambar akan ditampilkan ke outputs//__ secara default. Untuk menambahkan postfix ke direktori keluaran, tambahkan --postfix . Misalnya,

python3 sd3_infer.py --prompt path/to/my_prompts.txt --postfix " steps100 " --steps 100

Untuk mengubah resolusi gambar yang dihasilkan, tambahkan --width --height .

Secara opsional, gunakan Skip Layer Guidance untuk potensi struktur dan koherensi anatomi yang lebih baik dari SD3.5-Medium.

python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3.5_medium.safetensors --skip_layer_cfg True

Panduan Berkas

• sd3_infer.py - titik masuk, tinjau ini untuk penggunaan dasar model difusi
• sd3_impls.py - berisi pembungkus sekitar MMDiTX dan VAE
• other_impls.py - berisi model CLIP, model T5, dan beberapa utilitas
• mmditx.py - berisi inti dari MMDiT-X itu sendiri
• models folder dengan file berikut (unduh terpisah):
  • clip_l.safetensors (OpenAI CLIP-L, sama seperti SDXL/SD3, dapat mengambil salinan publik)
  • clip_g.safetensors (openclip bigG, sama seperti SDXL/SD3, dapat mengambil salinan publik)
  • t5xxl.safetensors (google T5-v1.1-XXL, dapat mengambil salinan publik)
  • sd3.5_large.safetensors atau sd3.5_large_turbo.safetensors atau sd3.5_medium.safetensors (atau sd3_medium.safetensors )

Asal Kode

Kode yang disertakan di sini berasal dari:

• Repositori kode penelitian internal Stabilitas AI (MM-DiT)
• Repositori AI Stabilitas Publik (misalnya VAE)
• Beberapa kode unik untuk repo referensi ini ditulis oleh Alex Goodwin dan Vikram Voleti untuk Stability AI
• Beberapa kode dari implementasi Stabilitas internal ComfyUI SD3 (untuk beberapa koreksi dan penangan kode)
• HuggingFace dan penyedia upstream (untuk bagian kode CLIP/T5)

Legal

Periksa file KODE LISENSI.

Catatan

Beberapa kode di other_impls berasal dari HuggingFace dan tunduk pada Lisensi Apache2 HuggingFace Transformers