SD3.5

稳定扩散3.5

SD3.5 和 SD3 的仅推理微型参考实现 - 使用 SD3.5/SD3 进行简单推理所需的一切，不包括权重文件。

包含文本编码器（OpenAI CLIP-L/14、OpenCLIP bigG、Google T5-XXL）（这些模型都是公开的）、VAE 解码器（类似于以前的 SD 模型，但 16 通道且没有 postquantconv 步骤）的代码，以及核心 MM-DiT（全新）。

注意：此存储库是一个参考库，旨在帮助合作伙伴组织实施 SD3.5/SD3。对于替代推理，请使用 Comfy。

更新

• 2024 年 10 月 29 日：发布了 SD3.5-Medium 的推理代码。
• 2024 年 10 月 24 日：将代码许可证更新为 MIT 许可证。
• 2024 年 10 月 22 日：发布了 SD3.5-Large、Large-Turbo 的推理代码。也适用于 SD3-Medium。

下载

从 HuggingFace 下载以下模型到models目录中：

1. 稳定AI SD3.5大型或稳定AI SD3.5大型涡轮或稳定AI SD3.5中型
2. OpenAI CLIP-L
3. OpenCLIP bigG
4. 谷歌 T5-XXL

此代码也适用于 Stability AI SD3 Medium。

安装

 # Note: on windows use "python" not "python3"
python3 -s -m venv .sd3.5
source .sd3.5/bin/activate
# or on windows: venv/scripts/activate
python3 -s -m pip install -r requirements.txt

跑步

 # Generate a cat using SD3.5 Large model (at models/sd3.5_large.safetensors) with its default settings
python3 sd3_infer.py --prompt " cute wallpaper art of a cat "
# Or use a text file with a list of prompts, using SD3.5 Large
python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3.5_large.safetensors
# Generate from prompt file using SD3.5 Large Turbo with its default settings
python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3.5_large_turbo.safetensors
# Generate from prompt file using SD3.5 Medium with its default settings, at 2k resolution
python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3.5_medium.safetensors --width 1920 --height 1080
# Generate from prompt file using SD3 Medium with its default settings
python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3_medium.safetensors

默认情况下，图像将输出到outputs//__ 。要将后缀添加到输出目录，请添加--postfix 。例如，

python3 sd3_infer.py --prompt path/to/my_prompts.txt --postfix " steps100 " --steps 100

要更改生成图像的分辨率，请添加--width --height 。

（可选）使用“跳过层指导”，可以从 SD3.5-Medium 获得更好的结构和解剖一致性。

python3 sd3_infer.py --prompt path/to/my_prompts.txt --model models/sd3.5_medium.safetensors --skip_layer_cfg True

文件指南

• sd3_infer.py - 入口点，查看扩散模型的基本用法
• sd3_impls.py - 包含 MMDiTX 和 VAE 的包装器
• other_impls.py - 包含 CLIP 模型、T5 模型和一些实用程序
• mmditx.py - 包含 MMDiT-X 本身的核心
• 文件夹models包含以下文件（单独下载）：
  • clip_l.safetensors （OpenAI CLIP-L，与SDXL/SD3相同，可以获取公共副本）
  • clip_g.safetensors （openclip bigG，与SDXL/SD3相同，可以获取公共副本）
  • t5xxl.safetensors （google T5-v1.1-XXL，可以获取公共副本）
  • sd3.5_large.safetensors或sd3.5_large_turbo.safetensors或sd3.5_medium.safetensors （或sd3_medium.safetensors ）

代码来源

这里包含的代码源自：

• Stability AI内部研究代码库（MM-DiT）
• 公共稳定人工智能存储库（例如 VAE）
• Alex Goodwin 和 Vikram Voleti 为 Stability AI 编写的此参考存储库的一些独特代码
• 来自 ComfyUI SD3 内部稳定性实现的一些代码（用于某些代码更正和处理程序）
• HuggingFace 和上游提供商（对于 CLIP/T5 代码部分）

合法的

检查许可证代码文件。

笔记

other_impls中的一些代码源自 HuggingFace 并受 HuggingFace Transformers Apache2 许可证的约束