该存储库包含 PyTorch 模型定义、预训练权重和推理/采样代码，用于我们探索 4K 文本到图像生成的扩散变压器的弱到强训练的论文。您可以在我们的项目页面上找到更多可视化效果。
PixArt-Σ：用于 4K 文本到图像生成的扩散变压器的弱到强训练
陈俊松*、葛崇建*、谢恩泽*†、吴悦*、姚乐伟、任小哲、王忠道、罗平、陆虎川、李振国
华为诺亚方舟实验室、大连理工大学、香港大学、香港科技大学
借鉴之前的 PixArt-α 项目，我们会尽量保持这个 repo 尽可能简单，以便 PixArt 社区的每个人都可以使用它。
? diffusers使用补丁的? diffusers可实现快速体验！-主要的
-指导
-其他的
| 模型 | T5令牌长度 | VAE | 2K/4K |
|---|---|---|---|
| 原相-Σ | 300 | SDXL | ✅ |
| 原相-α | 120 | SD1.5 |
| 模型 | 样品1 | 样品2 | 样品3 |
|---|---|---|---|
| 原相-Σ | |||
| 原相-α | |||
| 迅速的 | 特写镜头，60 多岁的白发、留着胡子的男人，穿着羊毛外套和棕色贝雷帽，戴着眼镜，观察路人，电影般。 | 身体拍摄，法国女人，摄影，法国街道背景，逆光，边缘光，富士胶片。 | 两艘海盗船在一杯咖啡内航行时互相战斗的逼真特写视频。 |
conda create -n pixart python==3.9.0
conda activate pixart
conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.7 -c pytorch -c nvidia
git clone https://github.com/PixArt-alpha/PixArt-sigma.git
cd PixArt-sigma
pip install -r requirements.txt首先。
我们启动一个新的存储库来构建一个更用户友好且更兼容的代码库。主要模型结构与PixArt-α相同，您仍然可以在原始存储库的基础上开发您的功能。另外，这个repo将来会支持PixArt-alpha 。
提示
现在您无需事先提取特征即可训练模型。我们对PixArt-α代码库中的数据结构进行了改造，让每个人都可以从一开始就开始训练、推理和可视化，没有任何痛苦。
首先下载玩具数据集。训练的数据集结构为：
cd ./pixart-sigma-toy-dataset
Dataset Structure
├──InternImgs/ (images are saved here)
│ ├──000000000000.png
│ ├──000000000001.png
│ ├──......
├──InternData/
│ ├──data_info.json (meta data)
Optional(?)
│ ├──img_sdxl_vae_features_1024resolution_ms_new (run tools/extract_caption_feature.py to generate caption T5 features, same name as images except .npz extension)
│ │ ├──000000000000.npy
│ │ ├──000000000001.npy
│ │ ├──......
│ ├──caption_features_new
│ │ ├──000000000000.npz
│ │ ├──000000000001.npz
│ │ ├──......
│ ├──sharegpt4v_caption_features_new (run tools/extract_caption_feature.py to generate caption T5 features, same name as images except .npz extension)
│ │ ├──000000000000.npz
│ │ ├──000000000001.npz
│ │ ├──......
# SDXL-VAE, T5 checkpoints
git lfs install
git clone https://huggingface.co/PixArt-alpha/pixart_sigma_sdxlvae_T5_diffusers output/pretrained_models/pixart_sigma_sdxlvae_T5_diffusers
# PixArt-Sigma checkpoints
python tools/download.py # environment eg. HF_ENDPOINT=https://hf-mirror.com can use for HuggingFace mirror从配置文件目录中选择所需的配置文件。
python -m torch.distributed.launch --nproc_per_node=1 --master_port=12345
train_scripts/train.py
configs/pixart_sigma_config/PixArt_sigma_xl2_img512_internalms.py
--load-from output/pretrained_models/PixArt-Sigma-XL-2-512-MS.pth
--work-dir output/your_first_pixart-exp
--debug首先，首先安装所需的依赖项。确保您已将模型（即将推出）中的检查点文件下载到output/pretrained_models文件夹，然后在本地计算机上运行：
# SDXL-VAE, T5 checkpoints
git lfs install
git clone https://huggingface.co/PixArt-alpha/pixart_sigma_sdxlvae_T5_diffusers output/pixart_sigma_sdxlvae_T5_diffusers
# PixArt-Sigma checkpoints
python tools/download.py
# demo launch
python scripts/interface.py --model_path output/pretrained_models/PixArt-Sigma-XL-2-512-MS.pth --image_size 512 --port 11223重要的
升级您的diffusers以使PixArtSigmaPipeline可用！
pip install git+https://github.com/huggingface/diffusers对于diffusers<0.28.0 ，请检查此脚本以获取帮助。
import torch
from diffusers import Transformer2DModel , PixArtSigmaPipeline
device = torch . device ( "cuda:0" if torch . cuda . is_available () else "cpu" )
weight_dtype = torch . float16
transformer = Transformer2DModel . from_pretrained (
"PixArt-alpha/PixArt-Sigma-XL-2-1024-MS" ,
subfolder = 'transformer' ,
torch_dtype = weight_dtype ,
use_safetensors = True ,
)
pipe = PixArtSigmaPipeline . from_pretrained (
"PixArt-alpha/pixart_sigma_sdxlvae_T5_diffusers" ,
transformer = transformer ,
torch_dtype = weight_dtype ,
use_safetensors = True ,
)
pipe . to ( device )
# Enable memory optimizations.
# pipe.enable_model_cpu_offload()
prompt = "A small cactus with a happy face in the Sahara desert."
image = pipe ( prompt ). images [ 0 ]
image . save ( "./catcus.png" )pip install git+https://github.com/huggingface/diffusers
# PixArt-Sigma 1024px
DEMO_PORT=12345 python app/app_pixart_sigma.py
# PixArt-Sigma One step Sampler(DMD)
DEMO_PORT=12345 python app/app_pixart_dmd.py让我们看一个使用http://your-server-ip:12345的简单示例。
直接从抱脸下载
或运行：
pip install git+https://github.com/huggingface/diffusers
python tools/convert_pixart_to_diffusers.py --orig_ckpt_path output/pretrained_models/PixArt-Sigma-XL-2-1024-MS.pth --dump_path output/pretrained_models/PixArt-Sigma-XL-2-1024-MS --only_transformer=True --image_size=1024 --version sigma所有模型都会在此处自动下载。您也可以选择从此网址手动下载。
| 模型 | #参数 | 检查点路径 | 在 OpenXLab 中下载 |
|---|---|---|---|
| T5 和 SDXL-VAE | 4.5B | 扩散器：pixart_sigma_sdxlvae_T5_diffusers | 即将推出 |
| 原相-Σ-256 | 0.6B | pth：PixArt-Sigma-XL-2-256x256.pth 扩散器：PixArt-Sigma-XL-2-256x256 | 即将推出 |
| 原相-Σ-512 | 0.6B | pth：PixArt-Sigma-XL-2-512-MS.pth 扩散器：PixArt-Sigma-XL-2-512-MS | 即将推出 |
| 原相-α-512-DMD | 0.6B | 扩散器：PixArt-Alpha-DMD-XL-2-512x512 | 即将推出 |
| 原相-Σ-1024 | 0.6B | pth：PixArt-Sigma-XL-2-1024-MS.pth 扩散器：PixArt-Sigma-XL-2-1024-MS | 即将推出 |
| 原相-Σ-2K | 0.6B | pth：PixArt-Sigma-XL-2-2K-MS.pth 扩散器：PixArt-Sigma-XL-2-2K-MS | 即将推出 |
我们会尽力发布
@misc{chen2024pixartsigma,
title={PixArt-Sigma: Weak-to-Strong Training of Diffusion Transformer for 4K Text-to-Image Generation},
author={Junsong Chen and Chongjian Ge and Enze Xie and Yue Wu and Lewei Yao and Xiaozhe Ren and Zhongdao Wang and Ping Luo and Huchuan Lu and Zhenguo Li},
year={2024},
eprint={2403.04692},
archivePrefix={arXiv},
primaryClass={cs.CV}
