Hotshot XL

Hotshot-XL

尝试一下 模型卡 Discord

Hotshot-XL 是一种 AI 文本转 GIF 模型，经过训练可与 Stable Diffusion XL 一起使用。

Hotshot-XL 可以使用任何经过微调的 SDXL 模型生成 GIF。这意味着两件事：

1. 您将能够使用您可能想要使用的任何现有或新微调的 SDXL 模型制作 GIF。

2. 如果您想制作个性化主题的 GIF，您可以加载您自己的基于 SDXL 的 LORA，而不必担心微调 Hotshot-XL。这太棒了，因为通常为训练数据找到合适的图像比找到视频要容易得多。它还希望适合每个人现有的 LORA 使用/工作流程:) 在此处查看更多信息。

Hotshot-XL 与 SDXL ControlNet 兼容，可以按照您想要的构图/布局制作 GIF。请参阅下面的 ControlNet 部分。

Hotshot-XL 经过训练可以以 8 FPS 生成 1 秒的 GIF。

Hotshot-XL 接受了不同纵横比的训练。为了在基本 Hotshot-XL 模型上获得最佳效果，我们建议将其与已使用 512x512 图像进行微调的 SDXL 模型结合使用。您可以在此处找到我们针对 512x512 分辨率进行微调的 SDXL 模型。

尝试一下

在这里亲自尝试 Hotshot-XL：https://www.hotshot.co

或者，如果您想在本地自行运行 Hotshot-XL，请继续阅读以下部分。

如果您自己运行 Hotshot-XL，您将能够对该模型拥有更多的灵活性/控制力。作为一个非常简单的示例，您将能够更改采样器。到目前为止，我们已经看到了 Euler-A 的最佳结果，但您可能会发现其他一些结果很有趣。

设置

环境设置

pip install virtualenv --upgrade
virtualenv -p $(which python3) venv
source venv/bin/activate
pip install -r requirements.txt

下载 Hotshot-XL 配重

# Make sure you have git-lfs installed (https://git-lfs.com)
git lfs install
git clone https://huggingface.co/hotshotco/Hotshot-XL

或访问 https://huggingface.co/hotshotco/Hotshot-XL

下载我们经过微调的 SDXL 模型（或 BYOSDXL）

• 注意：为了最大限度地提高数据和训练效率，Hotshot-XL 在 512x512 分辨率左右的各种纵横比下进行了训练。为了在基本 Hotshot-XL 模型上获得最佳效果，我们建议将其与已针对 512x512 分辨率左右的图像进行微调的 SDXL 模型一起使用。您可以下载我们使用下面的 512x512 分辨率图像训练的 SDXL 模型，或者自带您自己的 SDXL 基础模型。

# Make sure you have git-lfs installed (https://git-lfs.com)
git lfs install
git clone https://huggingface.co/hotshotco/SDXL-512

或访问 https://huggingface.co/hotshotco/SDXL-512

推理

文本转 GIF

python inference.py 
  --prompt="a bulldog in the captains chair of a spaceship, hd, high quality" 
  --output="output.gif"

期待什么：

迅速的	大脚野人水肺潜水	一只骆驼在抽烟	麦当劳叔叔坐在梳妆镜前涂口红	德雷克舔着嘴唇，透过窗户盯着纸杯蛋糕
输出

带有个性化 LORA 的文本转 GIF

python inference.py 
  --prompt="a bulldog in the captains chair of a spaceship, hd, high quality" 
  --output="output.gif" 
  --spatial_unet_base="path/to/stabilityai/stable-diffusion-xl-base-1.0/unet" 
  --lora="path/to/lora"

期待什么：

注意：下面的输出使用 DDIMScheduler。

迅速的	sks 人对着卡普里岛的太阳尖叫	sks 人亲吻青蛙克米特	穿着燕尾服的sks人举着一杯香槟，背景烟花，高清，高品质，4K
输出

使用 ControlNet 进行文本转 GIF

python inference.py 
  --prompt="a girl jumping up and down and pumping her fist, hd, high quality" 
  --output="output.gif" 
  --control_type="depth" 
  --gif="https://media1.giphy.com/media/v1.Y2lkPTc5MGI3NjExbXNneXJicG1mOHJ2dzQ2Y2JteDY1ZWlrdjNjMjl3ZWxyeWFxY2EzdyZlcD12MV9pbnRlcm5hbF9naWZfYnlfaWQmY3Q9Zw/YOTAoXBgMCmFeQQzuZ/giphy.gif"

默认情况下，Hotshot-XL 将使用 8 个等距帧从源 gif 创建关键帧，并将关键帧裁剪为默认宽高比。为了进行更细粒度的控制，请了解如何改变宽高比和改变帧速率/长度。

Hotshot-XL 目前支持一次使用一个 ControlNet 模型；支持 Multi-ControlNet 将是令人兴奋的。

期待什么：

迅速的	皮克斯风格的女孩竖起两个大拇指，快乐，高品质，8k，3d，动画迪士尼渲染	基努·里维斯举着写着“帮助”的牌子，高清，高品质	一个女人在笑，高清，高品质	奥巴马用手制作彩虹，前面有“MAGIC”字样，身穿蓝白条纹连帽衫，高清，高品质
输出
控制

不同的纵横比

• 注意：基本 SDXL 模型经过训练，可以最好地创建 1024x1024 分辨率左右的图像。为了最大限度地提高数据和训练效率，Hotshot-XL 以 512x512 分辨率左右的纵横比进行训练。请参阅附加说明，了解基础 Hotshot-XL 模型训练所用的纵横比列表。

与 SDXL 一样，Hotshot-XL 也通过宽高比分桶以各种宽高比进行训练，并支持目标大小和原始大小等 SDXL 参数。这意味着您只需使用基本 Hotshot-XL 模型即可创建多种不同宽高比和分辨率的 GIF。

python inference.py 
  --prompt="a bulldog in the captains chair of a spaceship, hd, high quality" 
  --output="output.gif" 
  --width=<WIDTH> 
  --height=<HEIGHT>

期待什么：

	512x512	672x384	384x672
一只猴子弹吉他，自然镜头，高清，高品质

不同的帧速率和长度（实验）

默认情况下，Hotshot-XL 经过训练可生成 1 秒长、8FPS 的 GIF。如果您想尝试生成具有不同帧速率和时间长度的 GIF，您可以尝试使用参数video_length和video_duration 。

video_length设置帧数。默认值为 8。

video_duration设置输出 gif 的运行时间（以毫秒为单位）。默认值为 1000。

请注意，修改这些参数时，您应该预期会出现不稳定/“紧张”的结果，因为模型仅使用 8fps 的 1 秒视频进行训练。通过微调 Hotshot-XL，您将能够提高不同时间长度和帧速率下结果的稳定性。如果您这样做，请告诉我们！

python inference.py 
  --prompt="a bulldog in the captains chair of a spaceship, hd, high quality" 
  --output="output.gif" 
  --video_length=16 
  --video_duration=2000

仅空间层

Hotshot-XL 经过训练可以与 SDXL 一起生成 GIF。如果您只想生成图像，则只需在推理调用中设置video_length=1即可，如您所料，Hotshot-XL 时间层将被忽略。

python inference.py 
  --prompt="a bulldog in the captains chair of a spaceship, hd, high quality" 
  --output="output.jpg" 
  --video_length=1

附加说明

支持的纵横比

Hotshot-XL 按以下纵横比进行训练；为了可靠地生成超出这些宽高比范围的 GIF，您需要对 Hotshot-XL 视频进行微调，使其达到所需宽高比的分辨率。

纵横比	尺寸
0.42	320×768
0.57	384×672
0.68	416×608
1.00	512×512
1.46	608×416
1.75	672×384
2.40	768×320

微调

以下部分涉及使用附加文本/视频对微调 Hotshot-XL 时间模型。如果您尝试生成个性化概念/主题的 GIF，我们建议不要微调 Hotshot-XL，而是训练您自己的基于 SDXL 的 LORA，然后加载它们。

微调 Hotshot-XL

数据集准备

fine_tune.py脚本期望您的示例结构如下：

fine_tune_dataset
├── sample_001
│  ├── 0.jpg
│  ├── 1.jpg
│  ├── 2.jpg
...
...
│  ├── n.jpg
│  └── prompt.txt

每个示例目录应包含n 个关键帧和一个包含提示的prompt.txt文件。最终检查点将保存到output_dir 。我们发现经常向权重和偏差发送验证 GIF 很有用。如果您选择使用权重和偏差进行验证，则可以使用validate_every_steps参数设置运行频率。

accelerate launch fine_tune.py 
    --output_dir="<OUTPUT_DIR>" 
    --data_dir="fine_tune_dataset" 
    --report_to="wandb" 
    --run_validation_at_start 
    --resolution=512 
    --mixed_precision=fp16 
    --train_batch_size=4 
    --learning_rate=1.25e-05 
    --lr_scheduler="constant" 
    --lr_warmup_steps=0 
    --max_train_steps=1000 
    --save_n_steps=20 
    --validate_every_steps=50 
    --vae_b16 
    --gradient_checkpointing 
    --noise_offset=0.05 
    --snr_gamma 
    --test_prompts="man sits at a table in a cafe, he greets another man with a smile and a handshakes"

进一步的工作

我们对 Hotshot-XL 的改进有很多方面感到兴奋。例如：

• 以更大的帧速率微调 Hotshot-XL，以创建更长/更高帧速率的 GIF

• 以更高分辨率微调 Hotshot-XL 以创建更高分辨率的 GIF

• 为潜在的升级器训练时间层以生成更高分辨率的 GIF

• 训练图像条件“帧预测”模型以获得更连贯、更长的 GIF

• 训练 VAE 的时间层以减轻输出中的闪烁/抖动

• 支持 Multi-ControlNet 以更好地控制 GIF 生成

• 训练和集成不同的 ControlNet 模型以进一步控制 GIF 生成（更精细的面部表情控制会非常酷）

• 将 Hotshot-XL 移至 AITemplate 以缩短推理时间

我们 ？来自开源社区的贡献！如果您有兴趣进行这些改进或其他任何工作，请在问题或 PR 中告诉我们！

书目词典

@software{Mullan_Hotshot-XL_2023,
  author = {Mullan, John and Crawbuck, Duncan and Sastry, Aakash},
  license = {Apache-2.0},
  month = oct,
  title = {{Hotshot-XL}},
  url = {https://github.com/hotshotco/hotshot-xl},
  version = {1.0.0},
  year = {2023}
}

致谢

文本转视频模型正在快速改进，Hotshot-XL 的开发受到了以下令人惊叹的作品和团队的极大启发：

• SDXL

• 调整你的潜力

• 制作视频

• 动画差异

• 图像视频

我们希望发布这个模型/代码库有助于社区以开放和负责任的方式继续推动这些创意工具的发展。