ToonCrafter Windows 版

ToonCrafter：生成卡通插值

？介绍

️请先查看我们的免责声明。

？ ToonCrafter 可以利用预先训练的图像到视频扩散先验来插入两个卡通图像。请查看我们的项目页面和论文以获取更多信息。

1.1 展示柜 (512x320)

输入起始帧	输入结束帧	生成的视频

1.2 稀疏草图指导

输入起始帧	输入结束帧	输入草图引导	生成的视频

2. 应用

2.1 卡通素描插值（更多详情请参见项目页面）

输入起始帧	输入结束帧	生成的视频

2.2 基于参考的草图着色

输入草图	输入参考	着色结果

变更日志

• 添加草图控制和着色功能。
• [2024.05.29] : 发布代码和模型权重。
• [2024.05.28] : 启动项目页面并更新 arXiv 预印本。

？型号

模型	解决	GPU内存。 & 推理时间（A100，ddim 50steps）	检查站
卡通工匠_512	320x512	待定（ perframe_ae=True ）	抱脸

目前，我们的ToonCrafter可以支持生成最多16帧、分辨率为512x320的视频。通过使用更少的 DDIM 步骤可以减少推理时间。

设置

⚒️安装

先决条件： 3.11>=python>=3.8 、 CUDA>=11.3 、 ffmpeg和git 。

Python 和 Git：

• Python 3.10.11：https://www.python.org/ftp/python/3.10.11/python-3.10.11-amd64.exe
• git：https://git-scm.com/download/win

授予对 powershell 的不受限制的脚本访问权限，以便 venv 可以工作：

• 打开管理员 powershell 窗口
• 输入Set-ExecutionPolicy Unrestricted并回答 A
• 关闭管理 powershell 窗口

 git clone https://github.com/sdbds/ToonCrafter-for-windows

使用 Powershell 运行install.ps1或install-cn.ps1安装（适用于中文）

无需手动下载模型

？推理

1. 命令行

下载预训练的 ToonCrafter_512 并将model.ckpt放入checkpoints/tooncrafter_512_interp_v1/model.ckpt中。

  sh scripts/run.sh

2. 本地Gradio演示

使用run_gui.ps1运行 Powershell

？免责声明

冷静下来。我们的框架开启了生成卡通插值的时代，但由于生成视频先验的多样性，成功率无法保证。

️这是一个开源的研究探索，而不是商业产品。它无法满足您所有的期望。

该项目致力于对人工智能驱动的视频生成领域产生积极影响。用户可以自由地使用此工具创建视频，但他们应该遵守当地法律并负责任地使用它。开发者对用户潜在的误用不承担任何责任。

---