ToonCrafter для Windows

ToonCrafter: Генеративная интерполяция мультфильмов

? Введение

️ Пожалуйста, сначала ознакомьтесь с нашим отказом от ответственности.

? ToonCrafter может интерполировать два мультипликационных изображения, используя предварительно обученные априорные методы диффузии изображения в видео. Пожалуйста, проверьте страницу нашего проекта и документ для получения дополнительной информации.

1.1 Витрины (512х320)

Введите начальный кадр	Входной конечный кадр	Сгенерированное видео

1.2 Руководство по разреженным эскизам

Введите начальный кадр	Входной конечный кадр	Руководство по вводу эскиза	Сгенерированное видео

2. Приложения

2.1 Интерполяция эскиза мультфильма (подробнее см. на странице проекта)

Введите начальный кадр	Входной конечный кадр	Сгенерированное видео

2.2 Раскрашивание эскиза на основе эталона

Входной эскиз	Входная ссылка	Результаты раскрашивания

Журнал изменений

• Добавьте функцию управления эскизом и раскрашивания.
• [2024.05.29] : Код выпуска и вес модели.
• [2024.05.28] : Запустите страницу проекта и обновите препринт arXiv.

? Модели

Модель	Разрешение	Память графического процессора. & Время вывода (A100, ddim 50 шагов)	Контрольно-пропускной пункт
ToonCrafter_512	320x512	Будет определено позже ( perframe_ae=True )	Обнимающее лицо

В настоящее время наш ToonCrafter может поддерживать создание видео длиной до 16 кадров с разрешением 512x320. Время вывода можно сократить, используя меньшее количество шагов DDIM.

Настраивать

⚒️ Установка

Предварительные требования: 3.11>=python>=3.8 , CUDA>=11.3 , ffmpeg и git .

Питон и Гит:

• Python 3.10.11: https://www.python.org/ftp/python/3.10.11/python-3.10.11-amd64.exe
• git: https://git-scm.com/download/win

Предоставьте неограниченный доступ сценариям к PowerShell, чтобы venv мог работать:

• Откройте окно PowerShell администратора.
• Введите Set-ExecutionPolicy Unrestricted и ответьте A.
• Закрыть окно администратора PowerShell

 git clone https://github.com/sdbds/ToonCrafter-for-windows

Установите с помощью Powershell, запустите install.ps1 или install-cn.ps1 (для китайского языка).

Нет необходимости Загружать модели вручную

? Вывод

1. Командная строка

Загрузите предварительно обученный ToonCrafter_512 и поместите model.ckpt в checkpoints/tooncrafter_512_interp_v1/model.ckpt .

  sh scripts/run.sh

2. Демо-версия Local Gradio

Powershell запускается с помощью run_gui.ps1

? Отказ от ответственности

Успокоиться. Наша система открывает эпоху генеративной интерполяции мультфильмов, но из-за разнообразия априорных генеративных видео успех не гарантирован.

️ Это исследование с открытым исходным кодом, а не коммерческие продукты. Он не может оправдать все ваши ожидания.

Этот проект стремится оказать положительное влияние на область создания видео на основе искусственного интеллекта. Пользователям предоставляется свобода создавать видео с помощью этого инструмента, но они должны соблюдать местные законы и использовать его ответственно. Разработчики не несут никакой ответственности за возможное неправильное использование пользователями.

---