ToonCrafter para Windows

ToonCrafter: interpolação generativa de desenhos animados

? Introdução

️ Por favor, verifique nosso aviso primeiro.

? ToonCrafter pode interpolar duas imagens de desenho animado aproveitando os anteriores de difusão de imagem para vídeo pré-treinados. Por favor, verifique nossa página e documento do projeto para obter mais informações.

1.1 Vitrines (512x320)

Quadro inicial de entrada	Quadro final de entrada	Vídeo gerado

1.2 Orientação de esboço esparso

Quadro inicial de entrada	Quadro final de entrada	Orientação de esboço de entrada	Vídeo gerado

2. Aplicações

2.1 Interpolação de esboço de desenho animado (veja a página do projeto para mais detalhes)

Quadro inicial de entrada	Quadro final de entrada	Vídeo gerado

2.2 Colorização de esboço baseada em referência

Esboço de entrada	Referência de entrada	Resultados de colorização

Registro de alterações

• Adicione controle de esboço e função de colorização.
• [2024.05.29] : Código de liberação e pesos do modelo.
• [2024.05.28] : Inicie a página do projeto e atualize a pré-impressão do arXiv.

? Modelos

Modelo	Resolução	Memória GPU. & Tempo de inferência (A100, ddim 50 passos)	Ponto de verificação
ToonCrafter_512	320x512	A definir ( perframe_ae=True )	Abraçando o rosto

Atualmente, nosso ToonCrafter pode suportar a geração de vídeos de até 16 frames com resolução de 512x320. O tempo de inferência pode ser reduzido usando menos etapas de DDIM.

Configurar

⚒️ Instalação

pré-requisitos: 3.11>=python>=3.8 , CUDA>=11.3 , ffmpeg e git .

Python e Git:

• Python 3.10.11: https://www.python.org/ftp/python/3.10.11/python-3.10.11-amd64.exe
• git: https://git-scm.com/download/win

Conceda acesso irrestrito de script ao PowerShell para que o venv possa funcionar:

• Abra uma janela do administrador do PowerShell
• Digite Set-ExecutionPolicy Unrestricted e responda A
• Fechar janela do administrador do PowerShell

 git clone https://github.com/sdbds/ToonCrafter-for-windows

Instale com Powershell, execute install.ps1 ou install-cn.ps1 (para chinês)

Não há necessidade de baixar modelos manualmente

? Inferência

1. Linha de comando

Baixe o ToonCrafter_512 pré-treinado e coloque o model.ckpt em checkpoints/tooncrafter_512_interp_v1/model.ckpt .

  sh scripts/run.sh

2. Demonstração local do Gradio

Powershell executado com run_gui.ps1

? Isenção de responsabilidade

Acalmar. Nossa estrutura abre a era da interpolação generativa de desenhos animados, mas devido à variabilidade do vídeo generativo anterior, a taxa de sucesso não é garantida.

️ Esta é uma exploração de pesquisa de código aberto, em vez de produtos comerciais. Não pode atender a todas as suas expectativas.

Este projeto se esforça para impactar positivamente o domínio da geração de vídeo baseada em IA. Os usuários têm a liberdade de criar vídeos usando esta ferramenta, mas espera-se que cumpram as leis locais e a utilizem de forma responsável. Os desenvolvedores não assumem qualquer responsabilidade por potencial uso indevido por parte dos usuários.

---