video diffusion pytorch

esses fogos de artifício não existem

Difusão de vídeo - Pytorch

Texto para vídeo, está acontecendo! Página oficial do projeto

Implementação de modelos de difusão de vídeo, novo artigo de Jonathan Ho estendendo DDPMs para geração de vídeo - em Pytorch. Ele usa uma U-net especial fatorada no espaço-tempo, estendendo a geração de imagens 2D para vídeos 3D

Status

14k para movimentos difíceis (convergindo muito mais rápido e melhor que NUWA) - wip

Os experimentos acima só são possíveis devido aos recursos fornecidos por Stability.ai

Quaisquer novos desenvolvimentos para síntese de texto para vídeo serão centralizados em Imagen-pytorch

Instalar

$ pip install video-diffusion-pytorch

Uso

 import torch
from video_diffusion_pytorch import Unet3D , GaussianDiffusion

model = Unet3D (
    dim = 64 ,
    dim_mults = ( 1 , 2 , 4 , 8 )
)

diffusion = GaussianDiffusion (
    model ,
    image_size = 32 ,
    num_frames = 5 ,
    timesteps = 1000 ,   # number of steps
    loss_type = 'l1'    # L1 or L2
)

videos = torch . randn ( 1 , 3 , 5 , 32 , 32 ) # video (batch, channels, frames, height, width) - normalized from -1 to +1
loss = diffusion ( videos )
loss . backward ()
# after a lot of training

sampled_videos = diffusion . sample ( batch_size = 4 )
sampled_videos . shape # (4, 3, 5, 32, 32)

Para condicionar o texto, eles derivaram incorporações de texto passando primeiro o texto tokenizado por BERT-grande. Então você só tem que treinar assim

 import torch
from video_diffusion_pytorch import Unet3D , GaussianDiffusion

model = Unet3D (
    dim = 64 ,
    cond_dim = 64 ,
    dim_mults = ( 1 , 2 , 4 , 8 )
)

diffusion = GaussianDiffusion (
    model ,
    image_size = 32 ,
    num_frames = 5 ,
    timesteps = 1000 ,   # number of steps
    loss_type = 'l1'    # L1 or L2
)

videos = torch . randn ( 2 , 3 , 5 , 32 , 32 ) # video (batch, channels, frames, height, width)
text = torch . randn ( 2 , 64 )             # assume output of BERT-large has dimension of 64

loss = diffusion ( videos , cond = text )
loss . backward ()
# after a lot of training

sampled_videos = diffusion . sample ( cond = text )
sampled_videos . shape # (2, 3, 5, 32, 32)

Você também pode passar diretamente as descrições do vídeo como strings, se planeja usar o BERT-base para condicionamento de texto

 import torch
from video_diffusion_pytorch import Unet3D , GaussianDiffusion

model = Unet3D (
    dim = 64 ,
    use_bert_text_cond = True ,  # this must be set to True to auto-use the bert model dimensions
    dim_mults = ( 1 , 2 , 4 , 8 ),
)

diffusion = GaussianDiffusion (
    model ,
    image_size = 32 ,    # height and width of frames
    num_frames = 5 ,     # number of video frames
    timesteps = 1000 ,   # number of steps
    loss_type = 'l1'    # L1 or L2
)

videos = torch . randn ( 3 , 3 , 5 , 32 , 32 ) # video (batch, channels, frames, height, width)

text = [
    'a whale breaching from afar' ,
    'young girl blowing out candles on her birthday cake' ,
    'fireworks with blue and green sparkles'
]

loss = diffusion ( videos , cond = text )
loss . backward ()
# after a lot of training

sampled_videos = diffusion . sample ( cond = text , cond_scale = 2 )
sampled_videos . shape # (3, 3, 5, 32, 32) 

Treinamento

Este repositório também contém uma classe Trainer útil para treinar em uma pasta de gifs . Cada gif deve ter as dimensões corretas image_size e num_frames .

 import torch
from video_diffusion_pytorch import Unet3D , GaussianDiffusion , Trainer

model = Unet3D (
    dim = 64 ,
    dim_mults = ( 1 , 2 , 4 , 8 ),
)

diffusion = GaussianDiffusion (
    model ,
    image_size = 64 ,
    num_frames = 10 ,
    timesteps = 1000 ,   # number of steps
    loss_type = 'l1'    # L1 or L2
). cuda ()

trainer = Trainer (
    diffusion ,
    './data' ,                         # this folder path needs to contain all your training data, as .gif files, of correct image size and number of frames
    train_batch_size = 32 ,
    train_lr = 1e-4 ,
    save_and_sample_every = 1000 ,
    train_num_steps = 700000 ,         # total training steps
    gradient_accumulate_every = 2 ,    # gradient accumulation steps
    ema_decay = 0.995 ,                # exponential moving average decay
    amp = True                        # turn on mixed precision
)

trainer . train ()

Vídeos de amostra (como arquivos gif ) serão salvos em ./results periodicamente, assim como os parâmetros do modelo de difusão.

Imagens e vídeos de co-treinamento

Uma das afirmações do artigo é que, ao realizar a atenção espaço-temporal fatorada, pode-se forçar a rede a atender o presente para treinar imagens e vídeos em conjunto, levando a melhores resultados.

Não ficou claro como eles conseguiram isso, mas eu adiantei um palpite.

Para chamar a atenção para o momento presente para uma certa porcentagem de amostras de vídeos em lote, simplesmente passe prob_focus_present = <prob> no método de difusão direta

 loss = diffusion ( videos , cond = text , prob_focus_present = 0.5 ) # for 50% of videos, focus on the present during training
loss . backward ()

Se você tiver uma ideia melhor de como isso é feito, basta abrir um problema no github.

Pendência

• conecte o condicionamento de texto, use orientação gratuita do classificador
• codificações posicionais relativas na atenção (espaço e tempo) - use o viés posicional relativo T5 em vez do que eles usaram
• adicione um argumento de palavra-chave direta que atraia a atenção ao longo do tempo (conforme relatado/afirmado no artigo, esse tipo de treinamento simultâneo de imagem + vídeo melhora os resultados)
• considere fazer uma versão 3D do CLIP, para que possa eventualmente aplicar as lições do DALL-E2 ao vídeo https://github.com/lucidrains/dalle2-video
• oferece uma maneira para o Trainer reduzir ou preencher quadros, se o GIF for muito longo
• encontre uma boa biblioteca semelhante a torchvideo (torchvideo parece imaturo) para treinar fogos de artifício
• projete o texto em 4 a 8 tokens e use-os como chaves/valores de memória para condicionar o tempo e o espaço em blocos de atenção
• prepare uma versão jax para treinamento TPU em larga escala
• peça ao Trainer para cuidar da síntese condicional do vídeo, com o texto oferecido como {video_filename}.txt correspondente na mesma pasta
• veja se ffcv ou squirrel-core são adequados
• trazer mudanças simbólicas, ao longo do tempo e do espaço

Citações

 @misc { ho2022video ,
  title   = { Video Diffusion Models } , 
  author  = { Jonathan Ho and Tim Salimans and Alexey Gritsenko and William Chan and Mohammad Norouzi and David J. Fleet } ,
  year    = { 2022 } ,
  eprint  = { 2204.03458 } ,
  archivePrefix = { arXiv } ,
  primaryClass = { cs.CV }
}

 @misc { Saharia2022 ,
    title   = { Imagen: unprecedented photorealism × deep level of language understanding } ,
    author  = { Chitwan Saharia*, William Chan*, Saurabh Saxena†, Lala Li†, Jay Whang†, Emily Denton, Seyed Kamyar Seyed Ghasemipour, Burcu Karagol Ayan, S. Sara Mahdavi, Rapha Gontijo Lopes, Tim Salimans, Jonathan Ho†, David Fleet†, Mohammad Norouzi* } ,
    year    = { 2022 }
}