lumiere pytorch

Lumière - Pytorch

Implémentation de Lumiere, génération texte-vidéo SOTA de Google Deepmind, dans Pytorch

Revue de l'article de Yannic

Étant donné que cet article ne contient principalement que quelques idées clés en plus du modèle texte-image, nous allons aller plus loin et étendre le nouveau Karras U-net à la vidéo au sein de ce référentiel.

Appréciation

• Programme de subventions Open Source AI A16Z et ? Huggingface pour les généreux parrainages, ainsi que mes autres sponsors, pour m'avoir donné l'indépendance nécessaire à la recherche open source actuelle sur l'intelligence artificielle.

Installer

$ pip install lumiere-pytorch

Usage

 import torch
from lumiere_pytorch import MPLumiere

from denoising_diffusion_pytorch import KarrasUnet

karras_unet = KarrasUnet (
    image_size = 256 ,
    dim = 8 ,
    channels = 3 ,
    dim_max = 768 ,
)

lumiere = MPLumiere (
    karras_unet ,
    image_size = 256 ,
    unet_time_kwarg = 'time' ,
    conv_module_names = [
        'downs.1' ,
        'ups.1' ,
        'downs.2' ,
        'ups.2' ,
    ],
    attn_module_names = [
        'mids.0'
    ],
    upsample_module_names = [
        'ups.2' ,
        'ups.1' ,
    ],
    downsample_module_names = [
        'downs.1' ,
        'downs.2'
    ]
)

noised_video = torch . randn ( 2 , 3 , 8 , 256 , 256 )
time = torch . ones ( 2 ,)

denoised_video = lumiere ( noised_video , time = time )

assert noised_video . shape == denoised_video . shape 

Faire

• ajouter toutes les couches temporelles

  • le chercheur doit réussir dans toutes les couches pour
    • modules de gonflage conv (étages)
    • attention aux modules de gonflage (au milieu)
    • sous-échantillonnage temporel
    • suréchantillonnages temporels
  • valider la dimension temporelle est de 2 ** couches de sous-échantillonnage
  • valider le nombre de sous-échantillons == suréchantillons
  • à l'initialisation, effectuez un essai à sec avec un tenseur fictif et affirmez que la sortie est la même

• exposer uniquement les paramètres temporels pour l'apprentissage, geler tout le reste

• trouver la meilleure façon de gérer le conditionnement temporel après le sous-échantillonnage temporel - au lieu de la transformation pytree au début, il faudra probablement se connecter à tous les modules et inspecter la taille des lots

• gérer les modules intermédiaires qui peuvent avoir une forme de sortie comme (batch, seq, dim)

• suite aux conclusions de Tero Karras, improviser une variante des 4 modules avec préservation de l'ampleur

• tester sur imagen-pytorch

• examinez la multidiffusion et voyez si elle peut se transformer en un simple emballage

Citations

 @inproceedings { BarTal2024LumiereAS ,
    title   = { Lumiere: A Space-Time Diffusion Model for Video Generation } ,
    author  = { Omer Bar-Tal and Hila Chefer and Omer Tov and Charles Herrmann and Roni Paiss and Shiran Zada and Ariel Ephrat and Junhwa Hur and Yuanzhen Li and Tomer Michaeli and Oliver Wang and Deqing Sun and Tali Dekel and Inbar Mosseri } ,
    year    = { 2024 } ,
    url     = { https://api.semanticscholar.org/CorpusID:267095113 }
}

 @article { Karras2023AnalyzingAI ,
    title   = { Analyzing and Improving the Training Dynamics of Diffusion Models } ,
    author  = { Tero Karras and Miika Aittala and Jaakko Lehtinen and Janne Hellsten and Timo Aila and Samuli Laine } ,
    journal = { ArXiv } ,
    year    = { 2023 } ,
    volume  = { abs/2312.02696 } ,
    url     = { https://api.semanticscholar.org/CorpusID:265659032 }
}