magvit2 pytorch

MagViT2 - Pytorch

Implementasi MagViT2 dari Model Bahasa Beats Diffusion - Tokenizer adalah Kunci Generasi Visual di Pytorch. Saat ini memegang SOTA untuk pembuatan/pemahaman video.

Lookup Free Quantizer yang diusulkan dalam makalah ini dapat ditemukan di repositori terpisah. Ini mungkin harus dieksplorasi untuk semua modalitas lainnya, dimulai dengan audio

Silakan bergabung jika Anda tertarik untuk mereplikasi tokenizer yang diusulkan dalam makalah ini secara terbuka

Pembaruan: Tencent telah menggunakan kode dalam repositori ini dan membuat model kerja menjadi sumber terbuka

Apresiasi

• StabilitasAI dan ? Huggingface atas sponsor yang murah hati, serta sponsor saya yang lain, yang telah memberi saya kebebasan terhadap kecerdasan buatan sumber terbuka.

• Louis Serrano yang telah membagikan beberapa proses awal, memvalidasi bahwa keseluruhan arsitektur menyatu dengan kuantisasi skalar hingga.

• Anda? Jika Anda seorang insinyur/ilmuwan riset berbakat, jangan ragu untuk berkontribusi pada ilmu pengetahuan sumber terbuka yang mutakhir!

Memasang

$ pip install magvit2-pytorch

Penggunaan

 from magvit2_pytorch import (
    VideoTokenizer ,
    VideoTokenizerTrainer
)

tokenizer = VideoTokenizer (
    image_size = 128 ,
    init_dim = 64 ,
    max_dim = 512 ,
    codebook_size = 1024 ,
    layers = (
        'residual' ,
        'compress_space' ,
        ( 'consecutive_residual' , 2 ),
        'compress_space' ,
        ( 'consecutive_residual' , 2 ),
        'linear_attend_space' ,
        'compress_space' ,
        ( 'consecutive_residual' , 2 ),
        'attend_space' ,
        'compress_time' ,
        ( 'consecutive_residual' , 2 ),
        'compress_time' ,
        ( 'consecutive_residual' , 2 ),
        'attend_time' ,
    )
)

trainer = VideoTokenizerTrainer (
    tokenizer ,
    dataset_folder = '/path/to/a/lot/of/media' ,     # folder of either videos or images, depending on setting below
    dataset_type = 'videos' ,                        # 'videos' or 'images', prior papers have shown pretraining on images to be effective for video synthesis
    batch_size = 4 ,
    grad_accum_every = 8 ,
    learning_rate = 2e-5 ,
    num_train_steps = 1_000_000
)

trainer . train ()

# after a lot of training ...
# can use the EMA of the tokenizer

ema_tokenizer = trainer . ema_tokenizer

# mock video

video = torch . randn ( 1 , 3 , 17 , 128 , 128 )

# tokenizing video to discrete codes

codes = ema_tokenizer . tokenize ( video ) # (1, 9, 16, 16) <- in this example, time downsampled by 4x and space downsampled by 8x. flatten token ids for (non)-autoregressive training

# sanity check

decoded_video = ema_tokenizer . decode_from_code_indices ( codes )

assert torch . allclose (
    decoded_video ,
    ema_tokenizer ( video , return_recon = True )
)

Untuk melacak eksperimen Anda pada Bobot & Bias, atur use_wandb_tracking = True pada VideoTokenizerTrainer , lalu gunakan pengelola konteks .trackers

 trainer = VideoTokenizerTrainer (
    use_wandb_tracking = True ,
    ...
)

with trainer . trackers ( project_name = 'magvit2' , run_name = 'baseline' ):
    trainer . train ()

Semua yang harus dilakukan

• Tokenizer Magvit2

  • menambahkan kerugian permusuhan
  • menerapkan blurpool untuk antialiasing dalam diskriminator
  • LFQ harus mampu melewati perincian kerugian (komitmen dan entropi), dan diteruskan ke kembalinya tokenizer
  • tambahkan pengkondisian untuk dekoder encoder dengan konv 3d yang dapat dimodulasi sisa
  • decode_from_codebook_indices harus dapat menerima id yang diratakan dan dibentuk ulang untuk memperbaiki dimensi peta fitur dan mendekode kembali ke video
  • menambah pelatih dan mengelola pelatihan diskriminator
  • tambahkan rmsnorm adaptif dan lapisan transformator yang dapat dikondisikan
  • menggeneralisasi sepenuhnya ke beberapa diskriminator pada skala waktu yang berbeda (mengambil inspirasi dari diskriminator multi-resolusi dari soundstream)
    • kerugian diskriminator multiskala yang lengkap
    • mengelola pengoptimal diskriminator multiskala secara otomatis
    • fungsi pembantu untuk membuat diskriminator temporal multi-resolusi (memilih bingkai berurutan secara acak)
  • menambah perhatian
    • gunakan embeddings putar aksial untuk spasial
  • tambahkan kerugian autoregresif opsional di beberapa lapisan dekoder kedua dari belakang - periksa literatur untuk melihat apakah ada orang lain yang telah melakukan penyatuan dekoder transformator + tokenizer dalam satu arsitektur

• Improvisasi Transformator Video RQ, karena sisa LFQ sebenarnya masuk akal sekarang

• MaskerGit

Kutipan

 @misc { yu2023language ,
    title   = { Language Model Beats Diffusion -- Tokenizer is Key to Visual Generation } , 
    author  = { Lijun Yu and José Lezama and Nitesh B. Gundavarapu and Luca Versari and Kihyuk Sohn and David Minnen and Yong Cheng and Agrim Gupta and Xiuye Gu and Alexander G. Hauptmann and Boqing Gong and Ming-Hsuan Yang and Irfan Essa and David A. Ross and Lu Jiang } ,
    year    = { 2023 } ,
    eprint  = { 2310.05737 } ,
    archivePrefix = { arXiv } ,
    primaryClass = { cs.CV }
}

 @inproceedings { dao2022flashattention ,
    title   = { Flash{A}ttention: Fast and Memory-Efficient Exact Attention with {IO}-Awareness } ,
    author  = { Dao, Tri and Fu, Daniel Y. and Ermon, Stefano and Rudra, Atri and R{'e}, Christopher } ,
    booktitle = { Advances in Neural Information Processing Systems } ,
    year    = { 2022 }
}

 @article { Zhang2021TokenST ,
    title   = { Token Shift Transformer for Video Classification } ,
    author  = { Hao Zhang and Y. Hao and Chong-Wah Ngo } ,
    journal = { Proceedings of the 29th ACM International Conference on Multimedia } ,
    year    = { 2021 }
}

 @inproceedings { Arora2023ZoologyMA ,
    title   = { Zoology: Measuring and Improving Recall in Efficient Language Models } ,
    author  = { Simran Arora and Sabri Eyuboglu and Aman Timalsina and Isys Johnson and Michael Poli and James Zou and Atri Rudra and Christopher R'e } ,
    year    = { 2023 } ,
    url     = { https://api.semanticscholar.org/CorpusID:266149332 }
}