TempoTokens下載 - TempoTokens原始碼下載

TempoTokens

Ai源碼

1.0.0

下載

透過文字到視頻模型適應生成多樣化且一致的音頻到視頻

該存儲庫包含透過文字到視訊模型適應實現多樣化和對齊的音訊到視訊生成的官方 PyTorch 實現

音訊轉視訊.mp4

抽象的

我們考慮的任務是在來自各種語義類別的自然音訊樣本的指導下產生多樣化且真實的視訊。對於此任務，視訊需要在全局和時間上與輸入音訊對齊：在全局和時間上，輸入音訊在語義上與整個輸出視訊相關聯，在時間上，輸入音訊的每個片段與相應的音訊片段相關聯。那個影片。我們利用現有的文字條件影片產生模型和預先訓練的音訊編碼器模型。所提出的方法基於輕量級適配器網絡，該網絡學習將基於音頻的表示映射到文本到視頻生成模型期望的輸入表示。因此，它還可以生成以文本、音頻為條件的視頻，並且據我們所知，這是第一次同時以文本和音頻為條件生成視頻。我們在三個資料集上廣泛驗證了我們的方法，證明了音訊視訊樣本的顯著語義多樣性，並進一步提出了一種新穎的評估指標（AV-Align）來評估生成的視訊與輸入音訊樣本的對齊情況。 AV-Align 是基於兩種模式中能量峰值的檢測和比較。與最近最先進的方法相比，我們的方法產生的影片在內容和時間軸上都與輸入聲音更好地對齊。我們還表明，透過我們的方法製作的影片呈現出更高的視覺品質並且更加多樣化。

安裝

git clone [email protected]:guyyariv/TempoTokens.git
cd TempoTokens
pip install -r requirements.txt

並使用以下指令初始化 Accelerate 環境：

accelerate config

下載 BEAT 預訓練模型

mkdir -p models/BEATs/ && wget -P models/BEATs/ -O "models/BEATs/BEATs_iter3_plus_AS2M_finetuned_on_AS2M_cpt2.pt" "https://valle.blob.core.windows.net/share/BEATs/BEATs_iter3_plus_AS2M_finetuned_on_AS2M_cpt2.pt?sv=2020-08-04&st=2023-03-01T07%3A51%3A05Z&se=2033-03-02T07%3A51%3A00Z&sr=c&sp=rl&sig=QJXmSJG9DbMKf48UDIU1MfzIro8HQOf3sqlNXiflY1I%3D"

訓練

對我們訓練過的每個資料集執行相關指令，包括 VGGSound、Landscape 和 AudioSet-Drum。

accelerate launch train.py --config configs/v2/vggsound.yaml

accelerate launch train.py --config configs/v2/landscape.yaml

accelerate launch train.py --config configs/v2/audioset_drum.yaml

我們強烈建議您查看設定檔並根據您的喜好自訂參數。

預訓練權重

透過造訪以下連結取得我們進行訓練的三個資料集的預訓練權重：https://drive.google.com/drive/folders/10pRWoq0m5torvMXILmIQd7j9fLPEeHtS 我們建議您將資料夾保存在名為“models/. ”

推理

inference.py腳本的目的是使用經過訓練的檢查點來產生影片。使用提供的命令（或選擇我們預先訓練的模型）完成模型訓練後，您可以輕鬆地從我們用於訓練的數據集創建視頻，例如 VGGSound、Landscape 和 AudioSet-Drum。

accelerate launch inference.py --mapper_weights models/vggsound/learned_embeds.pth --testset vggsound

accelerate launch inference.py --mapper_weights models/landscape/learned_embeds.pth --testset landscape

accelerate launch inference.py --mapper_weights models/audioset_drum/learned_embeds.pth --testset audioset_drum

此外，您還可以根據自己的音頻生成視頻，如下所示：

accelerate launch inference.py --mapper_weights models/vggsound/learned_embeds.pth --audio_path /audio/path

> python inference.py --help

usage: inference.py [-h] -m MODEL -p PROMPT [-n NEGATIVE_PROMPT] [-o OUTPUT_DIR]
                    [-B BATCH_SIZE] [-W WIDTH] [-H HEIGHT] [-T NUM_FRAMES]
                    [-WS WINDOW_SIZE] [-VB VAE_BATCH_SIZE] [-s NUM_STEPS]
                    [-g GUIDANCE_SCALE] [-i INIT_VIDEO] [-iw INIT_WEIGHT] [-f FPS]
                    [-d DEVICE] [-x] [-S] [-lP LORA_PATH] [-lR LORA_RANK] [-rw]

options:
  -h, --help            show this help message and exit
  -m MODEL, --model MODEL
                        HuggingFace repository or path to model checkpoint directory
  -p PROMPT, --prompt PROMPT
                        Text prompt to condition on
  -n NEGATIVE_PROMPT, --negative-prompt NEGATIVE_PROMPT
                        Text prompt to condition against
  -o OUTPUT_DIR, --output-dir OUTPUT_DIR
                        Directory to save output video to
  -B BATCH_SIZE, --batch-size BATCH_SIZE
                        Batch size for inference
  -W WIDTH, --width WIDTH
                        Width of output video
  -H HEIGHT, --height HEIGHT
                        Height of output video
  -T NUM_FRAMES, --num-frames NUM_FRAMES
                        Total number of frames to generate
  -WS WINDOW_SIZE, --window-size WINDOW_SIZE
                        Number of frames to process at once (defaults to full
                        sequence). When less than num_frames, a round robin diffusion
                        process is used to denoise the full sequence iteratively one
                        window at a time. Must be divide num_frames exactly!
  -VB VAE_BATCH_SIZE, --vae-batch-size VAE_BATCH_SIZE
                        Batch size for VAE encoding/decoding to/from latents (higher
                        values = faster inference, but more memory usage).
  -s NUM_STEPS, --num-steps NUM_STEPS
                        Number of diffusion steps to run per frame.
  -g GUIDANCE_SCALE, --guidance-scale GUIDANCE_SCALE
                        Scale for guidance loss (higher values = more guidance, but
                        possibly more artifacts).
  -i INIT_VIDEO, --init-video INIT_VIDEO
                        Path to video to initialize diffusion from (will be resized to
                        the specified num_frames, height, and width).
  -iw INIT_WEIGHT, --init-weight INIT_WEIGHT
                        Strength of visual effect of init_video on the output (lower
                        values adhere more closely to the text prompt, but have a less
                        recognizable init_video).
  -f FPS, --fps FPS     FPS of output video
  -d DEVICE, --device DEVICE
                        Device to run inference on (defaults to cuda).
  -x, --xformers        Use XFormers attnetion, a memory-efficient attention
                        implementation (requires `pip install xformers`).
  -S, --sdp             Use SDP attention, PyTorch's built-in memory-efficient
                        attention implementation.
  -lP LORA_PATH, --lora_path LORA_PATH
                        Path to Low Rank Adaptation checkpoint file (defaults to empty
                        string, which uses no LoRA).
  -lR LORA_RANK, --lora_rank LORA_RANK
                        Size of the LoRA checkpoint's projection matrix (defaults to
                        64).
  -rw, --remove-watermark
                        Post-process the videos with LAMA to inpaint ModelScope's
                        common watermarks.

致謝

我們的程式碼部分基於文字到視訊微調

引用

如果您在研究中使用我們的工作，請引用以下論文：

@misc{yariv2023diverse,
      title={Diverse and Aligned Audio-to-Video Generation via Text-to-Video Model Adaptation}, 
      author={Guy Yariv and Itai Gat and Sagie Benaim and Lior Wolf and Idan Schwartz and Yossi Adi},
      year={2023},
      eprint={2309.16429},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}