fastsag

快速下垂

這是 IJCAI 2024 論文 FastSAG: Towards Fast Non-Autoregressive Singing Accompaniment Generation 的 PyTorch/GPU 實作。演示頁面可以在 demo 中找到。

@article{chen2024fastsag,
  title={FastSAG: Towards Fast Non-Autoregressive Singing Accompaniment Generation},
  author={Chen, Jianyi and Xue, Wei and Tan, Xu and Ye, Zhen and Liu, Qifeng and Guo, Yike},
  journal={arXiv preprint arXiv:2405.07682},
  year={2024}
}

準備

1. 下載此程式碼：

git clone https://github.com/chenjianyi/fastsag/
cd fastsag

2. 從這裡下載 fastsag checkpoint 並將所有權重放入 fastsag/weights

   BigvGAN 檢查點可以從 BigvGAN 下載。我們使用的檢查點是「bigvgan_24khz_100band」。我將 BigvGAN 升級到 BigvGAN-v2，檢查點會自動下載。

   MERT 預訓練檢查點將從 Huggingface 自動下載。請確保您的伺服器可以存取 Huggingface。

數據集

1. 源頭分離：

cd preprocessing
python3 demucs_processing.py  # you may need to change root_dir and out_dir in this file

2. 剪輯至 10 秒並過濾顯著剪輯

python3 clip_to_10s.py  # change src_root and des_root for your dataset

訓練

cd ../sde_diffusion
python3 train.py --data_dir YOUR_TRAIN_DATA --data_dir_testset YOUR_TEST_DATA --results_folder RESULTS

世代

python3 generate.py --ckpt TRAINED_MODEL --data_dir DATA_DIR --result_dir OUTPUT

致謝和參考

1. 畢業 TTS。

2. 科莫語音