fastsag

fastsag

Ini adalah implementasi PyTorch/GPU dari makalah IJCAI 2024 FastSAG: Menuju Generasi Pengiring Nyanyian Non-Autoregresif yang Cepat. Halaman demo dapat ditemukan di demo.

@article{chen2024fastsag,
  title={FastSAG: Towards Fast Non-Autoregressive Singing Accompaniment Generation},
  author={Chen, Jianyi and Xue, Wei and Tan, Xu and Ye, Zhen and Liu, Qifeng and Guo, Yike},
  journal={arXiv preprint arXiv:2405.07682},
  year={2024}
}

Persiapan

1. Unduh kode ini:

git clone https://github.com/chenjianyi/fastsag/
cd fastsag

2. Unduh pos pemeriksaan fastsag dari sini dan masukkan semua bobot ke fastsag/bobot

   Pos pemeriksaan BigvGAN dapat diunduh dari BigvGAN. Pos pemeriksaan yang kami gunakan adalah "bigvgan_24khz_100band". Saya memutakhirkan BigvGAN ke BigvGAN-v2, dan pos pemeriksaan akan diunduh secara otomatis.

   Pos pemeriksaan MERT yang telah dilatih sebelumnya akan diunduh secara otomatis dari pelukan. Harap pastikan server Anda dapat mengakses pelukan.

Kumpulan data

1. Pemisahan sumber:

cd preprocessing
python3 demucs_processing.py  # you may need to change root_dir and out_dir in this file

2. kliping hingga 10 detik dan memfilter klip yang menonjol

python3 clip_to_10s.py  # change src_root and des_root for your dataset

Pelatihan

cd ../sde_diffusion
python3 train.py --data_dir YOUR_TRAIN_DATA --data_dir_testset YOUR_TEST_DATA --results_folder RESULTS

Generasi

python3 generate.py --ckpt TRAINED_MODEL --data_dir DATA_DIR --result_dir OUTPUT

Pengakuan dan referensi

1. Lulusan-TTS.

2. CoMoSpeech