fastsag

быстрое проседание

Это реализация PyTorch/GPU документа IJCAI 2024 FastSAG: Towards Fast Non-Autoregressive Singing Accompaniment Generation. Демо-страницу можно найти по адресу demo.

@article{chen2024fastsag,
  title={FastSAG: Towards Fast Non-Autoregressive Singing Accompaniment Generation},
  author={Chen, Jianyi and Xue, Wei and Tan, Xu and Ye, Zhen and Liu, Qifeng and Guo, Yike},
  journal={arXiv preprint arXiv:2405.07682},
  year={2024}
}

Подготовка

1. Загрузите этот код:

git clone https://github.com/chenjianyi/fastsag/
cd fastsag

2. Загрузите контрольную точку fastsag отсюда и поместите все веса в fastsag/weights.

   Контрольные точки BigvGAN можно загрузить с BigvGAN. Мы использовали контрольные точки «bigvgan_24khz_100band». Я обновляю BigvGAN до BigvGAN-v2, и контрольные точки загружаются автоматически.

   Предварительно обученные контрольные точки MERT будут автоматически загружаться из Huggingface. Пожалуйста, убедитесь, что ваш сервер имеет доступ к HuggingFace.

Набор данных

1. Разделение источников:

cd preprocessing
python3 demucs_processing.py  # you may need to change root_dir and out_dir in this file

2. обрезка до 10 секунд и фильтрация важных клипов

python3 clip_to_10s.py  # change src_root and des_root for your dataset

Обучение

cd ../sde_diffusion
python3 train.py --data_dir YOUR_TRAIN_DATA --data_dir_testset YOUR_TEST_DATA --results_folder RESULTS

Поколение

python3 generate.py --ckpt TRAINED_MODEL --data_dir DATA_DIR --result_dir OUTPUT

Благодарность и ссылка

1. Град-ТТС.

2. CoMoВыступление