fastsag

빠른 처짐

이것은 IJCAI 2024 논문 FastSAG: 빠른 비자동회귀 노래 반주 생성을 향한 PyTorch/GPU 구현입니다. 데모 페이지는 데모에서 찾을 수 있습니다.

@article{chen2024fastsag,
  title={FastSAG: Towards Fast Non-Autoregressive Singing Accompaniment Generation},
  author={Chen, Jianyi and Xue, Wei and Tan, Xu and Ye, Zhen and Liu, Qifeng and Guo, Yike},
  journal={arXiv preprint arXiv:2405.07682},
  year={2024}
}

준비

1. 이 코드를 다운로드하세요:

git clone https://github.com/chenjianyi/fastsag/
cd fastsag

2. 여기에서 fastsag 체크포인트를 다운로드하고 모든 가중치를 fastsag/weights에 넣습니다.

   BigvGAN 체크포인트는 BigvGAN에서 다운로드할 수 있습니다. 우리가 사용한 체크포인트는 "bigvgan_24khz_100band"입니다. BigvGAN을 BigvGAN-v2로 업그레이드하면 체크포인트가 자동으로 다운로드됩니다.

   MERT 사전 훈련된 체크포인트는 Huggingface에서 자동으로 다운로드됩니다. 서버가 허깅페이스에 액세스할 수 있는지 확인하세요.

데이터세트

1. 소스 분리:

cd preprocessing
python3 demucs_processing.py  # you may need to change root_dir and out_dir in this file

2. 10초로 클리핑 및 주요 클립 필터링

python3 clip_to_10s.py  # change src_root and des_root for your dataset

훈련

cd ../sde_diffusion
python3 train.py --data_dir YOUR_TRAIN_DATA --data_dir_testset YOUR_TEST_DATA --results_folder RESULTS

세대

python3 generate.py --ckpt TRAINED_MODEL --data_dir DATA_DIR --result_dir OUTPUT

승인 및 참조

1. 대학원 -TTS.

2. 코모스피치