fastsag

急弛み

これは、IJCAI 2024 論文「FastSAG: 高速非自己回帰歌唱伴奏生成に向けて」の PyTorch/GPU 実装です。デモページはdemoにあります。

@article{chen2024fastsag,
  title={FastSAG: Towards Fast Non-Autoregressive Singing Accompaniment Generation},
  author={Chen, Jianyi and Xue, Wei and Tan, Xu and Ye, Zhen and Liu, Qifeng and Guo, Yike},
  journal={arXiv preprint arXiv:2405.07682},
  year={2024}
}

準備

1. このコードをダウンロードします:

git clone https://github.com/chenjianyi/fastsag/
cd fastsag

2. ここから fastsag チェックポイントをダウンロードし、すべてのウェイトを fastsag/weights に入力します。

   BigvGAN チェックポイントは BigvGAN からダウンロードできます。使用したチェックポイントは「bigvgan_24khz_100band」です。 BigvGAN を BigvGAN-v2 にアップグレードすると、チェックポイントが自動的にダウンロードされます。

   MERT の事前トレーニング済みチェックポイントは、huggingface から自動的にダウンロードされます。サーバーが ハグフェイス にアクセスできることを確認してください。

データセット

1. ソースの分離:

cd preprocessing
python3 demucs_processing.py  # you may need to change root_dir and out_dir in this file

2. 10 秒までのクリップと顕著なクリップのフィルタリング

python3 clip_to_10s.py  # change src_root and des_root for your dataset

トレーニング

cd ../sde_diffusion
python3 train.py --data_dir YOUR_TRAIN_DATA --data_dir_testset YOUR_TEST_DATA --results_folder RESULTS

世代

python3 generate.py --ckpt TRAINED_MODEL --data_dir DATA_DIR --result_dir OUTPUT

謝辞と参照

1. 卒業生TTS。

2. コモスピーチ