fastsag

com.fastsag

هذا هو تطبيق PyTorch/GPU لورقة IJCAI 2024 FastSAG: نحو إنشاء مرافقة غنائية سريعة غير رجعية. يمكن العثور على الصفحة التجريبية في العرض التوضيحي.

@article{chen2024fastsag,
  title={FastSAG: Towards Fast Non-Autoregressive Singing Accompaniment Generation},
  author={Chen, Jianyi and Xue, Wei and Tan, Xu and Ye, Zhen and Liu, Qifeng and Guo, Yike},
  journal={arXiv preprint arXiv:2405.07682},
  year={2024}
}

تحضير

1. قم بتحميل هذا الكود:

git clone https://github.com/chenjianyi/fastsag/
cd fastsag

2. قم بتحميل نقطة تفتيش fastsag من هنا وقم بوضع جميع الأوزان في fastsag/weights

   يمكن تنزيل نقاط تفتيش BigvGAN من BigvGAN. نقاط التفتيش التي استخدمناها هي "bigvgan_24khz_100band". أقوم بترقية BigvGAN إلى BigvGAN-v2، وسيتم تنزيل نقاط التفتيش تلقائيًا.

   سيتم تنزيل نقاط التفتيش المدربة مسبقًا من MERT تلقائيًا من Huggingface. يرجى التأكد من أن الخادم الخاص بك يمكنه الوصول إلى Huggingface.

مجموعة البيانات

1. فصل المصدر:

cd preprocessing
python3 demucs_processing.py  # you may need to change root_dir and out_dir in this file

2. القطع إلى 10 ثوانٍ وتصفية المقاطع البارزة

python3 clip_to_10s.py  # change src_root and des_root for your dataset

تمرين

cd ../sde_diffusion
python3 train.py --data_dir YOUR_TRAIN_DATA --data_dir_testset YOUR_TEST_DATA --results_folder RESULTS

جيل

python3 generate.py --ckpt TRAINED_MODEL --data_dir DATA_DIR --result_dir OUTPUT

شكر وتقدير

1. غراد تحويل النص إلى كلام.

2. CoMoSpeech