الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

استنساخ الصوت في الوقت الحقيقي

يعد هذا المستودع بمثابة تطبيق لنقل التعلم من التحقق من السماعة إلى تركيب تحويل النص إلى كلام متعدد السماعات (SV2TTS) باستخدام مشفر صوتي يعمل في الوقت الفعلي. وكانت هذه أطروحة الماجستير الخاصة بي.

SV2TTS هو إطار عمل للتعلم العميق يتكون من ثلاث مراحل. في المرحلة الأولى، يقوم المرء بإنشاء تمثيل رقمي للصوت من بضع ثوان من الصوت. في المرحلتين الثانية والثالثة، يتم استخدام هذا التمثيل كمرجع لتوليد الكلام نظرا لنص عشوائي.

فيديو توضيحي (انقر فوق الصورة):

تم تنفيذ الأوراق

عنوان URL تعيين عنوان مصدر التنفيذ
1806.04558 SV2TTS نقل التعلم من التحقق من المتحدث إلى تركيب تحويل النص إلى كلام متعدد السماعات هذا الريبو
1802.08435 WaveRNN (مشفر صوتي) كفاءة التوليف الصوتي العصبي فاتكورد / WaveRNN
1703.10135 تاكوترون (المركب) تاكوترون: نحو تركيب الكلام من طرف إلى طرف فاتكورد / WaveRNN
1710.10467 GE2E (التشفير) الخسارة الشاملة الشاملة للتحقق من المتحدث هذا الريبو

انتباه

مثل كل شيء آخر في التعلم العميق، أصبح هذا الريبو قديمًا بسرعة. ستمنحك العديد من تطبيقات SaaS (التي تدفع غالبًا) جودة صوت أفضل من تلك التي يوفرها هذا المستودع. إذا كنت ترغب في حل مفتوح المصدر بجودة صوت عالية:

  • تحقق من الأوراق التي تحتوي على الكود للمستودعات الأخرى والأبحاث الحديثة في مجال تركيب الكلام.
  • قم بزيارة CoquiTTS للحصول على مستودع بجودة أفضل لاستنساخ الصوت والمزيد من الوظائف.
  • تحقق من MetaVoice-1B للحصول على نموذج صوتي كبير بجودة صوت عالية

يثبت

1. تثبيت المتطلبات

  1. يتم دعم كل من نظامي التشغيل Windows وLinux. يوصى باستخدام وحدة معالجة الرسومات (GPU) للتدريب وسرعة الاستدلال، ولكنها ليست إلزامية.
  2. يوصى ببايثون 3.7. من المفترض أن يعمل الإصدار 3.5 من Python أو الإصدارات الأحدث، لكن ربما سيتعين عليك تعديل إصدارات التبعيات. أوصي بإعداد بيئة افتراضية باستخدام venv ، لكن هذا اختياري.
  3. قم بتثبيت ffmpeg. وهذا ضروري لقراءة الملفات الصوتية.
  4. قم بتثبيت باي تورش. اختر أحدث إصدار ثابت، ونظام التشغيل الخاص بك، ومدير الحزم لديك (النقطة افتراضيًا)، وأخيرًا اختر أيًا من إصدارات CUDA المقترحة إذا كان لديك وحدة معالجة رسومات (GPU)، وإلا فاختر وحدة المعالجة المركزية (CPU). قم بتشغيل الأمر المحدد.
  5. قم بتثبيت المتطلبات المتبقية باستخدام pip install -r requirements.txt

2. (اختياري) قم بتنزيل النماذج المُدربة مسبقًا

يتم الآن تنزيل النماذج المُدربة مسبقًا تلقائيًا. إذا لم ينجح هذا بالنسبة لك، فيمكنك تنزيلها يدويًا هنا.

3. (اختياري) تكوين الاختبار

قبل تنزيل أي مجموعة بيانات، يمكنك البدء باختبار التكوين الخاص بك باستخدام:

python demo_cli.py

إذا نجحت جميع الاختبارات، فأنت على ما يرام.

4. (اختياري) تنزيل مجموعات البيانات

للعب باستخدام صندوق الأدوات وحده، أوصي فقط بتنزيل LibriSpeech/train-clean-100 . قم باستخراج المحتويات كـ /LibriSpeech/train-clean-100 حيث يكون دليلاً من اختيارك. مجموعات البيانات الأخرى مدعومة في صندوق الأدوات، انظر هنا. أنت حر في عدم تنزيل أي مجموعة بيانات، ولكن بعد ذلك ستحتاج إلى بياناتك الخاصة كملفات صوتية أو سيتعين عليك تسجيلها باستخدام صندوق الأدوات.

5. قم بتشغيل صندوق الأدوات

يمكنك بعد ذلك تجربة مربع الأدوات:

python demo_toolbox.py -d
أو
python demo_toolbox.py

اعتمادًا على ما إذا كنت قد قمت بتنزيل أي مجموعات بيانات. إذا كنت تقوم بتشغيل خادم X أو إذا كان لديك الخطأ Aborted (core dumped) ، فراجع هذه المشكلة.

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل