الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

استنساخ الصوت بالذكاء الاصطناعي

لاحظ أنني لا أخطط للعمل بنشاط على التحسينات/التحسينات لهذا المشروع، وهذا يهدف بشكل أساسي إلى الحفاظ على الريبو في حالة العمل في حالة تعطل git.ecker الأصلي أو الحاجة إلى إجراء تغييرات الحزمة الضرورية.

ومع ذلك، تمت إضافة بعض التحسينات مقارنة بالريبو الأصلي:

✔️ إمكانية التدرب على لغات أخرى

✔️ تمت إضافة هيفيجان، مما يسمح بالاستدلال بشكل أسرع على حساب الجودة.

✔️ تمت إضافة Whisper-v3 كخيار يمكن اختياره لـ Whisperx

✔️ تحويل الإخراج باستخدام RVC

هذه نسخة فرعية من الريبو الموجود أصلاً هنا: https://git.ecker.tech/mrq/ai-voice-cloning. كل العمل الذي تم وضعه لدمج التدريب مع DLAS والاستدلال باستخدام Tortoise ينتمي إلى mrq، مؤلف النسخة الأصلية لاستنساخ الصوت بالذكاء الاصطناعي.

يثبت

يعمل هذا الريبو على نظام التشغيل Windows مع وحدات معالجة الرسومات NVIDIA و Linux الذي يقوم بتشغيل Docker مع وحدات معالجة الرسومات NVIDIA .

حزمة Windows (مستحسن)

  1. اختياري، ولكن يوصى به: قم بتثبيت 7zip على جهاز الكمبيوتر الخاص بك: https://www.7-zip.org/
    • إذا واجهت أي مشكلات في الاستخراج، فمن المرجح أن يرجع ذلك إلى أن برنامج 7zip الخاص بك قديم أو أنك تستخدم مستخرجًا مختلفًا.
  2. توجه إلى علامة تبويب الإصدارات وقم بتنزيل أحدث حزمة على Hugging Face: https://github.com/JarodMica/ai-voice-cloning/releases/tag/v3.0
  3. قم باستخراج أرشيف 7zip.
  4. افتح ai-voice-cloning ثم قم بتشغيل start.bat

التثبيت اليدوي البديل

إذا كنت تقوم بتثبيت هذا يدويًا، فستحتاج إلى:

  • بايثون 3.11: https://www.python.org/downloads/release/python-311/
  • البوابة: https://www.git-scm.com/downloads
  1. استنساخ المستودع 
 git clone https://github.com/JarodMica/ai-voice-cloning.git
  1. قم بتشغيل ملف setup-cuda.bat وسيبدأ تشغيله عبر جميع حزم python المطلوبة
    • إذا لم يكن لديك python 3.11، فلن يعمل وسيتعين عليك تنزيله
  2. بعد الانتهاء، قم بتشغيل start.bat وسيبدأ هذا في تنزيل معظم النماذج التي ستحتاج إليها.
    • يتم تنزيل بعض النماذج عند استخدامها لأول مرة. ستتحمل تنزيلات إضافية أثناء الإنشاء وأثناء التدريب (للهمس). ومع ذلك، بمجرد الانتهاء منها، لن تضطر إلى تنزيلها مرة أخرى طالما لم تقم بحذفها. وهي موجودة في مجلد models في الجذر.
  3. (اختياري) يمكنك اختيار تثبيت whisperx للتدريب عن طريق تشغيل setup-whipserx.bat
    • قم بمراجعة صفحة Whisperx github لمزيد من التفاصيل، ولكنها أسرع بكثير بالنسبة للملفات الصوتية الأطول. إذا كنت تقوم بمعالجة واحدة تلو الأخرى باستخدام مجموعة بيانات مقسمة بالفعل، فلن يؤدي ذلك إلى تحسين السرعات كثيرًا.

عامل ميناء لنظام التشغيل Linux (أو WSL2)

إعداد خاص بنظام التشغيل Linux

  1. تأكد من تثبيت أحدث برامج تشغيل nvidia: sudo ubuntu-drivers install

  2. قم بتثبيت Docker بالطريقة المفضلة لديك. إحدى طرق القيام بذلك هي اتباع الوثائق الرسمية هنا.

    • ابدأ بإلغاء تثبيت الإصدارات القديمة
    • اتبع طريقة تثبيت المستودع "apt".
    • تأكد من أن كل شيء يعمل مع حاوية "hello-world".

  3. إذا ظهرت لديك رسالة خطأ، عند تشغيل عامل إرساء استنساخ الصوت، تفيد بأنه لا يمكن استخدام وحدة معالجة الرسومات، فقد يتعين عليك تثبيت Nvidia Docker Container Toolkit.

    • التثبيت باستخدام الطريقة "apt".

    • قم بتشغيل أمر تكوين عامل الإرساء

      sudo nvidia-ctk runtime configure --runtime=docker

    • أعد تشغيل عامل الإرساء

إعداد خاص لنظام التشغيل Windows

تأكد من تحديث برامج تشغيل Nvidia لديك: https://www.nvidia.com/download/index.aspx

  1. قم بتثبيت WSL2 في PowerShell باستخدام wsl --install وإعادة التشغيل
  2. افتح PowerShell، واكتب وأدخل ubuntu . يجب الآن تحميلك إلى wsl2
  3. قم بإزالة مفتاح ذاكرة التخزين المؤقت الأصلي لـ nvidia: sudo apt-key del 7fa2af80
  4. تنزيل حلقة مفاتيح مجموعة أدوات CUDA: wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-keyring_1.1-1_all.deb
  5. تثبيت حلقة المفاتيح: sudo dpkg -i cuda-keyring_1.1-1_all.deb
  6. تحديث قائمة الحزم: sudo apt-get update
  7. تثبيت مجموعة أدوات CUDA: sudo apt-get -y install cuda-toolkit-12-4
  8. قم بتثبيت Docker Desktop باستخدام WSL2 كواجهة خلفية
  9. إعادة تشغيل
  10. إذا كنت ترغب في مراقبة الجهاز عن بعد عبر SSH، فاتبع هذا الدليل.
  11. افتح PowerShell، واكتب ubuntu ، ثم اتبع ما يلي

البناء والتشغيل في دوكر

  1. افتح محطة (أو Ubuntu WSL)
  2. استنساخ المستودع: git clone https://github.com/JarodMica/ai-voice-cloning.git && cd ai-voice-cloning
  3. أنشئ الصورة باستخدام ./setup-docker.sh
  4. ابدأ الحاوية باستخدام ./start-docker.sh
  5. قم بزيارة http://localhost:7860 أو عن بعد باستخدام http://<ip>:7860

إذا تعذر الوصول إلى الخادم البعيد، راجع هذا الموضوع

قد تحتاج أيضًا إلى إعادة تعيين مجلداتك المحلية إلى مجلدات Docker. للقيام بذلك، يجب عليك فتح البرنامج النصي "start-docker.sh"، وتحديث بعض الأسطر. على سبيل المثال، إذا كنت تريد العثور على التسجيلات الصوتية التي تم إنشاؤها بسهولة، فقم بإنشاء مجلد "النتائج" في الدليل الجذر، ثم في "start-docker.sh" أضف السطر:

-v "your/custom/path:/home/user/ai-voice-cloning/results"

تعليمات

تحقق من فيديو يوتيوب:

شاهد أولا: https://youtu.be/WWhNqJEmF9M?si=RhUZhYersAvSZ4wf

شاهد الثانية (تحديث RVC): https://www.youtube.com/watch?v=7tpWH8_S8es&t=504s

كل شيء يشبه إلى حد كبير ما كان عليه من قبل إذا كنت قد استخدمت هذا المستودع في الماضي، ومع ذلك، هناك خيار جديد لتحويل مخرجات النص باستخدام rvc . قبل أن تتمكن من استخدامه، ستحتاج إلى ملف RVC .pth مدرب تحصل عليه من RVC أو عبر الإنترنت، ثم ستحتاج إلى وضعه في models/rvc_models/ . يمكن وضع كلا الملفين .index و .pth هنا وسيظهران بشكل صحيح في القوائم المنسدلة الخاصة بهما.

لتمكين RVC:

  1. قم بتحديد وتمكين Show Experimental Settings للكشف عن المزيد من الخيارات
  2. تحقق وقم بتمكين Run the outputter audio through RVC . سيكون لديك الآن إمكانية الوصول إلى المعلمات التي يمكنك ضبطها في RVC لنموذج صوت RVC الذي تستخدمه.

تحديث التثبيت الخاص بك

فيما يلي كيفية تحديث الحزمة للحصول على آخر التحديثات

ويندوز

ملاحظة: إذا كان هناك تغيير كبير في الميزات، فتحقق من الإصدار الأخير لمعرفة ما إذا كان update_package.bat سيعمل أم لا. إذا لم يكن الأمر كذلك، فستحتاج إلى إعادة تنزيل الحزمة وإعادة استخراجها من Hugging Face.

  1. قم بتشغيل الملف update_package.bat
    • سيتم استنساخ الريبو ونسخ مجلد src من الريبو إلى الحزمة.

التثبيت اليدوي البديل

يجب أن تكون قادرًا على الانتقال إلى المجلد ثم سحب الريبو لتحديثه. 

 cd ai-voice-cloning
git pull

إذا تمت إضافة ميزات كبيرة، فقد تحتاج إلى حذف venv وإعادة تشغيل البرنامج النصي setup-cuda للتأكد من عدم وجود مشكلات في الحزمة

لينكس عبر دوكر

يجب أن تكون قادرًا على التنقل داخل المجلد ثم سحب الريبو لتحديثه، ثم إعادة إنشاء صورة Docker الخاصة بك. 

 cd ai-voice-cloning
git pull
./setup-docker.sh

التوثيق

استكشاف أخطاء التثبيت اليدوي وإصلاحها

المحطة هي صديقك. ستظهر أي أخطاء أو مشكلات في الجهاز عندما تحاول التشغيل، وبعد ذلك يمكنك البدء في تصحيح الأخطاء من هناك.

  • إذا حدث عطل في الشعلة في مكان ما أثناء العملية، فقد تضطر إلى إعادة تثبيتها. سيتعين عليك إلغاء تثبيته، ثم إعادة تثبيته كما يلي. تأكد من كتابة (Y) لتأكيد الحذف. 
 .venvScriptsactivate.bat
pip uninstall torch
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

الإبلاغ عن الأخطاء

إذا واجهت أي مشاكل، يرجى فتح قضية جديدة في علامة التبويب "القضايا".

نصائح للمطورين

يجب أن يحتوي setup-cuda.bat على كل ما تحتاجه لتثبيت الحزم. جميع ملفات المتطلبات المختلفة تجعل الأمر في حالة فوضى كبيرة في البرنامج النصي، ولكن كل ريبو لديه متطلباته مثبتة، ثم في النهاية، هناك حاجة إلى ملف requirements.txt في الجذر لتغيير الإصدار مرة أخرى إلى الإصدارات المتوافقة لهذا الريبو.

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل