واجهة مستخدم WebUI للتحويل الصوتي المستندة إلى الاسترجاع

واجهة المستخدم للتحويل الصوتي المستندة إلى الاسترجاع

إطار عمل بسيط وسهل الاستخدام لتغيير الصوت يعتمد على VITS

تحديث السجل | الأسئلة الشائعة | . AutoDL · 5 سنتات لتدريب مغني الذكاء الاصطناعي |

الإنجليزية |中文简体|日本语| . 한국어 ( الكورية ) |

تم تدريب النموذج الأساسي باستخدام ما يقرب من 50 ساعة من مجموعة تدريب VCTK عالية الجودة ومفتوحة المصدر. لا توجد أية مخاوف بشأن حقوق الطبع والنشر، فلا تتردد في استخدامه.

يرجى التطلع إلى النموذج السفلي من RVCv3، الذي يحتوي على معلمات أكبر وبيانات أكبر ونتائج أفضل، ونفس سرعة الاستدلال بشكل أساسي، ويتطلب بيانات تدريب أقل.

واجهة الاستدلال التدريبي	واجهة تغيير الصوت في الوقت الحقيقي
go-web.bat	الذهاب في الوقت الحقيقي-gui.bat
أنت حر في اختيار ما تريد القيام به.	لقد حققنا زمن وصول شامل يبلغ 170 مللي ثانية. إذا كنت تستخدم أجهزة الإدخال والإخراج ASIO، فيمكنك تحقيق زمن وصول شامل يبلغ 90 مللي ثانية، ولكنه يعتمد بشكل كبير على دعم برامج تشغيل الأجهزة.

مقدمة

يتميز هذا المستودع بالخصائص التالية

• استخدم بحث top1 لاستبدال ميزات مصدر الإدخال بميزات مجموعة التدريب لمنع تسرب الجرس

• تدريب سريع حتى على بطاقات الرسومات الضعيفة نسبيًا

• يمكن أن يؤدي استخدام كمية صغيرة من البيانات للتدريب أيضًا إلى نتائج أفضل (يوصى بجمع ما لا يقل عن 10 دقائق من بيانات الكلام منخفض الضوضاء)

• يمكن تغيير الجرس من خلال دمج النموذج (بمساعدة ckpt-merge في علامة تبويب معالجة ckpt)

• واجهة ويب بسيطة وسهلة الاستخدام

• يمكن استدعاء نموذج UVR5 لفصل الغناء والمرافقة بسرعة

• استخدم خوارزمية استخراج طبقة الصوت البشرية الأكثر تقدمًا InterSpeech2023-RMVPE للتخلص من مشكلة كتم الأصوات. يعمل بشكل أفضل (بشكل ملحوظ) ولكنه أسرع وأصغر من crepe_full

• بطاقة أنا دعم تسريع البطاقة

انقر هنا لمشاهدة الفيديو التجريبي لدينا!

تكوين البيئة

يجب تنفيذ التعليمات التالية في بيئة بها إصدار Python أكبر من 3.8.

الطرق الشائعة لنظام التشغيل Windows/Linux/MacOS والأنظمة الأساسية الأخرى

اختر إحدى الطرق التالية.

1. تثبيت التبعيات من خلال النقطة

1. قم بتثبيت Pytorch وتبعياته الأساسية، وقم بالتخطي إذا كان مثبتًا بالفعل. مرجع من: https://pytorch.org/get-started/locally/

 نقطة تثبيت الشعلة torchvision torchaudio

2. إذا كان نظام الفوز + بنية Nvidia Ampere (RTX30xx)، وفقًا لتجربة رقم 21، فأنت بحاجة إلى تحديد إصدار cuda المطابق لـ pytorch

 نقطة تثبيت الشعلة torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117

3. قم بتثبيت التبعيات المقابلة وفقًا لبطاقة الرسومات الخاصة بك

• بطاقة ن

 تثبيت النقطة -r متطلبات.txt

• بطاقة/بطاقة أنا

 تثبيت النقطة -r المتطلبات-dml.txt

• بطاقة ROCM (لينكس)

 تثبيت النقطة -r المتطلبات-amd.txt

• آي-كاردIPEX (لينكس)

 تثبيت النقطة -r المتطلبات-ipex.txt

2. تثبيت التبعيات من خلال الشعر

قم بتثبيت أداة إدارة تبعية Poetry، وقم بالتخطي إذا كانت مثبتة بالفعل. مرجع من: https://python-poetry.org/docs/#installation

 حليقة -sSL https://install.python-poetry.org |.

عند تثبيت التبعيات من خلال الشعر، يوصى باستخدام python للإصدارات 3.7-3.10، وسوف تتعارض الإصدارات الأخرى عند تثبيت llvmlite==0.39.0

 الحرف الأول من الشعر -ن
استخدم بيئة الشعر "المسار إلى python.exe الخاص بك" تشغيل الشعر pip install -r require.txt

ماك

يمكن تثبيت التبعيات من خلال run.sh

 ش ./run.sh

إعداد ما قبل النموذج الآخر

يتطلب RVC بعض النماذج المسبقة الأخرى للاستدلال والتدريب.

يمكنك تنزيل هذه النماذج من مساحة Hugging Face الخاصة بنا.

1. تنزيل الأصول

يوجد أدناه قائمة بأسماء جميع النماذج الأولية والملفات الأخرى المطلوبة لـ RVC. يمكنك العثور على البرامج النصية لتنزيلها في مجلد tools .

• ./assets/hubert/hubert_base.pt

• ./الأصول/التدريب المسبق

• ./assets/uvr5_weights

إذا كنت تريد استخدام نموذج الإصدار v2، فستحتاج إلى تنزيله بالإضافة إلى ذلك.

• ./assets/pretrained_v2

2. قم بتثبيت ffmpeg

إذا كان ffmpeg و ffprobe مثبتين بالفعل، فقم بتخطيهما.

مستخدمي أوبونتو/ديبيان

 سودو ملائمة تثبيت ffmpeg

مستخدمي ماك

 قم بتثبيت ffmpeg

مستخدمي ويندوز

بعد التحميل ضعه في الدليل الجذر.

• تحميل ffmpeg.exe

• تحميل ffprobe.exe

3. قم بتنزيل الملفات المطلوبة لخوارزمية استخراج طبقة الصوت rmvpe

إذا كنت ترغب في استخدام أحدث خوارزمية استخراج طبقة الصوت RMVPE، فأنت بحاجة إلى تنزيل معلمات نموذج استخراج طبقة الصوت ووضعها في الدليل الجذر لـ RVC.

• downloadrmvpe.pt

قم بتنزيل بيئة dml الخاصة بـ rmvpe (اختياري، لمستخدمي بطاقة/بطاقة I)

• تحميلrmvpe.onnx

4. بطاقة رسومات AMD Rocm (اختيارية، Linux فقط)

إذا كنت تريد تشغيل RVC على نظام Linux يعتمد على تقنية AMD's Rocm، فيرجى تثبيت برامج التشغيل المطلوبة هنا أولاً.

إذا كنت تستخدم Arch Linux، فيمكنك استخدام pacman لتثبيت برامج التشغيل المطلوبة:

pacman -S rocm-hip-sdk rocm-opencl-sdk

بالنسبة لبعض طرز بطاقات الرسومات، قد تحتاج إلى تكوين متغيرات البيئة التالية بالإضافة إلى ذلك (على سبيل المثال: RX6700XT):

export ROCM_PATH=/opt/rocm
export HSA_OVERRIDE_GFX_VERSION=10.3.0

تأكد أيضًا من أن المستخدم الحالي موجود في مجموعات مستخدمي render video :

sudo usermod -aG render $USERNAME
sudo usermod -aG video $USERNAME

ابدأ

بداية مباشرة

استخدم الأمر التالي لبدء WebUI

 بيثون الاستدلال على web.py

إذا سبق لك استخدام Poetry لتثبيت التبعيات، فيمكنك بدء تشغيل WebUI بالطريقة التالية

 تشغيل الشعر بيثون infer-web.py

استخدم حزم التكامل

قم بتنزيل وفك ضغط RVC-beta.7z

مستخدمي ويندوز

انقر نقرًا مزدوجًا فوق go-web.bat

مستخدمي ماك

 ش ./run.sh

لمستخدمي I-card الذين يحتاجون إلى استخدام تقنية IPEX (Linux فقط)

 المصدر /opt/intel/oneapi/setvars.sh