قم بتوصيل العالم، إطارًا تلو الآخر

الإنجليزية ｜中文

ملخص

VideoLingo عبارة عن أداة متكاملة لترجمة الفيديو وتوطينه ودبلجته تهدف إلى إنشاء ترجمات بجودة Netflix. فهو يزيل الترجمات الآلية القاسية والترجمات المتعددة الأسطر مع إضافة دبلجة عالية الجودة، مما يتيح مشاركة المعرفة العالمية عبر حواجز اللغة. باستخدام واجهة Streamlit البديهية، يمكنك تحويل رابط الفيديو إلى فيديو مترجم مع ترجمة ودبلجة ثنائية اللغة عالية الجودة ببضع نقرات فقط.

الميزات الرئيسية:

تحميل فيديو اليوتيوب عبر yt-dlp
التعرف على الترجمة على مستوى الكلمة باستخدام WhisperX
تجزئة الترجمة المعتمدة على NLP وGPT
المصطلحات التي تم إنشاؤها بواسطة GPT للترجمة المتماسكة
ترجمة مباشرة من ثلاث خطوات، والتفكير، والتكيف من أجل الجودة على المستوى المهني
ترجمات أحادية السطر وفقًا لمعايير Netflix فقط
محاذاة الدبلجة مع GPT-SoVITS وطرق أخرى
بدء التشغيل والإخراج بنقرة واحدة في Streamlit
تسجيل مفصل مع استئناف التقدم
دعم شامل متعدد اللغات

الفرق عن المشاريع المماثلة: ترجمة سطر واحد فقط، جودة ترجمة فائقة

تجريبي

الترجمة الروسية

ru_demo.mp4

جي بي تي-سوفيتس

sovits.mp4

أوايتس

OAITTS.mp4

دعم اللغة:

دعم لغة الإدخال الحالية والأمثلة:

لغة الإدخال	عرض الترجمة
إنجليزي	الإنجليزية إلى الصينية
الروسية	الروسية إلى الصينية
فرنسي	الفرنسية إلى اليابانية
الألمانية	الألمانية إلى الصينية
ايطالي	الإيطالية إلى الصينية
الأسبانية	الإسبانية إلى الصينية
اليابانية	اليابانية إلى الصينية
الصينية*	الصينية إلى الإنجليزية

*تتطلب اللغة الصينية تكوينًا منفصلاً لنموذج WhisperX، ولا ينطبق إلا على تثبيت كود المصدر المحلي. راجع وثائق التثبيت الخاصة بعملية التكوين، وتأكد من تحديد لغة النسخ كـ zh في الشريط الجانبي لصفحة الويب

يعتمد دعم لغة الترجمة على إمكانيات نموذج اللغة الكبير المستخدم، بينما تعتمد لغة الدبلجة على طريقة TTS المختارة.

بداية سريعة

تجربة على الانترنت

استمتع بتجربة VideoLingo بسرعة في Colab خلال 5 دقائق فقط:

التثبيت المحلي

يدعم VideoLingo جميع الأنظمة الأساسية للأجهزة وأنظمة التشغيل، ولكنه يعمل بشكل أفضل مع تسريع وحدة معالجة الرسومات. للحصول على تعليمات التثبيت التفصيلية، يرجى الرجوع إلى الوثائق: الإنجليزية | 简体中文

تركيب عامل الميناء

يوفر VideoLingo ملف Dockerfile. يرجى الرجوع إلى وثائق التثبيت: الإنجليزية | 简体中文

وضع الدفعة

تعليمات الاستخدام: إنجليزي | 简体中文

️ القيود الحالية

يختلف أداء WhisperX عبر الأجهزة المختلفة. يقوم الإصدار 1.7 بإجراء عملية فصل الصوت أولاً، ولكن قد يؤدي هذا إلى نسخ أسوأ بعد الفصل مقارنة بما كان عليه من قبل. وذلك لأن تطبيق Whisper نفسه قد تم تدريبه في بيئات ذات موسيقى خلفية - قبل الانفصال، لن يقوم بنسخ كلمات BGM، ولكن بعد الانفصال قد يقوم بنسخها.
قد لا تكون جودة ميزة الدبلجة مثالية لأنها لا تزال في مرحلة الاختبار والتطوير، مع وجود خطط لدمج MascGCT. للحصول على أفضل النتائج حاليًا، يوصى باختيار تحويل النص إلى كلام (TTS) بمعدلات كلام مماثلة بناءً على سرعة الفيديو الأصلي وخصائص المحتوى. انظر العرض التوضيحي للتأثيرات.
سيحتفظ التعرف على نسخ الفيديو متعدد اللغات باللغة الرئيسية فقط . وذلك لأن WhisperX يستخدم نموذجًا متخصصًا للغة واحدة عند فرض محاذاة الترجمة على مستوى الكلمة، وسيقوم بحذف اللغات غير المعروفة.
دبلجة منفصلة متعددة الأحرف قيد التطوير . على الرغم من أن WhisperX يتمتع بإمكانات VAD، إلا أن هناك حاجة إلى أعمال تنفيذ محددة، وهذه الميزة غير مدعومة بعد.

خريطة الطريق

VAD لتمييز مكبرات الصوت والدبلجة متعددة الأحرف
أنماط ترجمة قابلة للتخصيص
خدمة ادارة العلاقات مع
مزامنة الشفاه لمقاطع الفيديو المدبلجة

رخصة

تم ترخيص هذا المشروع بموجب ترخيص Apache 2.0. عند استخدام هذا المشروع، يرجى اتباع القواعد التالية:

عند نشر الأعمال، يوصى (ليس إلزاميًا) باعتماد VideoLingo لتوليد الترجمة .
اتبع شروط نماذج اللغة الكبيرة وتحويل النص إلى كلام (TTS) المستخدمة للإسناد المناسب.
إذا قمت بنسخ الكود، فيرجى تضمين النسخة الكاملة من ترخيص Apache 2.0.

نشكر بشدة المشاريع مفتوحة المصدر التالية على مساهماتها، والتي قدمت دعمًا مهمًا لتطوير VideoLingo: