obs localvocal
OBS
تحميل:
يتيح لك LocalVocal نسخ الكلام محليًا على جهازك إلى نص وترجمته في نفس الوقت إلى أي لغة. ✅ لا توجد حاجة لوحدة معالجة الرسومات، ✅ لا توجد تكاليف سحابية، ✅ لا توجد شبكة و ✅ لا يوجد وقت توقف! الخصوصية أولاً - تبقى جميع البيانات على جهازك.
إذا كان هذا المكون الإضافي المجاني ذا قيمة، ففكر في إضافة ⭐ إلى GH repo هذا، وتقييمه على OBS، والاشتراك في قناتي على YouTube حيث أنشر التحديثات، ودعم عملي على GitHub، أو Patreon، أو OpenCollective؟
داخليًا، يقوم البرنامج الإضافي بتشغيل Whisper الخاص بـ OpenAI لمعالجة الكلام في الوقت الفعلي والتنبؤ بالنسخ. إنه يستخدم مشروع Whisper.cpp من ggerganov لتشغيل شبكة Whisper بكفاءة على وحدات المعالجة المركزية ووحدات معالجة الرسومات. تتم الترجمة باستخدام CTranslate2.
أنجز المزيد باستخدام LocalVocal:
الترجمة في الوقت الحقيقي
ترجمة التسمية التوضيحية لأي تطبيق
الترجمة الفورية مع DeepL
الترجمة في الوقت الحقيقي مع OpenAI
ChatGPT + تحويل النص إلى كلام
نشر التسميات التوضيحية على موقع يوتيوب
LLM المحلية الترجمة في الوقت الحقيقي
دروس الاستخدام
الميزات الحالية:
قم بنسخ الصوت إلى نص في الوقت الفعلي بـ 100 لغة
عرض التسميات التوضيحية على الشاشة باستخدام مصادر النص
إرسال التسميات التوضيحية إلى ملف .txt أو .srt (للقراءة بواسطة مصادر خارجية أو تشغيل الفيديو) مع أو بدون خيار التجميع
تمت مزامنة التسميات التوضيحية مع الطوابع الزمنية لتسجيل OBS
أرسل التسميات التوضيحية على دفق RTMP على سبيل المثال YouTube وTwitch
إحضار نموذج Whisper الخاص بك (أي GGML)
ترجمة التسميات التوضيحية في الوقت الفعلي إلى اللغات الرئيسية (سواء كانت ترجمة Whisper المدمجة أو نماذج NMT)
دعم تسريع CUDA وhipBLAS (AMD ROCm) وApple Arm64 وAVX وSSE
تصفية أو استبدال أي جزء من التسميات التوضيحية المنتجة
نسخ جزئية لتجربة التسميات التوضيحية المتدفقة
مئات من نماذج Whisper المضبوطة بدقة لعشرات اللغات من HuggingFace
خريطة الطريق:
خيارات ترجمة مدمجة أكثر قوة
خيارات الإخراج الإضافية: .vtt، .ssa، .sub، إلخ.
تسجيل المتحدث (اكتشاف مكبرات الصوت في دفق صوتي متعدد الأشخاص)
تحقق من الإضافات الأخرى لدينا:
تعمل ميزة إزالة الخلفية على إزالة الخلفية من كاميرا الويب بدون شاشة خضراء.
سيقوم Detect بالكشف عن وتتبع أكثر من 80 نوعًا من الكائنات في الوقت الفعلي داخل OBS
CleanStream لكلمة الحشو في الوقت الفعلي (uh,um) وإزالة الألفاظ النابية من البث الصوتي المباشر
مصدر URL/API الذي يسمح بجلب البيانات المباشرة من واجهة برمجة التطبيقات وعرضها في OBS.
يضيف Squawk إمكانات تحويل النص إلى كلام محلية نابضة بالحياة مدمجة في OBS
تحقق من أحدث الإصدارات للتنزيلات وتعليمات التثبيت.
يأتي البرنامج الإضافي مزودًا بنموذج Tiny.en، وسيقوم بتنزيل نماذج Whisper الأخرى بشكل مستقل من خلال القائمة المنسدلة. هناك أيضًا خيار لتحديد ملف نموذج GGML Whisper خارجي إذا كان لديك على القرص.
احصل على المزيد من النماذج من https://ggml.ggerganov.com/ وHuggingFace، واتبع الإرشادات الموجودة على whisper.cpp لإنشاء نماذجك الخاصة أو تنزيل نماذج أخرى مثل النماذج المقطرة.
تم إنشاء البرنامج الإضافي واختباره على أنظمة Mac OSX (Intel & Apple silicon)، وWindows (مع وبدون Nvidia CUDA) وLinux.
ابدأ باستنساخ هذا الريبو إلى دليل من اختيارك.
باستخدام البرامج النصية لخط أنابيب CI، يمكنك فقط استدعاء البرنامج النصي zsh محليًا، والذي يتم إنشاؤه للبنية المحددة في $MACOS_ARCH (إما x86_64 أو arm64 ).
$ MACOS_ARCH = "x86_64" ./.github/scripts/build-macos -c الإصدار
يجب أن ينجح البرنامج النصي أعلاه وستظل ملفات البرنامج المساعد (على سبيل المثال obs-localvocal.plugin ) موجودة في المجلد ./release/Release خارج الجذر. انسخ ملف .plugin إلى دليل OBS، على سبيل المثال ~/Library/Application Support/obs-studio/plugins .
للحصول على ملف التثبيت .pkg ، قم بتشغيله على سبيل المثال
$ ./.github/scripts/package-macos -c الإصدار
(لاحظ أنه ربما تكون المخرجات في مجلد Release وليس مجلد install كما يتوقع pakage-macos ، لذلك ستحتاج إلى إعادة تسمية المجلد من build_x86_64/Release إلى build_x86_64/install )
للبناء بنجاح على Ubuntu، قم أولاً باستنساخ الريبو، ثم من دليل الريبو:
$ sudo apt install -y libssl-dev $ ./.github/scripts/build-linux
انسخ النتائج إلى مجلدات OBS القياسية على Ubuntu
$ Sudo cp -R Release/RelWithDebInfo/lib/* /usr/lib/ $ Sudo cp -R Release/RelWithDebInfo/share/* /usr/share/
ملاحظة: يوصي دليل مكونات OBS الرسمية بإضافة مكونات إضافية إلى المجلد ~/.config/obs-studio/plugins . يتعلق هذا بالطريقة التي قمت بها بتثبيت OBS.
في حالة عدم نجاح ما سبق، حاول نسخ الملفات إلى المجلد ~/.config :
$ mkdir -p ~/.config/obs-studio/plugins/obs-localvocal/bin/64bit $ cp -R Release/RelWithDebInfo/lib/x86_64-linux-gnu/obs-plugins/* ~/.config/obs-studio/plugins/obs-localvocal/bin/64bit/ $ mkdir -p ~/.config/obs-studio/plugins/obs-localvocal/data $ cp -R Release/RelWithDebInfo/share/obs/obs-plugins/obs-localvocal/* ~/.config/obs-studio/plugins/obs-localvocal/data/
بالنسبة للتوزيعات الأخرى التي لا يمكنك فيها استخدام البرنامج النصي لبناء CI، يمكنك إنشاء البرنامج الإضافي على النحو التالي
انسخ المستودع وقم بتثبيت هذه التبعيات باستخدام مدير حزم التوزيع الخاص بك:
libssl (مع رؤوس التطوير)
إنشاء البرامج النصية لبناء CMake (اضبط المجلدات إذا لزم الأمر)
cmake -B build-dir --set linux-x86_64 -DUSE_SYSTEM_CURL=ON -DCMAKE_INSTALL_PREFIX=./output_dir
أنشئ البرنامج المساعد وانسخ الملفات إلى دليل الإخراج
cmake --build build-dir --target install
انسخ المكون الإضافي إلى مجلد مكونات OBS الإضافية
mkdir -p ~/.config/obs-studio/plugins/bin/64bit cp -R ./output_dir/lib/obs-plugins/* ~/.config/obs-studio/plugins/bin/64bit/
ملاحظة: اعتمادًا على نظامك، قد يكون المكون الإضافي بتنسيق
./output_dir/lib64/obs-pluginsبدلاً من ذلك.
انسخ بيانات المكون الإضافي إلى مجلد مكونات OBS الإضافية - ربما تكون هناك حاجة إليها فقط عند التثبيت الأول
mkdir -p ~/.config/obs-studio/plugins/data cp -R ./output_dir/share/obs/obs-plugins/obs-localvocal/* ~/.config/obs-studio/plugins/data/
استخدم البرامج النصية CI مرة أخرى، على سبيل المثال:
> .github/scripts/Build-Windows.ps1 -إصدار التكوين
يجب أن يكون البناء موجودًا في مجلد ./release خارج الجذر. يمكنك تثبيت الملفات يدويًا في دليل OBS.
> نسخ العنصر -التكرار -فرض "releaseRelease*" -الوجهة "C:Program Filesobs-studio"
سيتم الآن إنشاء LocalVocal بدعم CUDA تلقائيًا من خلال ملف ثنائي تم إنشاؤه مسبقًا لـ Whisper.cpp من https://github.com/locaal-ai/locaal-ai-dep-whispercpp. ستقوم البرامج النصية CMake بتنزيل جميع الملفات الضرورية.
للبناء باستخدام cuda، أضف ACCELERATION كمتغير بيئة (باستخدام cpu أو hipblas أو cuda ) وقم بالبناء بانتظام
> $env:ACCELERATION="cuda"> .github/scripts/Build-Windows.ps1 - إصدار التكوين
