obs localvocal
OBS
Herunterladen:
Mit LocalVocal können Sie Sprache lokal auf Ihrem Computer in Text umwandeln und gleichzeitig in jede beliebige Sprache übersetzen. ✅ Keine GPU erforderlich, ✅ keine Cloud-Kosten, ✅ kein Netzwerk und ✅ keine Ausfallzeiten! Datenschutz geht vor – alle Daten bleiben auf Ihrem Computer.
Wenn dieses kostenlose Plugin wertvoll war, sollten Sie darüber nachdenken, ein ⭐ zu diesem GH-Repo hinzuzufügen, es auf OBS zu bewerten, meinen YouTube-Kanal zu abonnieren, auf dem ich Updates poste, und meine Arbeit auf GitHub, Patreon oder OpenCollective zu unterstützen?
Intern führt das Plugin OpenAIs Whisper aus, um die Sprache in Echtzeit zu verarbeiten und eine Transkription vorherzusagen. Es verwendet das Whisper.cpp-Projekt von ggerganov, um das Whisper-Netzwerk effizient auf CPUs und GPUs auszuführen. Die Übersetzung erfolgt mit CTranslate2.
Machen Sie mehr mit LocalVocal:
Echtzeitübersetzung
Übersetzen Sie die Bildunterschrift für jede Anwendung
Echtzeitübersetzung mit DeepL
Echtzeitübersetzung mit OpenAI
ChatGPT + Text-to-Speech
Untertitel auf YouTube posten
Lokale LLM-Echtzeitübersetzung
Nutzungsanleitung
Aktuelle Funktionen:
Transkribieren Sie Audio in Echtzeit in Text in 100 Sprachen
Zeigen Sie Untertitel mithilfe von Textquellen auf dem Bildschirm an
Senden Sie Untertitel mit und ohne Aggregationsoption an eine TXT- oder SRT-Datei (zum Lesen durch externe Quellen oder für die Videowiedergabe).
Synchronisierte Untertitel mit OBS-Aufzeichnungszeitstempeln
Senden Sie Untertitel in einem RTMP-Stream beispielsweise an YouTube oder Twitch
Bringen Sie Ihr eigenes Whisper-Modell mit (jedes GGML)
Übersetzen Sie Untertitel in Echtzeit in die wichtigsten Sprachen (sowohl die integrierte Whisper-Übersetzung als auch die NMT-Modelle).
CUDA, hipBLAS (AMD ROCm), Apple Arm64, AVX- und SSE-Beschleunigungsunterstützung
Filtern Sie Teile der erzeugten Untertitel heraus oder ersetzen Sie sie
Teiltranskriptionen für ein Streaming-Untertitelerlebnis
Hunderte fein abgestimmte Whisper-Modelle für Dutzende Sprachen von HuggingFace
Roadmap:
Robustere integrierte Übersetzungsoptionen
Zusätzliche Ausgabeoptionen: .vtt, .ssa, .sub usw.
Sprecherdiagnose (Erkennung von Sprechern in einem Mehrpersonen-Audiostream)
Schauen Sie sich unsere anderen Plugins an:
Hintergrundentfernung entfernt den Hintergrund von der Webcam ohne Greenscreen.
Detect erkennt und verfolgt mehr als 80 Objekttypen in Echtzeit in OBS
CleanStream zum Entfernen von Füllwörtern (äh, äh) und Schimpfwörtern in Echtzeit aus einem Live-Audiostream
URL/API-Quelle, die das Abrufen von Live-Daten von einer API und deren Anzeige in OBS ermöglicht.
Squawk fügt im OBS integrierte lebensechte lokale Text-to-Speech-Funktionen hinzu
Schauen Sie sich die neuesten Versionen für Downloads und Installationsanweisungen an.
Das Plugin wird mit der Tiny.en-Version geliefert und lädt andere Whisper-Modelle automatisch über ein Dropdown-Menü herunter. Es besteht auch die Möglichkeit, eine externe GGML Whisper-Modelldatei auszuwählen, wenn Sie diese auf der Festplatte haben.
Holen Sie sich weitere Modelle von https://ggml.ggerganov.com/ und HuggingFace, folgen Sie den Anweisungen auf whisper.cpp, um Ihre eigenen Modelle zu erstellen oder andere, wie z. B. destillierte Modelle, herunterzuladen.
Das Plugin wurde auf Mac OSX (Intel & Apple Silicon), Windows (mit und ohne Nvidia CUDA) und Linux erstellt und getestet.
Klonen Sie zunächst dieses Repo in ein Verzeichnis Ihrer Wahl.
Wenn Sie die CI-Pipeline-Skripte verwenden, rufen Sie lokal einfach das zsh-Skript auf, das für die in $MACOS_ARCH angegebene Architektur erstellt (entweder x86_64 oder arm64 ).
$ MACOS_ARCH="x86_64" ./.github/scripts/build-macos -c Release
Das obige Skript sollte erfolgreich sein und die Plugin-Dateien (z. B. obs-localvocal.plugin ) befinden sich im Ordner ./release/Release außerhalb des Stammverzeichnisses. Kopieren Sie die .plugin Datei in das OBS-Verzeichnis, z. B. ~/Library/Application Support/obs-studio/plugins .
Um .pkg Installationsdatei zu erhalten, führen Sie zum Beispiel Folgendes aus:
$ ./.github/scripts/package-macos -c Release
(Beachten Sie, dass sich die Ausgaben möglicherweise im Release -Ordner und nicht im install befinden, wie von pakage-macos erwartet. Daher müssen Sie den Ordner von build_x86_64/Release in build_x86_64/install umbenennen.)
Um erfolgreich auf Ubuntu zu bauen, klonen Sie zuerst das Repo und dann aus dem Repo-Verzeichnis:
$ sudo apt install -y libssl-dev $ ./.github/scripts/build-linux
Kopieren Sie die Ergebnisse in die Standard-OBS-Ordner unter Ubuntu
$ sudo cp -R release/RelWithDebInfo/lib/* /usr/lib/ $ sudo cp -R release/RelWithDebInfo/share/* /usr/share/
Hinweis: Der offizielle OBS-Plugin-Leitfaden empfiehlt, Plugins zum Ordner ~/.config/obs-studio/plugins hinzuzufügen. Das hängt mit der Art und Weise zusammen, wie Sie OBS installiert haben .
Falls das oben Gesagte nicht funktioniert, versuchen Sie, die Dateien in den Ordner ~/.config zu kopieren:
$ mkdir -p ~/.config/obs-studio/plugins/obs-localvocal/bin/64bit $ cp -R release/RelWithDebInfo/lib/x86_64-linux-gnu/obs-plugins/* ~/.config/obs-studio/plugins/obs-localvocal/bin/64bit/ $ mkdir -p ~/.config/obs-studio/plugins/obs-localvocal/data $ cp -R release/RelWithDebInfo/share/obs/obs-plugins/obs-localvocal/* ~/.config/obs-studio/plugins/obs-localvocal/data/
Für andere Distributionen, in denen Sie das CI-Build-Skript nicht verwenden können, können Sie das Plugin wie folgt erstellen
Klonen Sie das Repository und installieren Sie diese Abhängigkeiten mit dem Paketmanager Ihrer Distribution:
libssl (mit Entwicklungsheadern)
Generieren Sie die CMake-Build-Skripte (passen Sie ggf. die Ordner an)
cmake -B build-dir --preset linux-x86_64 -DUSE_SYSTEM_CURL=ON -DCMAKE_INSTALL_PREFIX=./output_dir
Erstellen Sie das Plugin und kopieren Sie die Dateien in das Ausgabeverzeichnis
cmake --build build-dir --target install
Kopieren Sie das Plugin in den OBS-Plugin-Ordner
mkdir -p ~/.config/obs-studio/plugins/bin/64bit cp -R ./output_dir/lib/obs-plugins/* ~/.config/obs-studio/plugins/bin/64bit/
Hinweis: Abhängig von Ihrem System befindet sich das Plugin möglicherweise stattdessen in
./output_dir/lib64/obs-plugins.
Plugin-Daten in den OBS-Plugin-Ordner kopieren – möglicherweise nur bei der ersten Installation erforderlich
mkdir -p ~/.config/obs-studio/plugins/data cp -R ./output_dir/share/obs/obs-plugins/obs-localvocal/* ~/.config/obs-studio/plugins/data/
Verwenden Sie erneut die CI-Skripte, zum Beispiel:
> .github/scripts/Build-Windows.ps1 -Configuration Release
Der Build sollte im ./release außerhalb des Stammverzeichnisses vorhanden sein. Sie können die Dateien manuell im OBS-Verzeichnis installieren.
> Copy-Item -Recurse -Force "releaseRelease*" -Destination "C:Program Filesobs-studio"
LocalVocal wird jetzt mit CUDA-Unterstützung automatisch über eine vorgefertigte Binärdatei von Whisper.cpp von https://github.com/locaal-ai/locaal-ai-dep-whispercpp erstellt. Die CMake-Skripte laden alle erforderlichen Dateien herunter.
Um mit cuda zu erstellen, fügen Sie ACCELERATION als Umgebungsvariable hinzu (mit cpu , hipblas oder cuda ) und erstellen Sie regelmäßig
> $env:ACCELERATION="cuda"> .github/scripts/Build-Windows.ps1 -Configuration Release
