obs localvocal
OBS
Télécharger:
LocalVocal vous permet de transcrire, localement sur votre machine, la parole en texte et de la traduire simultanément dans n'importe quelle langue. ✅ Aucun GPU requis, ✅ aucun coût cloud, ✅ aucun réseau et ✅ aucun temps d'arrêt ! La confidentialité avant tout : toutes les données restent sur votre ordinateur.
Si ce plugin gratuit a été utile, envisagez d'ajouter un ⭐ à ce dépôt GH, de le noter sur OBS, de vous abonner à ma chaîne YouTube où je publie des mises à jour et de soutenir mon travail sur GitHub, Patreon ou OpenCollective ?
En interne, le plugin exécute Whisper d'OpenAI pour traiter le discours en temps réel et prédire une transcription. Il utilise le projet Whisper.cpp de ggerganov pour exécuter efficacement le réseau Whisper sur les CPU et les GPU. La traduction se fait avec CTranslate2.
Faites-en plus avec LocalVocal :
Traduction en temps réel
Traduire la légende de n'importe quelle application
Traduction en temps réel avec DeepL
Traduction en temps réel avec OpenAI
ChatGPT + synthèse vocale
PUBLIER des sous-titres sur YouTube
Traduction locale en temps réel LLM
Tutoriel d'utilisation
Caractéristiques actuelles :
Transcrivez l'audio en texte en temps réel dans 100 langues
Afficher les légendes à l'écran à l'aide de sources de texte
Envoyez des sous-titres vers un fichier .txt ou .srt (pour lecture par des sources externes ou lecture vidéo) avec et sans option d'agrégation
Sous-titres synchronisés avec les horodatages d'enregistrement OBS
Envoyer des sous-titres sur un flux RTMP vers, par exemple, YouTube, Twitch
Apportez votre propre modèle Whisper (n'importe quel GGML)
Traduisez les sous-titres en temps réel dans les principales langues (traduction intégrée Whisper ainsi que modèles NMT)
Prise en charge des accélérations CUDA, hipBLAS (AMD ROCm), Apple Arm64, AVX et SSE
Filtrer ou remplacer toute partie des sous-titres produits
Transcriptions partielles pour une expérience de sous-titres en streaming
Des centaines de modèles Whisper affinés pour des dizaines de langues de HuggingFace
Feuille de route :
Options de traduction intégrées plus robustes
Options de sortie supplémentaires : .vtt, .ssa, .sub, etc.
Diarisation des locuteurs (détection des locuteurs dans un flux audio multi-personnes)
Découvrez nos autres plugins :
La suppression de l'arrière-plan supprime l'arrière-plan de la webcam sans écran vert.
Détecter détectera et suivra plus de 80 types d'objets en temps réel dans OBS
CleanStream pour la suppression des mots de remplissage en temps réel (euh, euh) et des grossièretés d'un flux audio en direct
Source URL/API qui permet de récupérer des données en direct à partir d'une API et de les afficher dans OBS.
Squawk ajoute des capacités de synthèse vocale locales réalistes intégrées à OBS
Consultez les dernières versions pour les téléchargements et les instructions d'installation.
Le plugin est livré avec le modèle Tiny.en et téléchargera de manière autonome d'autres modèles Whisper via une liste déroulante. Il existe également une option pour sélectionner un fichier de modèle GGML Whisper externe si vous l'avez sur le disque.
Obtenez plus de modèles sur https://ggml.ggerganov.com/ et HuggingFace, suivez les instructions sur murmur.cpp pour créer vos propres modèles ou téléchargez-en d'autres tels que des modèles distillés.
Le plugin a été construit et testé sur Mac OSX (Intel & Apple Silicon), Windows (avec et sans Nvidia CUDA) et Linux.
Commencez par cloner ce dépôt dans un répertoire de votre choix.
À l'aide des scripts de pipeline CI, vous appelleriez simplement localement le script zsh, qui est construit pour l'architecture spécifiée dans $MACOS_ARCH (soit x86_64 , soit arm64 ).
$ MACOS_ARCH="x86_64" ./.github/scripts/build-macos -c Libération
Le script ci-dessus devrait réussir et les fichiers du plugin (par exemple obs-localvocal.plugin ) résideront dans le dossier ./release/Release hors de la racine. Copiez le fichier .plugin dans le répertoire OBS, par exemple ~/Library/Application Support/obs-studio/plugins .
Pour obtenir le fichier d'installation .pkg , exécutez par exemple
$ ./.github/scripts/package-macos -c Libération
(Notez que peut-être les sorties seront dans le dossier Release et non dans le dossier install comme pakage-macos l'attend, vous devrez donc renommer le dossier de build_x86_64/Release à build_x86_64/install )
Pour réussir à construire sur Ubuntu, clonez d'abord le dépôt, puis depuis le répertoire du dépôt :
$ sudo apt install -y libssl-dev $ ./.github/scripts/build-linux
Copiez les résultats dans les dossiers OBS standard sur Ubuntu
$ sudo cp -R release/RelWithDebInfo/lib/* /usr/lib/ $ sudo cp -R release/RelWithDebInfo/share/* /usr/share/
Remarque : Le guide officiel des plugins OBS recommande d'ajouter des plugins au dossier ~/.config/obs-studio/plugins . Cela a à voir avec la façon dont vous avez installé OBS.
Si ce qui précède ne fonctionne pas, essayez de copier les fichiers dans le dossier ~/.config :
$ mkdir -p ~/.config/obs-studio/plugins/obs-localvocal/bin/64bit $ cp -R release/RelWithDebInfo/lib/x86_64-linux-gnu/obs-plugins/* ~/.config/obs-studio/plugins/obs-localvocal/bin/64bit/ $ mkdir -p ~/.config/obs-studio/plugins/obs-localvocal/data $ cp -R release/RelWithDebInfo/share/obs/obs-plugins/obs-localvocal/* ~/.config/obs-studio/plugins/obs-localvocal/data/
Pour les autres distributions sur lesquelles vous ne pouvez pas utiliser le script de build CI, vous pouvez créer le plugin comme suit
Clonez le référentiel et installez ces dépendances à l'aide du gestionnaire de packages de votre distribution :
libssl (avec en-têtes de développement)
Générez les scripts de build CMake (ajustez les dossiers si nécessaire)
cmake -B build-dir --preset linux-x86_64 -DUSE_SYSTEM_CURL=ON -DCMAKE_INSTALL_PREFIX=./output_dir
Créez le plugin et copiez les fichiers dans le répertoire de sortie
cmake --build build-dir --target installer
Copier le plugin dans le dossier des plugins OBS
mkdir -p ~/.config/obs-studio/plugins/bin/64bit cp -R ./output_dir/lib/obs-plugins/* ~/.config/obs-studio/plugins/bin/64bit/
NB En fonction de votre système, le plugin peut être plutôt dans
./output_dir/lib64/obs-plugins.
Copiez les données du plugin dans le dossier des plugins OBS - Peut-être nécessaire uniquement lors de la première installation
mkdir -p ~/.config/obs-studio/plugins/data cp -R ./output_dir/share/obs/obs-plugins/obs-localvocal/* ~/.config/obs-studio/plugins/data/
Utilisez à nouveau les scripts CI, par exemple :
> .github/scripts/Build-Windows.ps1 -Version de configuration
La version doit exister dans le dossier ./release à la racine. Vous pouvez installer manuellement les fichiers dans le répertoire OBS.
> Copier l'élément -Recurse -Force "releaseRelease*" -Destination "C:Program Filesobs-studio"
LocalVocal sera désormais automatiquement construit avec la prise en charge de CUDA via un binaire prédéfini de Whisper.cpp à partir de https://github.com/locaal-ai/locaal-ai-dep-whispercpp. Les scripts CMake téléchargeront tous les fichiers nécessaires.
Pour construire avec cuda, ajoutez ACCELERATION comme variable d'environnement (avec cpu , hipblas ou cuda ) et construisez régulièrement
> $env:ACCELERATION="cuda"> .github/scripts/Build-Windows.ps1 -Version de configuration
