obslocalvocal

LocalVocal: complemento OBS del asistente de IA del habla

Descargar:

Introducción

LocalVocal le permite transcribir, localmente en su máquina, voz a texto y traducir simultáneamente a cualquier idioma. ✅ No se requiere GPU, ✅ sin costos de nube, ✅ sin red y ✅ ¡sin tiempo de inactividad! La privacidad es lo primero: todos los datos permanecen en su máquina.

Si este complemento gratuito ha sido valioso, considere agregar un ⭐ a este repositorio de GH, calificarlo en OBS, suscribirse a mi canal de YouTube donde publico actualizaciones y respaldar mi trabajo en GitHub, Patreon u OpenCollective.

Internamente, el complemento ejecuta Whisper de OpenAI para procesar el discurso en tiempo real y predecir una transcripción. Está utilizando el proyecto Whisper.cpp de ggerganov para ejecutar la red Whisper de manera eficiente en CPU y GPU. La traducción se realiza con CTranslate2.

Uso

Haga más con LocalVocal:

• Traducción en tiempo real

• Traducir subtítulos de cualquier aplicación

• Traducción en tiempo real con DeepL

• Traducción en tiempo real con OpenAI

• ChatGPT + Texto a voz

• PUBLICAR subtítulos en YouTube

• Traducción en tiempo real de LLM local

• Tutorial de uso

Características actuales:

• Transcribe audio a texto en tiempo real en 100 idiomas

• Mostrar subtítulos en pantalla usando fuentes de texto

• Envíe subtítulos a un archivo .txt o .srt (para leer mediante fuentes externas o reproducción de video) con y sin opción de agregación

• Subtítulos sincronizados con marcas de tiempo de grabación de OBS

• Enviar subtítulos en una transmisión RTMP, por ejemplo, a YouTube, Twitch

• Trae tu propio modelo Whisper (cualquier GGML)

• Traducir subtítulos en tiempo real a los principales idiomas (tanto la traducción integrada de Whisper como los modelos NMT)

• Soporte de aceleración CUDA, hipBLAS (AMD ROCm), Apple Arm64, AVX y SSE

• Filtrar o reemplazar cualquier parte de los subtítulos producidos.

• Transcripciones parciales para una experiencia de subtítulos en streaming

• Cientos de modelos Whisper ajustados para docenas de idiomas de HuggingFace

Hoja de ruta:

• Opciones de traducción integradas más sólidas

• Opciones de salida adicionales: .vtt, .ssa, .sub, etc.

• Registro de oradores (detección de oradores en una transmisión de audio de varias personas)

Consulte nuestros otros complementos:

• La eliminación de fondo elimina el fondo de la cámara web sin una pantalla verde.

• Detect detectará y rastreará >80 tipos de objetos en tiempo real dentro de OBS

• CleanStream para eliminar palabras de relleno (uh,um) y malas palabras en tiempo real de una transmisión de audio en vivo

• URL/API Fuente que permite obtener datos en vivo de una API y mostrarlos en OBS.

• Squawk agrega capacidades realistas de conversión de texto a voz local integradas en OBS

Descargar

Consulte las últimas versiones para descargas e instrucciones de instalación.

Modelos

El complemento se envía con el modelo Tiny.en y descargará de forma autónoma otros modelos de Whisper a través de un menú desplegable. También hay una opción para seleccionar un archivo de modelo GGML Whisper externo si lo tiene en el disco.

Obtenga más modelos en https://ggml.ggerganov.com/ y HuggingFace, siga las instrucciones en Whisper.cpp para crear sus propios modelos o descargar otros, como modelos destilados.

Edificio

El complemento se creó y probó en Mac OSX (Intel y Apple Silicon), Windows (con y sin Nvidia CUDA) y Linux.

Comience clonando este repositorio en un directorio de su elección.

MacOSX

Al utilizar los scripts de canalización de CI, localmente simplemente llamaría al script zsh, que se compila para la arquitectura especificada en $MACOS_ARCH (ya sea x86_64 o arm64 ).

 $ MACOS_ARCH="x86_64" ./.github/scripts/build-macos -c Lanzamiento

Instalar

El script anterior debería tener éxito y los archivos del complemento (por ejemplo, obs-localvocal.plugin ) residirán en la carpeta ./release/Release fuera de la raíz. Copie el archivo .plugin al directorio OBS, por ejemplo, ~/Library/Application Support/obs-studio/plugins .

Para obtener el archivo de instalación .pkg , ejecute, por ejemplo

 $ ./.github/scripts/package-macos -c Lanzamiento

(Tenga en cuenta que tal vez los resultados estén en la carpeta Release y no en la carpeta install como espera pakage-macos , por lo que deberá cambiar el nombre de la carpeta de build_x86_64/Release a build_x86_64/install )

linux

ubuntu

Para compilar correctamente en Ubuntu, primero clone el repositorio y luego desde el directorio del repositorio:

 $ sudo apt instalar -y libssl-dev
$ ./.github/scripts/build-linux

Copie los resultados a las carpetas estándar de OBS en Ubuntu

 $ sudo cp -R lanzamiento/RelWithDebInfo/lib/* /usr/lib/
$ sudo cp -R lanzamiento/RelWithDebInfo/share/* /usr/share/

Nota: La guía oficial de complementos de OBS recomienda agregar complementos a la carpeta ~/.config/obs-studio/plugins . Esto tiene que ver con la forma en que instaló OBS.

En caso de que lo anterior no funcione, intente copiar los archivos a la carpeta ~/.config :

 $ mkdir -p ~/.config/obs-studio/plugins/obs-localvocal/bin/64bit
$ cp -R lanzamiento/RelWithDebInfo/lib/x86_64-linux-gnu/obs-plugins/* ~/.config/obs-studio/plugins/obs-localvocal/bin/64bit/
$ mkdir -p ~/.config/obs-studio/plugins/obs-localvocal/data
$ cp -R lanzamiento/RelWithDebInfo/share/obs/obs-plugins/obs-localvocal/* ~/.config/obs-studio/plugins/obs-localvocal/data/

Otras distribuciones

Para otras distribuciones donde no puede usar el script de compilación de CI, puede compilar el complemento de la siguiente manera

1. Clona el repositorio e instala estas dependencias usando el administrador de paquetes de tu distribución:

• libssl (con encabezados de desarrollo)

2. Genere los scripts de compilación de CMake (ajuste las carpetas si es necesario)

    cmake -B build-dir --preset linux-x86_64 -DUSE_SYSTEM_CURL=ON -DCMAKE_INSTALL_PREFIX=./output_dir

3. Cree el complemento y copie los archivos al directorio de salida

    cmake --build build-dir --target instalación

4. Copie el complemento a la carpeta de complementos de OBS

    mkdir -p ~/.config/obs-studio/plugins/bin/64bit
   cp -R ./output_dir/lib/obs-plugins/* ~/.config/obs-studio/plugins/bin/64bit/

   NB Dependiendo de su sistema, el complemento podría estar en ./output_dir/lib64/obs-plugins .

5. Copie los datos del complemento a la carpeta de complementos de OBS: posiblemente solo sea necesario en la primera instalación

    mkdir -p ~/.config/obs-studio/plugins/data
   cp -R ./output_dir/share/obs/obs-plugins/obs-localvocal/* ~/.config/obs-studio/plugins/data/

ventanas

Utilice los scripts de CI nuevamente, por ejemplo:

 > .github/scripts/Build-Windows.ps1 - Lanzamiento de configuración

La compilación debería existir en la carpeta ./release fuera de la raíz. Puede instalar manualmente los archivos en el directorio OBS.

 > Copiar elemento -Recurse -Forzar "liberación*" -Destino "C:Program Filesobs-studio"

Construyendo con soporte CUDA en Windows

LocalVocal ahora se compilará automáticamente con soporte CUDA a través de un binario precompilado de Whisper.cpp desde https://github.com/locaal-ai/locaal-ai-dep-whispercpp. Los scripts de CMake descargarán todos los archivos necesarios.

Para compilar con cuda, agregue ACCELERATION como variable de entorno (con cpu , hipblas o cuda ) y compila regularmente

 > $env:ACCELERATION="cuda"> .github/scripts/Build-Windows.ps1 -Lanzamiento de configuración