Conecte el mundo, cuadro por cuadro

Inglés ｜中文

Descripción general

VideoLingo es una herramienta todo en uno de traducción, localización y doblaje de vídeos destinada a generar subtítulos con calidad de Netflix. Elimina las rígidas traducciones automáticas y los subtítulos de varias líneas al tiempo que agrega doblaje de alta calidad, lo que permite compartir conocimientos globales a través de las barreras del idioma. Con una interfaz intuitiva Streamlit, puede transformar un enlace de video en un video localizado con subtítulos bilingües de alta calidad y doblaje con solo unos pocos clics.

Características clave:

Descarga de vídeos de YouTube a través de yt-dlp
Reconocimiento de subtítulos a nivel de palabra con WhisperX
Segmentación de subtítulos basada en NLP y GPT
Terminología generada por GPT para una traducción coherente
Traducción directa, reflexión y adaptación en tres pasos para una calidad de nivel profesional
Solo subtítulos de una sola línea estándar de Netflix
Alineación de doblaje con GPT-SoVITS y otros métodos
Inicio y salida con un clic en Streamlit
Registro detallado con reanudación del progreso.
Soporte integral en varios idiomas

Diferencia con proyectos similares: subtítulos de una sola línea, calidad de traducción superior

Manifestación

Traducción de ruso

ru_demo.mp4

GPT-SoVITS

sovits.mp4

OAITTS

OAITTS.mp4

Soporte de idiomas:

Soporte de lenguaje de entrada actual y ejemplos:

Idioma de entrada	Demostración de traducción
Inglés	Inglés al chino
ruso	ruso al chino
Francés	Francés al japonés
Alemán	Del alemán al chino
italiano	Del italiano al chino
Español	español al chino
japonés	Del japonés al chino
Chino*	Chino al inglés

*El chino requiere una configuración separada del modelo WhisperX, solo aplicable para la instalación del código fuente local. Consulte la documentación de instalación para el proceso de configuración y asegúrese de especificar el idioma de transcripción como zh en la barra lateral de la página web.

La compatibilidad con el idioma de traducción depende de las capacidades del modelo de idioma grande utilizado, mientras que el idioma de doblaje depende del método TTS elegido.

Inicio rápido

Experiencia en línea

Experimente VideoLingo rápidamente en Colab en solo 5 minutos:

Instalación local

VideoLingo es compatible con todas las plataformas de hardware y sistemas operativos, pero funciona mejor con la aceleración de GPU. Para obtener instrucciones de instalación detalladas, consulte la documentación: Inglés | 简体中文

Instalación de ventana acoplable

VideoLingo proporciona un Dockerfile. Consulte la documentación de instalación: Inglés | 简体中文

Modo por lotes

Instrucciones de uso: Inglés | 简体中文

️ Limitaciones actuales

El rendimiento de WhisperX varía según los diferentes dispositivos. La versión 1.7 realiza primero la separación de voces demucs, pero esto puede resultar en una peor transcripción después de la separación en comparación con antes. Esto se debe a que el susurro en sí fue entrenado en entornos con música de fondo: antes de la separación no transcribirá las letras de BGM, pero después de la separación podría transcribirlas.
Es posible que la calidad de la función de doblaje no sea perfecta , ya que aún se encuentra en etapa de prueba y desarrollo, con planes para integrar MascGCT. Para obtener mejores resultados actualmente, se recomienda elegir TTS con velocidades de voz similares según la velocidad del video original y las características del contenido. Vea la demostración para ver los efectos.
El reconocimiento de transcripción de vídeo multilingüe sólo conservará el idioma principal . Esto se debe a que WhisperX utiliza un modelo especializado para un solo idioma al alinear por la fuerza los subtítulos a nivel de palabra y eliminará los idiomas no reconocidos.
Se está desarrollando un doblaje separado de varios caracteres . Si bien WhisperX tiene potencial VAD, se necesita un trabajo de implementación específico y esta característica aún no es compatible.

Hoja de ruta

VAD para distinguir locutores, doblaje de varios caracteres
Estilos de traducción personalizables
Servicio SaaS
Sincronización de labios para vídeos doblados

Licencia

Este proyecto está bajo la licencia Apache 2.0. Al utilizar este proyecto, siga estas reglas:

Al publicar trabajos, se recomienda (no es obligatorio) acreditar a VideoLingo por la generación de subtítulos .
Siga los términos de los modelos de lenguaje grandes y TTS utilizados para una atribución adecuada.
Si copia el código, incluya la copia completa de la licencia Apache 2.0.

Agradecemos sinceramente a los siguientes proyectos de código abierto por sus contribuciones, que brindaron un apoyo importante para el desarrollo de VideoLingo: