Conecte o mundo, quadro a quadro

Inglês ｜中文

Visão geral

VideoLingo é uma ferramenta completa de tradução, localização e dublagem de vídeo destinada a gerar legendas com qualidade Netflix. Ele elimina traduções automáticas rígidas e legendas de várias linhas, ao mesmo tempo que adiciona dublagem de alta qualidade, permitindo o compartilhamento global de conhecimento através das barreiras linguísticas. Com uma interface Streamlit intuitiva, você pode transformar um link de vídeo em um vídeo localizado com legendas e dublagem bilíngues de alta qualidade em apenas alguns cliques.

Principais recursos:

Download de vídeo do YouTube via yt-dlp
Reconhecimento de legendas em nível de palavra com WhisperX
Segmentação de legendas baseada em PNL e GPT
Terminologia gerada pela GPT para tradução coerente
Tradução direta, reflexão e adaptação em três etapas para qualidade de nível profissional
Apenas legendas de linha única padrão Netflix
Alinhamento de dublagem com GPT-SoVITS e outros métodos
Inicialização e saída com um clique no Streamlit
Registro detalhado com retomada do progresso
Suporte abrangente em vários idiomas

Diferença de projetos semelhantes: apenas legendas de uma linha, qualidade de tradução superior

Demonstração

Tradução Russa

ru_demo.mp4

GPT-SoVITS

sovits.mp4

OAITTS

OAITTS.mp4

Suporte a idiomas:

Suporte e exemplos atuais de idiomas de entrada:

Idioma de entrada	Demonstração de tradução
Inglês	Inglês para Chinês
russo	Russo para Chinês
Francês	Francês para Japonês
Alemão	Alemão para Chinês
italiano	Italiano para Chinês
Espanhol	Espanhol para Chinês
japonês	Japonês para Chinês
Chinês*	Chinês para Inglês

*Chinês requer configuração separada do modelo WhisperX, aplicável apenas para instalação de código-fonte local. Consulte a documentação de instalação para o processo de configuração e certifique-se de especificar o idioma de transcrição como zh na barra lateral da página da web

O suporte ao idioma de tradução depende das capacidades do grande modelo de idioma utilizado, enquanto o idioma de dublagem depende do método TTS escolhido.

Início rápido

Experiência on-line

Experimente o VideoLingo rapidamente no Colab em apenas 5 minutos:

Instalação local

VideoLingo suporta todas as plataformas de hardware e sistemas operacionais, mas tem melhor desempenho com aceleração de GPU. Para instruções detalhadas de instalação, consulte a documentação: Inglês | 简体中文

Instalação do Docker

VideoLingo fornece um Dockerfile. Consulte a documentação de instalação: Inglês | 简体中文

Modo em lote

Instruções de uso: Inglês | 简体中文

️ Limitações atuais

O desempenho do WhisperX varia em diferentes dispositivos. A versão 1.7 executa primeiro a separação de voz demucs, mas isso pode resultar em uma transcrição pior após a separação em comparação com antes. Isso ocorre porque o próprio sussurro foi treinado em ambientes com música de fundo - antes da separação ele não transcreve as letras da música ambiente, mas após a separação pode transcrevê-las.
A qualidade do recurso de dublagem pode não ser perfeita , pois ainda está em fase de testes e desenvolvimento, com planos de integração do MascGCT. Para obter melhores resultados atualmente, é recomendado escolher TTS com taxas de fala semelhantes com base na velocidade do vídeo original e nas características do conteúdo. Veja a demonstração para efeitos.
O reconhecimento de transcrição de vídeo multilíngue manterá apenas o idioma principal . Isso ocorre porque o WhisperX usa um modelo especializado para um único idioma ao alinhar legendas em nível de palavra à força e excluirá idiomas não reconhecidos.
A dublagem separada de vários caracteres está em desenvolvimento . Embora o WhisperX tenha potencial para VAD, é necessário um trabalho de implementação específico e esse recurso ainda não é compatível.

Roteiro

VAD para distinguir alto-falantes, dublagem de vários caracteres
Estilos de tradução personalizáveis
Serviço SaaS
Sincronização labial para vídeos dublados

Licença

Este projeto está licenciado sob a licença Apache 2.0. Ao usar este projeto, siga estas regras:

Ao publicar trabalhos, é recomendado (não obrigatório) creditar o VideoLingo pela geração de legendas .
Siga os termos dos grandes modelos de linguagem e TTS usados para atribuição adequada.
Se você copiar o código, inclua a cópia completa da licença Apache 2.0.

Agradecemos sinceramente aos seguintes projetos de código aberto pelas suas contribuições, que forneceram um apoio importante para o desenvolvimento do VideoLingo: