逐帧连接世界

英文｜中文

概述

VideoLingo 是一款一体化视频翻译、本地化和配音工具，旨在生成 Netflix 质量的字幕。它消除了僵硬的机器翻译和多行字幕，同时添加了高质量的配音，实现了跨越语言障碍的全球知识共享。借助直观的 Streamlit 界面，您只需点击几下即可将视频链接转换为具有高质量双语字幕和配音的本地化视频。

主要特点：

通过 yt-dlp 下载 YouTube 视频
使用 WhisperX 进行单词级字幕识别
基于 NLP 和 GPT 的字幕分割
GPT 生成的术语用于连贯翻译
3步直接翻译、反思和适应，以达到专业水平的质量
仅 Netflix 标准单行字幕
使用 GPT-SoVITS 和其他方法进行配音对齐
Streamlit中一键启动并输出
详细记录并恢复进度
全面的多语言支持

与同类项目的区别：只有单行字幕，翻译质量优越

演示

俄语翻译

ru_演示.mp4

GPT-苏联

苏联人.mp4

OAITTS

OAITTS.mp4

语言支持：

当前输入语言支持和示例：

输入语言	翻译演示
英语	英文转中文
俄语	俄语到中文
法语	法语至日语
德语	德语到中文
意大利语	意大利语到中文
西班牙语	西班牙语至中文
日本人	日语到中文
中国人*	汉译英

*中文需要单独配置whisperX模型，仅适用于本地源码安装。配置过程参见安装文档，并务必在网页侧边栏指定转录语言为zh

翻译语言支持取决于所使用的大语言模型的功能，而配音语言则取决于所选择的 TTS 方法。

快速入门

在线体验

只需 5 分钟即可在 Colab 中快速体验 VideoLingo：

本地安装

VideoLingo 支持所有硬件平台和操作系统，但在 GPU 加速下性能最佳。详细安装说明请参考文档：中文 | 简体中文

Docker安装

VideoLingo 提供了一个 Dockerfile。请参考安装文档：English | 简体中文

批处理模式

使用说明：英文 | 简体中文

️目前的限制

WhisperX 的性能因不同设备而异。 1.7 版本首先执行 demucs 语音分离，但这可能会导致分离后的转录效果比之前更差。这是因为 Whisper 本身是在有背景音乐的环境中训练的 - 在分离之前它不会转录 BGM 歌词，但在分离之后它可能会转录它们。
配音功能质量可能并不完美，因为它仍处于测试和开发阶段，计划集成 MascGCT。目前为了获得最佳效果，建议根据原始视频的速度和内容特征选择语速相近的TTS。效果请参见演示。
多语言视频转录识别将仅保留主要语言。这是因为whisperX在强制对齐单词级字幕时使用了针对单一语言的专门模型，并且会删除无法识别的语言。
多角色单独配音正在开发中。虽然whisperX具有VAD潜力，但还需要具体的实现工作，并且尚不支持此功能。