逐格連結世界

英文｜中文

概述

VideoLingo 是一款一體化視訊翻譯、在地化和配音工具，旨在產生 Netflix 品質的字幕。它消除了僵硬的機器翻譯和多行字幕，同時添加了高品質的配音，實現了跨越語言障礙的全球知識共享。借助直覺的 Streamlit 介面，您只需點擊幾下即可將視訊連結轉換為具有高品質雙語字幕和配音的在地化影片。

主要特點：

透過 yt-dlp 下載 YouTube 影片
使用 WhisperX 進行單字級字幕識別
基於 NLP 和 GPT 的字幕分割
GPT 產生的術語用於連貫翻譯
3步直接翻譯、反思和適應，以達到專業水平的質量
僅 Netflix 標準單行字幕
使用 GPT-SoVITS 和其他方法進行配音對齊
Streamlit中一鍵啟動並輸出
詳細記錄並恢復進度
全面的多語言支持

與同類項目的區別：只有單行字幕，翻譯品質優越

示範

俄文翻譯

ru_演示.mp4

GPT-蘇聯

蘇聯人.mp4

OAITTS

OAITTS.mp4

語言支援：

目前輸入語言支援和範例：

輸入語言	翻譯演示
英語	英文轉中文
俄文	俄文到中文
法語	法語至日語
德文	德文到中文
義大利語	義大利語到中文
西班牙語	西班牙文至中文
日本人	日文到中文
中國人*	漢譯英

*中文需單獨配置whisperX模型，僅適用於本機原始碼安裝。設定過程請參考安裝文檔，並務必在網頁側邊欄指定轉錄語言為zh

翻譯語言支援取決於所使用的大語言模型的功能，而配音語言則取決於所選的 TTS 方法。

快速入門

線上體驗

只需 5 分鐘即可在 Colab 中快速體驗 VideoLingo：

本地安裝

VideoLingo 支援所有硬體平台和作業系統，但在 GPU 加速下效能最佳。詳細安裝說明請參考文件：中文 | 簡體中文

Docker安裝

VideoLingo 提供了一個 Dockerfile。請參考安裝文件：English | 簡體中文

批次模式

使用說明：英文 | 簡體中文

️目前的限制

WhisperX 的性能因不同裝置而異。 1.7 版本首先執行 demucs 語音分離，但這可能會導致分離後的轉錄效果比之前更差。這是因為 Whisper 本身是在有背景音樂的環境中訓練的 - 在分離之前它不會轉錄 BGM 歌詞，但在分離之後它可能會轉錄它們。
配音功能品質可能不完美，因為它仍處於測試和開發階段，計劃整合 MascGCT。目前為了獲得最佳效果，建議根據原始影片的速度和內容特徵選擇語速相近的TTS。效果請參考演示。
多語言視訊轉錄識別將僅保留主要語言。這是因為whisperX在強制對齊單字級字幕時使用了針對單一語言的專門模型，並且會刪除無法辨識的語言。
多角色單獨配音正在開發中。雖然whisperX具有VAD潛力，但還需要具體的實現工作，並且尚不支援此功能。