世界を繋ぐ、フレームごとに

英語｜中文

概要

VideoLingo は、Netflix 品質の字幕を生成することを目的とした、オールインワンのビデオ翻訳、ローカリゼーション、吹き替えツールです。高品質の吹き替えを追加しながら、堅苦しい機械翻訳や複数行の字幕を排除し、言語の壁を越えてグローバルな知識を共有できるようにします。直感的な Streamlit インターフェイスを使用すると、数回クリックするだけで、ビデオリンクを高品質の二か国語字幕と吹き替えを備えたローカライズされたビデオに変換できます。

主な特徴:

yt-dlp 経由で YouTube 動画をダウンロード
WhisperX による単語レベルの字幕認識
NLP および GPT ベースの字幕セグメンテーション
一貫した翻訳のための GPT 生成の用語
3 ステップの直接翻訳、反映、適応によりプロレベルの品質を実現
Netflix標準の一行字幕のみ
GPT-SoVITSなどによるダビングアラインメント
Streamlit でのワンクリック起動と出力
詳細なログと進行状況の再開
包括的な多言語サポート

同様のプロジェクトとの違い:単一行の字幕のみ、優れた翻訳品質

デモ

ロシア語翻訳

ru_demo.mp4

GPT-SoVITS

ソビッツ.mp4

オーイッツ

オーイッツ.mp4

言語サポート:

現在の入力言語のサポートと例:

入力言語	翻訳デモ
英語	英語から中国語へ
ロシア	ロシア語から中国語
フランス語	フランス語から日本語へ
ドイツ語	ドイツ語から中国語
イタリア語	イタリア語から中国語まで
スペイン語	スペイン語から中国語
日本語	日本語から中国語へ
中国語*	中国語から英語へ

*中国語では、whisperX モデルの個別の設定が必要ですが、ローカルソースコードのインストールにのみ適用されます。設定プロセスについてはインストールドキュメントを参照し、Web ページのサイドバーで文字起こし言語を zh として指定してください。

翻訳言語のサポートは使用される大規模言語モデルの機能に依存しますが、吹き替え言語は選択した TTS 方式に依存します。

クイックスタート

オンライン体験

わずか 5 分で Colab で VideoLingo をすばやく体験できます。

ローカルインストール

VideoLingo はすべてのハードウェアプラットフォームとオペレーティングシステムをサポートしていますが、GPU アクセラレーションで最高のパフォーマンスを発揮します。詳しいインストール手順については、次のドキュメントを参照してください。简体中文

Docker のインストール

VideoLingo は Dockerfile を提供します。インストールドキュメントを参照してください: English | 简体中文

バッチモード

使用方法: 英語 | 简体中文

️電流制限

WhisperX のパフォーマンスはデバイスによって異なります。バージョン 1.7 では、demucs の音声分離が最初に実行されますが、これにより分離後の文字起こしが以前と比べて悪化する可能性があります。これは、ウィスパー自体が BGM のある環境で訓練されているためです。分離前は BGM の歌詞を転写しませんが、分離後は BGM の歌詞を転写する可能性があります。
吹き替え機能の品質はまだテストと開発段階にあり、MascGCT を統合する予定であるため、完璧ではない可能性があります。現時点で最良の結果を得るには、元のビデオの速度とコンテンツの特性に基づいて、同様の音声速度の TTS を選択することをお勧めします。エフェクトについてはデモをご覧ください。
多言語ビデオ文字起こし認識では、メイン言語のみが保持されます。これは、whisperX は単語レベルの字幕を強制的に整列させる際に単一言語に特化したモデルを使用し、認識されない言語を削除するためです。
マルチキャラクター吹き替えも開発中です。 WhisperX には VAD の可能性がありますが、特定の実装作業が必要であり、この機能はまだサポートされていません。