Hubungkan Dunia, Bingkai demi Bingkai

Bahasa Inggris ｜中文

Ringkasan

VideoLingo adalah alat terjemahan, pelokalan, dan sulih suara video lengkap yang ditujukan untuk menghasilkan subtitle berkualitas Netflix. Ini menghilangkan terjemahan mesin yang kaku dan subtitle multi-baris sambil menambahkan sulih suara berkualitas tinggi, memungkinkan berbagi pengetahuan global melintasi hambatan bahasa. Dengan antarmuka Streamlit yang intuitif, Anda dapat mengubah tautan video menjadi video lokal dengan subtitle dan dubbing bilingual berkualitas tinggi hanya dalam beberapa klik.

Fitur utama:

Unduh video YouTube melalui yt-dlp
Pengenalan subtitle tingkat kata dengan WhisperX
Segmentasi subtitle berbasis NLP dan GPT
Terminologi yang dihasilkan GPT untuk terjemahan yang koheren
Terjemahan langsung 3 langkah, refleksi, dan adaptasi untuk kualitas tingkat profesional
Hanya subtitle satu baris standar Netflix
Penyelarasan dubbing dengan GPT-SoVITS dan metode lainnya
Startup dan output sekali klik di Streamlit
Pencatatan log terperinci dengan dimulainya kembali kemajuan
Dukungan multi-bahasa yang komprehensif

Perbedaan dari proyek serupa: Hanya subtitle satu baris, kualitas terjemahan unggul

Demo

Terjemahan Rusia

ru_demo.mp4

GPT-SoVITS

sovits.mp4

OAITTS

OAITTS.mp4

Dukungan Bahasa:

Dukungan bahasa masukan saat ini dan contohnya:

Bahasa Masukan	Demo Terjemahan
Bahasa inggris	Bahasa Inggris ke Bahasa Mandarin
Rusia	Rusia ke Cina
Perancis	Perancis ke Jepang
Jerman	Jerman ke Cina
Italia	Italia ke Cina
Spanyol	Spanyol ke Cina
Jepang	Jepang ke Cina
Cina*	Bahasa Cina ke Bahasa Inggris

*Bahasa Mandarin memerlukan konfigurasi terpisah dari model WhisperX, hanya berlaku untuk instalasi kode sumber lokal. Lihat dokumentasi instalasi untuk proses konfigurasi, dan pastikan untuk menentukan bahasa transkripsi sebagai zh di sidebar halaman web

Dukungan bahasa terjemahan bergantung pada kemampuan model bahasa besar yang digunakan, sedangkan bahasa dubbing bergantung pada metode TTS yang dipilih.

Mulai Cepat

Pengalaman Daring

Rasakan VideoLingo dengan cepat di Colab hanya dalam 5 menit:

Instalasi Lokal

VideoLingo mendukung semua platform perangkat keras dan sistem operasi, namun berkinerja paling baik dengan akselerasi GPU. Untuk petunjuk instalasi rinci, silakan merujuk ke dokumentasi: Bahasa Inggris | 简体中文

Instalasi Docker

VideoLingo menyediakan Dockerfile. Silakan merujuk ke dokumentasi instalasi: Bahasa Inggris | 简体中文

Modus Kelompok

Petunjuk penggunaan: Bahasa Inggris | 简体中文

️ Keterbatasan Saat Ini

Performa WhisperX bervariasi di berbagai perangkat. Versi 1.7 melakukan pemisahan suara demucs terlebih dahulu, namun hal ini dapat mengakibatkan transkripsi yang lebih buruk setelah pemisahan dibandingkan sebelumnya. Hal ini karena bisikan itu sendiri dilatih di lingkungan dengan musik latar - sebelum pemisahan, bisikan tersebut tidak akan menyalin lirik BGM, namun setelah pemisahan, bisikan tersebut mungkin akan menyalinnya.
Kualitas fitur sulih suara mungkin belum sempurna karena masih dalam tahap pengujian dan pengembangan, dengan rencana untuk mengintegrasikan MascGCT. Untuk hasil terbaik saat ini, disarankan untuk memilih TTS dengan kecepatan bicara serupa berdasarkan kecepatan video asli dan karakteristik konten. Lihat demo untuk efeknya.
Pengenalan transkripsi video multibahasa hanya akan mempertahankan bahasa utama . Hal ini karena WhisperX menggunakan model khusus untuk satu bahasa saat menyelaraskan subjudul tingkat kata secara paksa, dan akan menghapus bahasa yang tidak dikenal.
Sulih suara terpisah multi-karakter sedang dalam pengembangan . Meskipun WhisperX memiliki potensi VAD, diperlukan implementasi khusus, dan fitur ini belum didukung.

Peta jalan

VAD untuk membedakan speaker, dubbing multi-karakter
Gaya terjemahan yang dapat disesuaikan
layanan SaaS
Sinkronisasi bibir untuk video yang di-dubbing

Lisensi

Proyek ini dilisensikan di bawah Lisensi Apache 2.0. Saat menggunakan proyek ini, harap ikuti aturan berikut:

Saat menerbitkan karya, disarankan (tidak wajib) untuk memberi kredit pada VideoLingo untuk pembuatan subtitle .
Ikuti ketentuan model bahasa besar dan TTS yang digunakan untuk atribusi yang tepat.
Jika Anda menyalin kode, harap sertakan salinan lengkap Lisensi Apache 2.0.

Kami dengan tulus berterima kasih kepada proyek sumber terbuka berikut atas kontribusinya, yang memberikan dukungan penting bagi pengembangan VideoLingo: