SoniTranslate
0.5.0
? Terjemahan video dengan audio yang disinkronkan
SonyTranslate adalah aplikasi web yang kuat dan ramah pengguna yang memungkinkan Anda untuk dengan mudah menerjemahkan video ke dalam berbagai bahasa. Repositori ini meng -host kode untuk SonyTranslate Web UI, yang dibangun dengan Perpustakaan Gradio untuk memberikan pengalaman pengguna yang mulus dan interaktif.
| Keterangan | Link |
|---|---|
| ? Colab Notebook | |
| ? Gudang | |
| Online DEMO |
Untuk pemahaman yang komprehensif tentang proyek ini, kami sangat merekomendasikan menonton tutorial video ini oleh Dev-Mallettes. Anda dapat menontonnya di YouTube dengan mengklik thumbnail di bawah ini:
| Kode bahasa | Bahasa |
|---|---|
| en | Bahasa inggris |
| fr | Perancis |
| de | Jerman |
| es | Spanyol |
| dia | Italia |
| ja | Jepang |
| nl | Belanda |
| Inggris | Ukraina |
| pt | Portugis |
| ar | Arab |
| ZH | Cina - Sederhana |
| ZH-TW | Cina - Tradisional |
| CS | Ceko |
| da | Denmark |
| fi | Finlandia |
| EL | Orang yunani |
| Dia | Ibrani |
| hu | Hongaria |
| ko | Korea |
| fa | Persia |
| pl | Polandia |
| ru | Rusia |
| tr | Turki |
| ur | Urdu |
| Hai | Hindi |
| vi | Vietnam |
| pengenal | Indonesia |
| bn | Benggala |
| te | Telugu |
| Tn. | Marathi |
| ta | Tamil |
| JW (atau JV) | Jawa |
| ca | Catalan |
| ne | Nepal |
| th | Thai |
| sv | Swedia |
| pagi | Amharik |
| cy | Welsh |
| jam | Kroasia |
| adalah | Islandia |
| ka | Georgia |
| km | Khmer |
| SK | Slovakia |
| sq | bahasa Albania |
| sr | Serbia |
| AZ | Azerbaijani |
| bg | Bulgaria |
| gl | Galicia |
| gu | Gujarati |
| kk | Kazakh |
| kn | Kannada |
| LT | Lithuania |
| lv | Latvia |
| ml | Malayalam |
| ro | Rumania |
| si | Sinhala |
| su | Sunda |
| et | Estonia |
| mk | Makedonia |
| sw | Swahili |
| af | Afrikanas |
| BS | Bosnia |
| la | Latin |
| -ku | Myanmar Burma |
| TIDAK | Norwegia |
| sebagai | Orang Assam |
| UE | Basque |
| Ha | Hausa |
| ht | Haitian Creole |
| hy | Armenia |
| lo | Lao |
| mg | Malagasi |
| M N | Mongolia |
| Mt | Malta |
| pa | Punjabi |
| ps | Pashto |
| sl | Slovenia |
| sn | Shona |
| Jadi | Somalia |
| tg | Tajik |
| tk | Turkmen |
| tt | Tatar |
| Uz | Uzbek |
| yo | Yoruba |
| Kode bahasa | Bahasa |
|---|---|
| ay | Aymara |
| bm | Bambara |
| Ceb | Cebuano |
| NY | Chichewa |
| dv | Divehi |
| doi | Dogri |
| ee | Ewe |
| gn | Guarani |
| ilo | Iloko |
| rw | Kinyarwanda |
| kri | Krio |
| ku | Kurdish |
| KY | Kirgiz |
| LG | Ganda |
| Mai | Maithili |
| atau | Oriya |
| om | Oromo |
| qu | Quechua |
| sm | Samoan |
| ti | Tigrinya |
| ts | Tsonga |
| ak | Akan |
| ug | Uighur |
Untuk menjalankan sonitranslate menggunakan runtime colab:
Before you start installing and using SoniTranslate, there are a few things you need to do:
accept the license to use the models : https://huggingface.co/pyannote/speaker-diarization and https://huggingface.co/pyannote/segmentationconda install -c anaconda git -y di terminal Anda (lakukan ini setelah langkah 1 di bagian berikut.). Jika Anda kesulitan menginstal git melalui Anaconda, Anda dapat menggunakan tautan berikut sebagai gantinya:Setelah Anda menyelesaikan langkah -langkah ini, Anda akan siap untuk menginstal sonitranslate.
Untuk menginstal sonitranslate, ikuti langkah -langkah ini:
conda create -n sonitr python=3.10 -y
conda activate sonitr
python -m pip install pip==23.1.2
conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia
git clone https://github.com/r3gm/SoniTranslate.git
cd SoniTranslate
pip install -r requirements_base.txt -v
pip install -r requirements_extra.txt -v
pip install onnxruntime-gpu
Instal FFMPEG. FFMPEG adalah proyek perangkat lunak gratis yang menghasilkan perpustakaan dan program untuk menangani data multimedia. Anda akan membutuhkannya untuk memproses file audio dan video. You can install ffmpeg with Anaconda by running conda install -y ffmpeg in your terminal (recommended). Jika Anda mengalami kesulitan menginstal FFMPEG melalui Anaconda, Anda dapat menggunakan tautan berikut sebagai gantinya: (https://ffmpeg.org/ffmpeg.html). Once it is installed, make sure it is in your PATH by running ffmpeg -h in your terminal. Jika Anda tidak mendapatkan pesan kesalahan, Anda siap melakukannya.
Instalasi Opsional:
Setelah menginstal FFMPEG, Anda dapat menginstal paket opsional ini.
Piper TTS is a fast, local neural text to speech system that sounds great and is optimized for the Raspberry Pi 4. Piper is used in a variety of projects. Suara dilatih dengan vits dan diekspor ke onnxruntime.
pip install -q piper-tts==1.2.0
Coqui xtts adalah model Text-to-Speech (TTS) yang memungkinkan Anda menghasilkan suara realistis dalam berbagai bahasa. Ini dapat mengkloning suara hanya dengan klip audio pendek, bahkan berbicara dalam bahasa yang berbeda! Ini seperti memiliki suara pribadi yang meniru untuk teks apa pun yang perlu Anda lisan.
pip install -q -r requirements_xtts.txt
pip install -q TTS==0.21.1 --no-deps
Untuk menjalankan sonitranslate secara lokal, pastikan lingkungan sonitr Conda aktif:
conda activate sonitr
Mengatur token wajah pelukan Anda sebagai variabel lingkungan di Linux:
export YOUR_HF_TOKEN="YOUR_HUGGING_FACE_TOKEN"
Kemudian arahkan ke folder SoniTranslate dan jalankan app_rvc.py
python app_rvc.py
When the local URL http://127.0.0.1:7860 is displayed in the terminal, simply open this URL in your web browser to access the SoniTranslate interface.
Di sebagian besar lingkungan, Anda dapat menghentikan eksekusi dengan menekan Ctrl+C di terminal tempat Anda meluncurkan skrip app_rvc.py . Ini akan mengganggu program dan menghentikan aplikasi gradio. Untuk menonaktifkan lingkungan Conda, Anda dapat menggunakan perintah berikut:
conda deactivate
Ini akan menonaktifkan Sonitr lingkungan Conda yang saat ini aktif, dan Anda akan kembali ke lingkungan dasar atau lingkungan Python global.
If you need to start over from scratch, you can delete the SoniTranslate folder and remove the sonitr conda environment with the following set of commands:
conda deactivate
conda env remove -n sonitr
Dengan Lingkungan sonitr dihapus, Anda dapat memulai dengan instalasi baru.
conda activate sonitr
conda env config vars set YOUR_HF_TOKEN="YOUR_HUGGING_FACE_TOKEN_HERE"
conda deactivate
conda activate sonitr
conda env config vars set OPENAI_API_KEY="your-api-key-here"
conda deactivate
Script app_rvc.py mendukung argumen baris perintah untuk menyesuaikan perilakunya. Berikut panduan singkat tentang cara menggunakannya:
| Perintah argumen | Bawaan | Nilai | Keterangan |
|---|---|---|---|
| --tema | Taithrah/Minimal | Rangkaian | Menetapkan tema untuk antarmuka. Tema dapat ditemukan di galeri tema. |
| --bahasa | bahasa inggris | Rangkaian | Selects the interface language. Pilihan yang tersedia: Afrikaans, Arab, Azerbaijani, China_zh_cn, Inggris, Prancis, Jerman, Hindi, Indonesia, Italia, Jepang, Korea, Marathi, Persia, Polandia, Portugis, Rusia, Spanyol, Swedia, Turki, Ukraina, Vietnam. |
| --Verbosity_level | info | Rangkaian | Menetapkan level verbositas logger: debug, info, peringatan, kesalahan, atau kritis. |
| ---bublic_url | Boolean | Memungkinkan tautan publik. | |
| --cpu_mode | Boolean | Aktifkan mode CPU untuk menjalankan program tanpa memanfaatkan akselerasi GPU. | |
| ---logs_in_gui | Boolean | Menunjukkan operasi yang dilakukan dalam log (usang). |
Contoh Penggunaan:
python app_rvc.py --theme aliabid94/new-theme --language french
Perintah ini menetapkan tema ke tema khusus dan memilih bahasa Prancis sebagai bahasa antarmuka. Jangan ragu untuk menyesuaikan argumen ini sesuai dengan preferensi dan persyaratan Anda.
2024/18/05: Detail Pembaruan Baru
kotoba-tech/kotoba-whisper-v1.1 untuk transkripsi Jepang yang tersedia di siniapp_rvc.py --cpu_mode2024/03/02: Lindungi nama file dalam output. Multiple archives can now be submitted simultaneously by specifying their paths, directories or URLs separated by commas. Pemrosesan daftar putar YouTube lengkap. Tentang URL Situs yang Didukung, Perlu diketahui bahwa tidak semua situs dapat bekerja secara optimal. Menambahkan opsi untuk menonaktifkan diarisasi. Subtitle lunak yang diimplementasikan. Format output (MP3, MP4, MKV, WAV, dan OGG), dan masalah terselesaikan yang terkait dengan pembacaan file dan diarization.
2024/02/22: Menambahkan freevc untuk imitasi suara, trek yang tetap tidak bersuara, membagi segmen. Dukungan Bahasa Baru (Swedia, Amharik, Welsh, Kroasia, Islandia, Georgia, Khmer, Slovakia, Albania, Serbia, Azerbaijan, Bulgaria, Galicia, Gujarati, Kazakh, Kannada, Lithuania, Latvian, Malayam, Malayam, Romania, Romania, Lithuane. Terjemahan baru GUI (Spanyol, Prancis, Jerman, Italia, Jepang, Cina disederhanakan, Ukraina, Arab, Rusia, Turki, Indonesia, Portugis, Hindi, Vietnam, Polandia, Swedia, Korea, Marathi, dan Azerbaijani). Dengan File Subtitle, No Align dan File Media tidak diperlukan untuk memproses file SRT. Bakar subtitle ke video. Antrian dapat menerima banyak tugas secara bersamaan. Pemberitahuan peringatan suara. Lanjutkan proses dari pos pemeriksaan terakhir. Peraturan Tingkat Akselerasi.
2024/01/16: Dukungan bahasa yang diperluas (Thailand, Nepali, Catalan, Jawa, Tamil, Marathi, Telugu, Bengali dan Indonesia), pengenalan V3 besar Whisper, opsi GUI yang dapat dikonfigurasi, integrasi bark, Facebook-MMS, coqui xttsstts, coqui xtts, coqui xtts, coqui xtts, coqui xtts, coqui xttss, coqui xtts, coqui xtts, coqui xtts, coqui xtts , dan Piper-tts. Fitur tambahan termasuk utilitas pemisahan audio, kreasi XTTS WAV, menggunakan file SRT sebagai basis untuk terjemahan, terjemahan dokumen, pengeditan speaker manual, dan opsi output fleksibel (video, audio, subtitle).
2023/10/29: Edit subtitle yang diterjemahkan, unduh, sesuaikan opsi volume dan kecepatan.
2023/08/03: Mengubah opsi default dan ditambahkan tampilan direktori unduhan.
2023/08/02: Dukungan tambahan untuk bahasa Arab, Ceko, Denmark, Finlandia, Yunani, Ibrani, Hongaria, Korea, Persia, Polandia, Rusia, Turki, bahasa Urdu, Hindi, dan Vietnam.
2023/08/01: Tambahkan opsi untuk menggunakan model RVC.
2023/07/27: Perbaiki beberapa bug yang memproses video dan audio.
2023/07/26: UI baru dan tambahkan opsi campuran.
Selamat datang di kontribusi dari komunitas! If you have any ideas, bug reports, or feature requests, please open an issue or submit a pull request. Untuk informasi lebih lanjut, silakan merujuk ke Pedoman Kontribusi.
Proyek ini memanfaatkan sejumlah proyek open-source. Kami ingin mengakui dan berterima kasih kepada para kontributor dari repositori berikut:
Meskipun kode tersebut dilisensikan di bawah Apache 2, model atau bobot mungkin memiliki batasan komersial, seperti yang terlihat dengan diarization Pyannote.
