SoniTranslate
0.5.0
? Перевод видео с синхронизированным аудио
SonyTranslate-это мощное и удобное веб-приложение, которое позволяет легко переводить видео на разные языки. Этот репозиторий размещает код для веб -интерфейса SonyTranslate, который создан с библиотекой Gradio для обеспечения бесшовного и интерактивного пользовательского опыта.
| Описание | Связь |
|---|---|
| ? Колаб ноутбук | |
| ? Репозиторий | |
| Онлайн демо |
Для полного понимания проекта мы настоятельно рекомендуем посмотреть этот видеоурок от Dev-Mallettes. Вы можете посмотреть его на YouTube, нажав на миниатюру ниже:
| Языковой код | Язык |
|---|---|
| поступка | Английский |
| фр | Французский |
| де | немецкий |
| эс | испанский |
| это | Итальянский |
| JA | Японский |
| норм | Голландский |
| Великобритания | Украинский |
| пт | португальский |
| АР | арабский |
| ZH | Китайский - упрощен |
| ZH-TW | Китайский - традиционный |
| CS | чешский |
| дат | Датский |
| фигура | Финский |
| эль | Греческий |
| он | иврит |
| хю | венгерский |
| носитель | корейский |
| фанат | Персидский |
| пл | Лак |
| Ру | Русский |
| трэнд | турецкий |
| Ур | Урду |
| привет | хинди |
| VI | вьетнамский |
| идентификатор | индонезийский |
| мгновенный | Бенгальский |
| театр | телугу |
| Мистер | Маратхи |
| ТА | Тамильский |
| JW (или JV) | Яванский |
| калифорнийский | Каталонский |
| северо -восточный | Непальский |
| тур | Тайский |
| св | Шведский |
| являюсь | Амхарский |
| сай | валлийский |
| кадровый | хорватский |
| является | исландский |
| категория | Грузинец |
| км | Кхмер |
| скандал | словацкий |
| кв | албанский |
| старший | сербский |
| Аризона | Азербайджани |
| б. | болгарский |
| глина | Галиц |
| гуля | Гуджарати |
| кв | Казах |
| кН | Каннада |
| лейтенант | литовский |
| дольдо | Латвиан |
| мл | Малаялам |
| рост | румынский |
| сияние | Сингальский |
| суп | Сунданец |
| ET | эстонский |
| мк | македонский |
| дольдо | суахили |
| аффина | африкаанс |
| BS | Боснийский |
| ла | латинский |
| мой | Мьянма бирманца |
| нет | норвежский |
| как | Ассамский |
| Евросоюз | Баск |
| ха | Хауса |
| ht | Гаитянский креольский |
| герметичный | Армянский |
| LO | Лаос |
| мг | Малагасийский |
| мнжен | Монгольский |
| гору | Мальтийский |
| а | Пенджаби |
| пса | Пушту |
| сорта | словенский |
| с | Шона |
| так | Сомалийский |
| тг | Таджик |
| тк | туркменский |
| ТТ | Татар |
| УЗ | Узбек |
| Йо | Йоруба |
| Языковой код | Язык |
|---|---|
| ай | аймара |
| БМ | Бамбара |
| Ceb | Себуано |
| Нью -Йорк | Чичева |
| двер | Дивхи |
| дои | Догри |
| EE | Эве |
| гно | Гуарани |
| ilo | Илоко |
| RW | Kinyarwanda |
| Кри | Крио |
| ку | Курдский |
| KY | Киргиз |
| LG | Ганда |
| май | Maithili |
| или | Ария |
| ом | Оромо |
| QU. | кечуа |
| СМ | Самоан |
| тип | Тигринья |
| Т.С. | Цонга |
| Ак | Акан |
| UG | Уйгур |
Запустить Sonitranslate, используя время выполнения Colab:
Прежде чем начать установку и использование Sonitranslate, есть несколько вещей, которые вам нужно сделать:
accept the license to use the models : https://huggingface.co/pyannote/speaker-diarization и https://huggingface.co/pyannote/segmentationconda install -c anaconda git -y в вашем терминале (сделайте это после шага 1 в следующем разделе.). Если у вас есть проблемы с установкой GIT через Anaconda, вы можете использовать следующую ссылку:После того, как вы выполните эти шаги, вы будете готовы установить Sonitranslate.
Чтобы установить Sonitranslate, выполните эти шаги:
conda create -n sonitr python=3.10 -y
conda activate sonitr
python -m pip install pip==23.1.2
conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia
git clone https://github.com/r3gm/SoniTranslate.git
cd SoniTranslate
pip install -r requirements_base.txt -v
pip install -r requirements_extra.txt -v
pip install onnxruntime-gpu
Установите ffmpeg. FFMPEG - это бесплатный программный проект, который производит библиотеки и программы для обработки мультимедийных данных. Вам понадобится обработка аудио и видеофайлы. Вы можете установить FFMPEG с Anaconda, выполнив conda install -y ffmpeg в вашем терминале (рекомендуется). Если у вас есть проблемы с установкой FFMPEG через Anaconda, вы можете использовать следующую ссылку: (https://ffmpeg.org/ffmpeg.html). После того, как он будет установлен, убедитесь, что он находится на вашем пути, запустив ffmpeg -h в вашем терминале. Если вы не получите сообщение об ошибке, вы готовы идти.
Дополнительная установка:
После установки FFMPEG вы можете установить эти дополнительные пакеты.
Piper TTS - быстрый локальный нейронный текст для речевой системы, которая звучит великолепно и оптимизирован для Raspberry Pi 4. Piper используется в различных проектах. Голоса обучаются VITS и экспортируются в OnNxruntime.
pip install -q piper-tts==1.2.0
Coqui XTTS-это модель текста в речь (TTS), которая позволяет генерировать реалистичные голоса на разных языках. Он может клонировать голоса с помощью короткого аудиоклипа, даже говорить на другом языке! Это как личный голос, имитирующий любой текст, который вам нужен.
pip install -q -r requirements_xtts.txt
pip install -q TTS==0.21.1 --no-deps
Чтобы управлять Sonitranslate на местном уровне, убедитесь, что среда sonitr Conda активна:
conda activate sonitr
Установка вашего токена обнимающего лица в качестве переменной среды в Linux:
export YOUR_HF_TOKEN="YOUR_HUGGING_FACE_TOKEN"
Затем перейдите в папку SoniTranslate и запустите либо app_rvc.py
python app_rvc.py
Когда local URL http://127.0.0.1:7860 отображается в терминале, просто откройте этот URL в вашем веб -браузере, чтобы получить доступ к интерфейсу Sonitranslate.
В большинстве среду вы можете остановить выполнение, нажав CTRL+C в терминале, где вы запустили Script app_rvc.py . Это прертит программу и остановит приложение Gradio. Чтобы деактивировать среду Conda, вы можете использовать следующую команду:
conda deactivate
Это отключит в настоящее время активную среду Conda Sonitr, и вы вернетесь в базовую среду или в глобальную среду Python.
Если вам нужно начать с нуля, вы можете удалить папку SoniTranslate и удалить среду sonitr Conda со следующим набором команд:
conda deactivate
conda env remove -n sonitr
С удалением среды sonitr вы можете начать все сначала со свежей установки.
conda activate sonitr
conda env config vars set YOUR_HF_TOKEN="YOUR_HUGGING_FACE_TOKEN_HERE"
conda deactivate
conda activate sonitr
conda env config vars set OPENAI_API_KEY="your-api-key-here"
conda deactivate
Сценарий APP_RVC.PY поддерживает аргументы командной строки для настройки его поведения. Вот краткое руководство о том, как их использовать:
| Аргумент команда | По умолчанию | Ценить | Описание |
|---|---|---|---|
| --тема | Taithrah/минимально | Нить | Устанавливает тему для интерфейса. Темы можно найти в тематической галерее. |
| --язык | английский | Нить | Выбирает язык интерфейса. Доступные варианты: африкаанс, арабский язык, азербайджани, китайский_ zh_cn, английский, французский, немецкий, хинди, индонезийский, итальянский, японский, корейский, маратхи, персидский, польский, португальский, русский, испанский, шведский, турецкий, украинский, вьетнамский. |
| -verbosity_level | информация | Нить | Устанавливает уровень многословного регистрации: отладка, информация, предупреждение, ошибка или критическая. |
| -public_url | Логический | Включает публичную ссылку. | |
| -cpu_mode | Логический | Включите режим процессора для запуска программы без использования ускорения графического процессора. | |
| -logs_in_gui | Логический | Показывает операции, выполняемые в журналах (устаревших). |
Пример использования:
python app_rvc.py --theme aliabid94/new-theme --language french
Эта команда устанавливает тему на пользовательскую тему и выбирает французский язык как язык интерфейса. Не стесняйтесь настраивать эти аргументы в соответствии с вашими предпочтениями и требованиями.
2024/18/05: Детали нового обновления
kotoba-tech/kotoba-whisper-v1.1 для японской транскрипции доступна здесьapp_rvc.py --cpu_mode2024/03/02: Сохранить имена файлов в выводе. Несколько архивов теперь могут быть представлены одновременно, указав их пути, каталоги или URL -адреса, разделенные запятыми. Обработка полного плейлиста YouTube. Что касается URL -адреса поддерживаемых сайтов, имейте в виду, что не все сайты могут работать оптимально. Добавлена опция для отключения дневника. Внедренные мягкие субтитры. Вывод формата (MP3, MP4, MKV, WAV и OGG) и решенные вопросы, связанные с чтением и дневниками файла.
2024/02/22: добавлен Freevc для имитации голоса, фиксированного безмолвного трека, разделения сегментов. Поддержка новых языков (шведский, амхарский, валлийский, хорватский, исландский, грузинский, кхмер, словацкий, албанский, сербский, азербайджан, болгар, галиц, гуджарати, казах, каннада, литовский, латвиан, малайалам, румын, румын, синхаля и сунданэз). Новые переводы графического интерфейса (испанский, французский, немецкий, итальянский, японский, китайский упрощенный, украинский, арабский, русский, турецкий, индонезийский, португальский, хинди, вьетнамский, польский, шведский, корейский, маратхи и азербайджани). С помощью файла субтитров нет выравнивания, и файл медиа не требуется для обработки файла SRT. Сжигать субтитры для видео. Очередь может принять несколько задач одновременно. Звуковое уведомление. Продолжить процесс с последней контрольной точки. Регламент скорости ускорения.
2024/01/16: Расширенная языковая поддержка (тайская, непальская, каталонская, яванская, тамильская, маратхи, телугу, бенгальский и индонезийский), введение Whisper Large V3, настройки вариантов GUI, интеграция коры, Facebook-MMS, Coqui XTTS и Piper-TTS. Дополнительные функции включали утилиты для разделения звука, создание XTTS WAV, используйте файл SRT в качестве базы для перевода, перевод документов, редактирование ручного динамика и гибкие параметры вывода (видео, аудио, субтитры).
2023/10/29: отредактируйте переведенный подзаголовок, загрузите его, настраивайте параметры громкости и скорости.
2023/08/03: Измененные параметры по умолчанию и добавлено просмотр каталогов загрузок.
2023/08/02: Добавлена поддержка арабского, чешского, датского, финского, греческого, иврита, венгерского, корейского, персидского, польского, русского, турецкого, урду, хинди и вьетнамских языков.
2023/08/01: добавить параметры для использования моделей RVC.
2023/07/27: Исправьте некоторые ошибки, обрабатывая видео и аудио.
2023/07/26: новый пользовательский интерфейс и добавить параметры микса.
Добро пожаловать в вклад сообщества! Если у вас есть какие -либо идеи, отчеты об ошибках или запросы на функции, откройте проблему или отправьте запрос на привлечение. Для получения дополнительной информации, пожалуйста, обратитесь к руководящим принципам взноса.
Этот проект использует ряд проектов с открытым исходным кодом. Мы хотели бы поблагодарить и поблагодарить участников следующих репозиториев:
Хотя код лицензирован в соответствии с Apache 2, модели или веса могут иметь коммерческие ограничения, как видно из диализа Pyannote.
