Соедините мир, кадр за кадром

английский ｜中文

Обзор

VideoLingo — это универсальный инструмент для перевода, локализации и дублирования видео, предназначенный для создания субтитров качества Netflix. Он устраняет необходимость жесткого машинного перевода и многострочных субтитров, а также добавляет высококачественное дублирование, обеспечивая глобальный обмен знаниями, преодолевая языковые барьеры. Благодаря интуитивно понятному интерфейсу Streamlit вы можете всего за несколько кликов преобразовать ссылку на видео в локализованное видео с высококачественными двуязычными субтитрами и дубляжом.

Ключевые особенности:

Загрузка видео с YouTube через yt-dlp
Распознавание субтитров на уровне слова с помощью WhisperX
Сегментация субтитров на основе NLP и GPT
Терминология, сгенерированная GPT, для последовательного перевода
Трехэтапный прямой перевод, размышление и адаптация для обеспечения качества профессионального уровня.
Только однострочные субтитры стандарта Netflix
Согласование дубляжа с помощью ГПТ-СоВИТС и других методов
Запуск в один клик и вывод в Streamlit
Подробное ведение журнала с возобновлением прогресса
Комплексная многоязычная поддержка

Отличие от аналогичных проектов: Только однострочные субтитры, превосходное качество перевода.

Демо

Русский перевод

ru_demo.mp4

ГПТ-СовИЦ

совиц.mp4

ОАИТТС

ОАИТТС.mp4

Языковая поддержка:

Текущая поддержка языка ввода и примеры:

Язык ввода	Демо-перевод
Английский	с английского на китайский
Русский	С русского на китайский
Французский	С французского на японский
немецкий	с немецкого на китайский
итальянский	С итальянского на китайский
испанский	С испанского на китайский
японский	С японского на китайский
Китайский*	с китайского на английский

*На китайском языке требуется отдельная настройка модели WhisperX, применимая только для установки локального исходного кода. См. документацию по установке для процесса настройки и обязательно укажите язык транскрипции как zh на боковой панели веб-страницы.

Поддержка языка перевода зависит от возможностей используемой большой языковой модели, а язык дубляжа — от выбранного метода TTS.

Быстрый старт

Онлайн-опыт

Испытайте VideoLingo в Colab всего за 5 минут:

Локальная установка

VideoLingo поддерживает все аппаратные платформы и операционные системы, но лучше всего работает с ускорением графического процессора. Подробные инструкции по установке можно найти в документации: English | 简体中文

Установка докера

VideoLingo предоставляет Dockerfile. Пожалуйста, обратитесь к документации по установке: English | 简体中文

Пакетный режим

Инструкция по использованию: Английский | 简体中文

️ Текущие ограничения

Производительность WhisperX различается на разных устройствах. Версия 1.7 сначала выполняет разделение голосов, но это может привести к ухудшению транскрипции после разделения по сравнению с предыдущим. Это связано с тем, что сам шепот обучался в среде с фоновой музыкой — до разделения он не будет расшифровывать тексты фоновой музыки, но после разделения он может их расшифровать.
Качество функции дублирования может быть не идеальным, поскольку оно все еще находится на стадии тестирования и разработки, и планируется интегрировать MascGCT. Для достижения наилучших результатов в настоящее время рекомендуется выбирать TTS с одинаковой скоростью речи, основанной на скорости исходного видео и характеристиках контента. Посмотрите демо-версию эффектов.
Распознавание транскрипции многоязычного видео сохранит только основной язык . Это связано с тем, что при принудительном выравнивании субтитров на уровне слов WhisperX использует специализированную модель для одного языка и удаляет нераспознанные языки.
Многосимвольная раздельная озвучка находится в разработке . Хотя у шепота есть потенциал VAD, необходима конкретная работа по реализации, и эта функция еще не поддерживается.

Дорожная карта

ВАД для различения говорящих, многосимвольная озвучка
Настраиваемые стили перевода
SaaS-сервис
Синхронизация губ для дублированных видео

Лицензия

Этот проект распространяется по лицензии Apache 2.0. При использовании данного проекта соблюдайте следующие правила:

При публикации работ рекомендуется (не обязательно) указать VideoLingo на создание субтитров .
Следуйте условиям больших языковых моделей и TTS, используемых для правильной атрибуции.
Если вы копируете код, включите полную копию лицензии Apache 2.0.

Мы искренне благодарим следующие проекты с открытым исходным кодом за их вклад, который оказал важную поддержку развитию VideoLingo: