프레임별로 세상을 연결하세요

영어 ｜ 중문

개요

VideoLingo는 Netflix 수준의 자막 생성을 목표로 하는 올인원 비디오 번역, 현지화 및 더빙 도구입니다. 딱딱한 기계 번역과 여러 줄로 된 자막을 제거하는 동시에 고품질 더빙을 추가하여 언어 장벽을 넘어 글로벌 지식 공유를 가능하게 합니다. 직관적인 Streamlit 인터페이스를 사용하면 몇 번의 클릭만으로 비디오 링크를 고품질 이중 언어 자막과 더빙이 포함된 현지화된 비디오로 변환할 수 있습니다.

주요 기능:

yt-dlp를 통한 YouTube 비디오 다운로드
WhisperX를 통한 단어 수준 자막 인식
NLP 및 GPT 기반 자막 분할
일관된 번역을 위한 GPT 생성 용어
전문가 수준의 품질을 위한 3단계 직접 번역, 반영, 각색
Netflix 표준 한 줄 자막만
GPT-SoVITS 및 기타 방법을 사용한 더빙 정렬
Streamlit에서 원클릭 시작 및 출력
진행 재개를 통한 자세한 로깅
포괄적인 다국어 지원

유사한 프로젝트와의 차이점: 한 줄 자막만 가능, 번역 품질 우수

데모

러시아어 번역

ru_demo.mp4

GPT-SoVITS

sovits.mp4

오아이츠

OAITTS.mp4

언어 지원:

현재 입력 언어 지원 및 예:

입력 언어	번역 데모
영어	영어에서 중국어로
러시아인	러시아어에서 중국어로
프랑스 국민	프랑스어에서 일본어로
독일 사람	독일어에서 중국어로
이탈리아 사람	이탈리아어에서 중국어로
스페인 사람	스페인어에서 중국어로
일본어	일본어에서 중국어로
중국인*	중국어에서 영어로

*중국어는 WhisperX 모델의 별도 구성이 필요하며, 로컬 소스 코드 설치에만 적용 가능합니다. 구성 프로세스에 대한 설치 문서를 참조하고 웹 페이지 사이드바에서 전사 언어를 zh로 지정하십시오.

번역 언어 지원은 사용되는 대규모 언어 모델의 기능에 따라 달라지며, 더빙 언어는 선택한 TTS 방법에 따라 달라집니다.

빠른 시작

온라인 경험

단 5분 만에 Colab에서 VideoLingo를 빠르게 경험해보세요:

로컬 설치

VideoLingo는 모든 하드웨어 플랫폼과 운영 체제를 지원하지만 GPU 가속을 통해 최상의 성능을 발휘합니다. 자세한 설치 지침은 설명서를 참조하십시오. English | 简体中文

도커 설치

VideoLingo는 Dockerfile을 제공합니다. 설치 문서를 참조하십시오: 영어 | 简体中文

배치 모드

사용 지침: 영어 | 简体中文

️ 현재 제한 사항

WhisperX 성능은 장치마다 다릅니다. 버전 1.7에서는 demucs 음성 분리를 먼저 수행하지만 이로 인해 이전에 비해 분리 후 전사가 더 나빠질 수 있습니다. 이는 속삭임 자체가 배경 음악이 있는 환경에서 훈련되었기 때문입니다. 분리되기 전에는 BGM 가사를 기록하지 않지만 분리 후에는 이를 기록할 수 있습니다.
MascGCT 통합 계획이 있는 아직 테스트 및 개발 단계이므로 더빙 기능 품질이 완벽하지 않을 수 있습니다 . 현재 최상의 결과를 얻으려면 원본 비디오의 속도와 콘텐츠 특성을 기반으로 음성 속도가 비슷한 TTS를 선택하는 것이 좋습니다. 효과에 대해서는 데모를 참조하세요.
다국어 비디오 전사 인식은 기본 언어만 유지합니다 . 이는 WhisperX가 단어 수준의 자막을 강제로 정렬할 때 단일 언어에 특화된 모델을 사용하고, 인식할 수 없는 언어를 삭제하기 때문입니다.
다자 분리 더빙이 개발 중입니다 . WhisperX에는 VAD 잠재력이 있지만 구체적인 구현 작업이 필요하며 이 기능은 아직 지원되지 않습니다.