Esta es una herramienta de traducción y doblaje de videos que puede traducir videos en un idioma a videos en un idioma específico y generar y agregar automáticamente subtítulos y doblajes en ese idioma. y admite llamadas API
El reconocimiento de voz admite modelos fuera de línea locales de faster-whisper
y openai-whisper
y OpenAI SpeechToText API
阿里中文语音识别模型
GoogleSpeech
Alibaba y el modelo de bolsa de frijoles, y admite API de reconocimiento de voz personalizada.
La traducción de texto es compatible con微软翻译|Google翻译|百度翻译|腾讯翻译|ChatGPT|AzureAI|Gemini|DeepL|DeepLX|字节火山|离线翻译OTT
La síntesis de voz y el texto son compatibles con Microsoft Edge tts
Google tts
Azure AI TTS
Openai TTS
Elevenlabs TTS
自定义TTS服务器api
GPT-SoVITS
clon-voz ChatTTS-ui Fish TTS CosyVoice
Permite conservar música de acompañamiento de fondo, etc. (basado en uvr5)
Idiomas admitidos: chino simplificado y tradicional, inglés, coreano, japonés, ruso, francés, alemán, italiano, español, portugués, vietnamita, tailandés, árabe, turco, húngaro, indio, ucraniano, kazajo, indonesio, malayo, checo, polaco. Detección automática opcional de holandés, sueco/otros idiomas
[Patrocinador]
302.AI es un supermercado de IA que reúne a las principales marcas del mundo, con pago por uso, tarifas mensuales cero y umbral cero para el uso de varios tipos de IA.
Funciones completas/fácil de usar/umbral cero para pago bajo demanda/separación de administradores y usuarios
[Traducir video y doblaje automáticamente] Traduce el sonido del video al doblaje en otro idioma e incrusta subtítulos en ese idioma.
[Reconocimiento de voz/Convertir audio y video en subtítulos] Puede reconocer por lotes voces humanas en archivos de audio y video como texto y exportarlos como archivos de subtítulos srt
[Síntesis de voz/doblaje de subtítulos] Cree doblaje basado en archivos de subtítulos srt existentes locales, admitiendo subtítulos individuales o por lotes
[Traducir archivos de subtítulos] Traducir uno o más archivos de subtítulos srt a archivos de subtítulos en otros idiomas
[Fusionar video y audio] Fusionar archivos de video y archivos de audio en lotes en correspondencia uno a uno
[Combinar videos y subtítulos srt] Fusionar por lotes archivos de video y archivos de subtítulos srt uno por uno
[Agregar marca de agua de imagen a videos] Incrustar marcas de agua de imagen en archivos de video en lotes
【Extraiga audio del video】 Separe el video en archivos de audio y video silencioso
[Conversión de formatos de audio y video] Convierta formatos de audio y video en lotes
[Edición de subtítulos y exportación a múltiples formatos] Admite la importación de subtítulos en formatos srt, vtt y ass. Después de editar, puede configurar el estilo de fuente, el color, etc. para exportar subtítulos en el formato correspondiente.
[Conversión de formato de subtítulos] Convierte archivos de subtítulos a formatos srt/ass/vtt en lotes
[Descargar videos de YouTube] Los videos se pueden descargar desde YouTube
[Separación de la música de fondo vocal]
[Llamada API] Admite llamadas de interfaz de síntesis de voz, reconocimiento de idioma, traducción de subtítulos y traducción de video
Utilice pyinstaller para empaquetar sin antivirus ni firma. El software antivirus puede informar sobre virus. Agréguelo a la lista de confianza o utilice el código fuente para la implementación.
[Haga clic para descargar la versión empaquetada, descomprímala en un directorio en inglés sin espacios y haga doble clic en sp.exe (https://github.com/jianchang512/pyvideotrans/releases)
Descomprímalo en una ruta en inglés y la ruta no contiene espacios. Después de descomprimir, haga doble clic en sp.exe (si tiene problemas de permisos, puede hacer clic derecho y abrir con derechos de administrador)
Nota: Debe descomprimirse antes de su uso. No se puede hacer doble clic en él directamente en el paquete comprimido, ni se puede mover el archivo sp.exe a otras ubicaciones después de la descompresión.
Abra una ventana de terminal y ejecute los siguientes comandos respectivamente:
Asegúrese de que Homebrew esté instalado antes de ejecutar. Si no tiene Homebrew instalado, debe instalarlo primero.
Ejecute el comando para instalar Homebrew:
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
Una vez completada la instalación, ejecute:
eval $(brew --config)
brew install libsndfile brew install ffmpeg brew install git brew install [email protected]
Continuar la ejecución
export PATH="/usr/local/opt/[email protected]/bin:$PATH" source ~/.bash_profile source ~/.zshrc
Cree una carpeta sin espacios ni caracteres chinos e ingrese la carpeta en la terminal.
Ejecute el comando git clone https://github.com/jianchang512/pyvideotrans
en la terminal
Ejecute el comando cd pyvideotrans
Continúe ejecutando python -m venv venv
Continúe ejecutando el comando source ./venv/bin/activate
. Después de la ejecución, verifique y confirme que el símbolo del sistema del terminal haya cambiado para comenzar con (venv)
. Los siguientes comandos deben asegurarse de que el símbolo del terminal comience con (venv)
.
Ejecute pip install -r requirements.txt
. Si el mensaje falla, ejecute los siguientes 2 comandos para cambiar la imagen de pip a la imagen de Alibaba.
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/ pip config set install.trusted-host mirrors.aliyun.com
Luego vuelva a ejecutarlo. Si cambió a la fuente de imagen de Alibaba y aún falla, intente ejecutar pip install -r requirements.txt
python sp.py
abre la interfaz del software
El sistema CentOS/RHEL ejecuta los siguientes comandos para instalar python3.10
sudo yum update sudo yum groupinstall "Development Tools" sudo yum install openssl-devel bzip2-devel libffi-devel cd /tmp wget https://www.python.org/ftp/python/3.10.4/Python-3.10.4.tgz tar xzf Python-3.10.4.tgz cd Python-3.10.4 ./configure — enable-optimizations sudo make && sudo make install sudo alternatives — install /usr/bin/python3 python3 /usr/local/bin/python3.10 1 sudo yum install -y ffmpeg
Para el sistema Ubuntu/Debian, ejecute el siguiente comando para instalar python3.10
apt update && apt upgrade -y apt install software-properties-common -y add-apt-repository ppa:deadsnakes/ppa apt update sudo apt-get install libxcb-cursor0 apt install python3.10 curl -sS https://bootstrap.pypa.io/get-pip.py | python3.10 sudo update-alternatives --install /usr/bin/python python /usr/local/bin/python3.10 1 sudo update-alternatives --config python apt-get install ffmpeg
Abra cualquier terminal y ejecute python3 -V
. Si se muestra "3.10.4", la instalación se realiza correctamente; de lo contrario, falla.
Cree una carpeta sin espacios ni caracteres chinos y abra la carpeta desde la terminal.
Ejecute el comando git clone https://github.com/jianchang512/pyvideotrans
en la terminal
Continuar ejecutando el comando cd pyvideotrans
Continúe ejecutando python -m venv venv
Continúe ejecutando el comando source ./venv/bin/activate
. Después de la ejecución, verifique y confirme que el símbolo del sistema del terminal haya cambiado para comenzar con (venv)
. Los siguientes comandos deben asegurarse de que el símbolo del terminal comience con (venv)
.
Ejecute pip install -r requirements.txt
. Si el mensaje falla, ejecute los siguientes 2 comandos para cambiar la imagen de pip a la imagen de Alibaba.
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/ pip config set install.trusted-host mirrors.aliyun.com
Luego vuelva a ejecutarlo. Si cambió a la fuente de imagen de Alibaba y aún falla, intente con pip install -r requirements.txt
Si desea utilizar la aceleración CUDA, ejecútela por separado
pip uninstall -y torch torchaudio
pip install torch==2.2.0 torchaudio==2.2.0 --index-url https://download.pytorch.org/whl/cu118
pip install nvidia-cublas-cu11 nvidia-cudnn-cu11
linux Si desea habilitar la aceleración de cuda, debe tener una tarjeta gráfica NVIDIA y configurar el entorno CUDA11.8+. Busque "instalación de Linux CUDA".
python sp.py
abre la interfaz del software
Abra https://www.python.org/downloads/ para descargar Windows 3.10. Después de descargar, haga doble clic y haga clic en Siguiente.
Abra un cmd y ejecute python -V
. Si el resultado no es 3.10.4
, significa que hay un error de instalación o no se agregó Add to PATH
.
Abra https://github.com/git-for-windows/git/releases/download/v2.45.0.windows.1/Git-2.45.0-64-bit.exe, descargue git y haga doble clic en el siguiente paso después de la descarga.
Busque una carpeta sin espacios ni caracteres chinos, ingrese cmd
en la barra de direcciones y presione Enter, abra la terminal y ejecute los siguientes comandos en la terminal
Ejecute el comando git clone https://github.com/jianchang512/pyvideotrans
Continuar ejecutando el comando cd pyvideotrans
Continúe ejecutando python -m venv venv
Continúe ejecutando el comando .venvscriptsactivate
. Después de la ejecución, verifique para confirmar que el comienzo de la línea de comando haya cambiado a (venv)
; de lo contrario, se ha producido un error.
Ejecute pip install -r requirements.txt
. Si el mensaje falla, ejecute los siguientes 2 comandos para cambiar la imagen de pip a la imagen de Alibaba.
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/ pip config set install.trusted-host mirrors.aliyun.com
Luego vuelva a ejecutarlo. Si cambió a la fuente de imagen de Alibaba y aún falla, intente con pip install -r requirements.txt
Si desea utilizar la aceleración CUDA, ejecútela por separado
pip uninstall -y torch torchaudio
pip install torch==2.2.0 torchaudio==2.2.0 --index-url https://download.pytorch.org/whl/cu118
Windows Si desea habilitar la aceleración CUDA, debe tener una tarjeta gráfica NVIDIA y configurar el entorno CUDA11.8+. Para una instalación específica, consulte Soporte de aceleración CUDA.
Descomprima ffmpeg.zip en el directorio del código fuente actual. Si se le solicita que sobrescriba, sobrescriba. Después de la descompresión, asegúrese de que ffmpeg.exe ffprobe.exe ytwin32.exe se pueda ver en la carpeta ffmepg debajo del código fuente.
python sp.py
abre la interfaz del software
La versión 4.x de ctranslate2 se usa de forma predeterminada y solo admite la versión CUDA12.x. Si su cuda es inferior a 12 y no puede actualizar cuda a 12.x, ejecute el comando para desinstalar ctranslate2 y luego reinstálelo.
pip uninstall -y ctranslate2 pip install ctranslate2==3.24.0
Es posible que encuentre errores como xx module not found
. Abra requisitos.txt, busque el módulo xx y luego elimine == después de xx y el número de versión después de un tiempo.
Implementación de código fuente/estación b en Mac
Cómo configurar la traducción de videos usando Gemini Api/station b
Cómo descargar e instalar
ChatTTS-ui: interfaz UI que utiliza ChatTTS para sintetizar sonidos
OTT: herramienta local de traducción de texto sin conexión
Herramienta de clonación de voz: sintetiza voz con cualquier timbre
Herramienta de reconocimiento de voz: herramienta local de reconocimiento de voz a texto sin conexión
Separación de música de fondo vocal: herramienta de separación de música de fondo y voz
Versión mejorada de api.py de GPT-SoVITS
api.py adaptado a CosyVoice
Algunos proyectos de código abierto en los que se basa principalmente este programa
ffmpeg
PySide6
borde-tts
susurro más rápido
susurro openai
pydub