這是一個視頻翻譯配音工具,可將一種語言的視頻翻譯為指定語言的視頻,自動生成和添加該語言的字幕和配音。並支援API調用
語音辨識支援faster-whisper
和openai-whisper
本地離線模型及OpenAI SpeechToText API
GoogleSpeech
阿里中文语音识别模型
與豆包模型,並支援自訂語音辨識api.
文字翻譯支援微软翻译|Google翻译|百度翻译|腾讯翻译|ChatGPT|AzureAI|Gemini|DeepL|DeepLX|字节火山|离线翻译OTT
文字合成語音支援Microsoft Edge tts
Google tts
Azure AI TTS
Openai TTS
Elevenlabs TTS
自定义TTS服务器api
GPT-SoVITS
clone-voice ChatTTS-ui Fish TTS CosyVoice
允許保留背景伴奏音樂等(基於uvr5)
支援的語言:中文簡繁、英語、韓語、日語、俄語、法語、德語、義大利語、西班牙語、葡萄牙語、越南語、泰國語、阿拉伯語、土耳其語、匈牙利語、印度語、烏克蘭語、哈薩克語、印尼語、馬來語、捷克語、波蘭語、荷蘭語、瑞典語/其他語言可選自動檢測
[贊助商]
302.AI是一個匯集全球頂級品牌的AI超市,按需付費,零月費,零門檻使用各種類型AI。
功能全面/簡單易用/隨選付費零門檻/管理者與使用者分離
【自動翻譯影片並配音】將影片中的聲音翻譯為另一種語言的配音,並嵌入該語言字幕
【語音辨識/將音訊視訊轉為字幕】可大量將音訊、視訊檔案中的人類說話聲,辨識為文字並匯出為srt字幕文件
【語音合成/字幕配音】根據本地已有的srt字幕檔創建配音,支援單一或批次字幕
【翻譯字幕檔】將一個或多個srt字幕檔翻譯為其他語言的字幕文件
【合併視訊和音訊】批量將視訊檔案和音訊檔案一一對應合併
【合併視訊和srt字幕】批量將視訊檔案srt字幕檔案一一對應合併
【為影片新增圖片浮水印】批量將影片檔案嵌入圖片浮水印
【從視頻中提取音頻】從視頻中分離為音頻文件和無聲視頻
【音訊視訊格式轉換】批量將音訊視訊進行格式轉換
【字幕編輯並匯出多格式】支援匯入srt、vtt、ass格式字幕,編輯後可設定字體樣式、色彩等匯出對應格式字幕
【字幕格式轉換】批量將字幕檔進行srt/ass/vtt 格式互轉
【下載油管視頻】可從youtube上下載視頻
【人聲背景樂分離】
【API調用】支援語音合成、語言辨識、字幕翻譯、視訊翻譯介面調用
使用pyinstaller打包,未做免殺和簽名,殺軟可能報毒,請加入信任名單或使用原始碼部署
[點選去下載預先打包版,解壓縮到無空格的英文目錄後,雙擊sp.exe (https://github.com/jianchang512/pyvideotrans/releases)
解壓縮到英文路徑下,路徑中不含有空格。解壓縮後雙擊sp.exe (若遇到權限問題可右鍵使用管理員權限開啟)
注意:必須解壓縮後使用,不可直接壓縮包內雙擊使用,也不可解壓後移動sp.exe檔到其他位置
打開終端機窗口,分別執行以下命令
執行前確保已安裝Homebrew,如果你沒有安裝Homebrew,那麼需要先安裝
執行指令安裝Homebrew:
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
安裝完成後,執行:
eval $(brew --config)
brew install libsndfile brew install ffmpeg brew install git brew install [email protected]
繼續執行
export PATH="/usr/local/opt/[email protected]/bin:$PATH" source ~/.bash_profile source ~/.zshrc
建立不含空格和中文的資料夾,在終端機中進入該資料夾。
終端機中執行指令git clone https://github.com/jianchang512/pyvideotrans
執行指令cd pyvideotrans
繼續執行python -m venv venv
繼續執行指令source ./venv/bin/activate
,執行完畢查看確認終端指令提示字元已變成已(venv)
開頭,以下指令必須確定終端提示字元是以(venv)
開頭
執行pip install -r requirements.txt
,如果提示失敗,執行如下2條指令切換pip鏡像到阿里鏡像
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/ pip config set install.trusted-host mirrors.aliyun.com
然後重新執行如果已切換到阿里鏡像來源,仍提示失敗,請嘗試執行pip install -r requirements.txt
python sp.py
開啟軟體介面
CentOS/RHEL係依序執行如下指令安裝python3.10
sudo yum update sudo yum groupinstall "Development Tools" sudo yum install openssl-devel bzip2-devel libffi-devel cd /tmp wget https://www.python.org/ftp/python/3.10.4/Python-3.10.4.tgz tar xzf Python-3.10.4.tgz cd Python-3.10.4 ./configure — enable-optimizations sudo make && sudo make install sudo alternatives — install /usr/bin/python3 python3 /usr/local/bin/python3.10 1 sudo yum install -y ffmpeg
Ubuntu/Debian系執行如下指令安裝python3.10
apt update && apt upgrade -y apt install software-properties-common -y add-apt-repository ppa:deadsnakes/ppa apt update sudo apt-get install libxcb-cursor0 apt install python3.10 curl -sS https://bootstrap.pypa.io/get-pip.py | python3.10 sudo update-alternatives --install /usr/bin/python python /usr/local/bin/python3.10 1 sudo update-alternatives --config python apt-get install ffmpeg
開啟任一終端,執行python3 -V
,如果顯示“3.10.4”,表示安裝成功,否則失敗
建立一個不含空格和中文的資料夾, 從終端機開啟該資料夾。
終端機中執行指令git clone https://github.com/jianchang512/pyvideotrans
繼續執行指令cd pyvideotrans
繼續執行python -m venv venv
繼續執行指令source ./venv/bin/activate
,執行完畢查看確認終端指令提示字元已變成已(venv)
開頭,以下指令必須確定終端提示字元是以(venv)
開頭
執行pip install -r requirements.txt
,如果提示失敗,執行如下2條指令切換pip鏡像到阿里鏡像
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/ pip config set install.trusted-host mirrors.aliyun.com
然後重新執行,如果已切換到阿里鏡像來源,仍提示失敗,請嘗試執行pip install -r requirements.txt
如果要使用CUDA加速,分別執行
pip uninstall -y torch torchaudio
pip install torch==2.2.0 torchaudio==2.2.0 --index-url https://download.pytorch.org/whl/cu118
pip install nvidia-cublas-cu11 nvidia-cudnn-cu11
linux 如果要啟用cuda加速,必須有英偉達顯示卡,並且配置好了CUDA11.8+環境,請自行搜尋"Linux CUDA 安裝"
python sp.py
開啟軟體介面
開啟https://www.python.org/downloads/ 下載windows3.10,下載後雙擊,一路next,注意要選取“Add to PATH”
開啟一個cmd,執行python -V
,如果輸出不是3.10.4
,說明安裝出錯,或沒有加入Add to PATH
,請重新安裝
開啟https://github.com/git-for-windows/git/releases/download/v2.45.0.windows.1/Git-2.45.0-64-bit.exe ,下載git,下載後雙擊一路下一步。
找一個不含空格和中文的資料夾,網址列輸入cmd
回車,打開終端,以下指令皆在該終端機執行
執行指令git clone https://github.com/jianchang512/pyvideotrans
繼續執行指令cd pyvideotrans
繼續執行python -m venv venv
繼續執行指令.venvscriptsactivate
,執行後請查看確認命令列開頭已變成了(venv)
,否則說明出錯
執行pip install -r requirements.txt
,如果提示失敗,執行如下2條指令切換pip鏡像到阿里鏡像
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/ pip config set install.trusted-host mirrors.aliyun.com
然後重新執行,如果已切換到阿里鏡像來源,仍提示失敗,請嘗試執行pip install -r requirements.txt
如果要使用CUDA加速,分別執行
pip uninstall -y torch torchaudio
pip install torch==2.2.0 torchaudio==2.2.0 --index-url https://download.pytorch.org/whl/cu118
windows 如果要啟用cuda加速,必須有英偉達顯示卡,並且配置好了CUDA11.8+環境,具體安裝見CUDA加速支持
解壓縮ffmpeg.zip 到目前原始碼目錄下,提示覆蓋則覆蓋,解壓縮後確保源碼下的ffmepg資料夾內能看到ffmpeg.exe ffprobe.exe ytwin32.exe,
python sp.py
開啟軟體介面
預設使用ctranslate2的4.x版本,僅支援CUDA12.x版本,如果你的cuda低於12,且無法升級cuda到12.x,請執行指令卸載ctranslate2然後重新安裝
pip uninstall -y ctranslate2 pip install ctranslate2==3.24.0
可能會遇到xx module not found
之類錯誤,請開啟requirements.txt,搜尋該xx 模組,然後將xx後的==及等會後的版本號碼去掉
Mac下原始碼部署/b站
用Gemini Api 給影片翻譯設定方法/b站
如何下載和安裝
ChatTTS-ui:使用ChatTTS合成聲音的UI介面
OTT:本地離線文字翻譯工具
聲音克隆工具:用任意音色合成語音
語音辨識工具:本地離線的語音辨識轉文字工具
人聲背景樂分離:人聲與背景音樂分離工具
GPT-SoVITS的api.py改良版
適配CosyVoice 的api.py
本程式主要依賴的部分開源項目
ffmpeg
PySide6
edge-tts
faster-whisper
openai-whisper
pydub