下載:
LocalVocal 允許您在本機上將語音轉錄為文本,並同時翻譯為任何語言。 ✅ 不需要 GPU, ✅ 無雲端成本, ✅ 無需網絡, ✅ 無停機時間!隱私第一 - 所有資料都保留在您的電腦上。
如果這個免費外掛程式很有價值,請考慮在這個 GH 儲存庫中新增 ⭐,在 OBS 上對其進行評級,訂閱我發布更新的 YouTube 頻道,並在 GitHub、Patreon 或 OpenCollective 上支援我的工作?
該插件在內部運行 OpenAI 的 Whisper 來即時處理語音並預測轉錄。它使用ggerganov 的Whisper.cpp 專案在CPU 和GPU 上有效地運行Whisper 網路。翻譯是用CTranslate2 完成的。
使用 LocalVocal 做更多事情:
即時翻譯
翻譯任何應用程式的標題
使用 DeepL 進行即時翻譯
使用 OpenAI 進行即時翻譯
ChatGPT + 文字轉語音
將字幕發佈到 YouTube
本地法學碩士即時翻譯
使用教程
目前的特點:
將音訊即時轉錄為 100 種語言的文本
使用文字來源在螢幕上顯示字幕
將字幕傳送到 .txt 或 .srt 檔案(以透過外部來源讀取或視訊播放),有或沒有聚合選項
與 OBS 錄製時間戳同步的字幕
將 RTMP 串流上的字幕傳送到 YouTube、Twitch 等
帶上您自己的 Whisper 模型(任何 GGML)
將字幕即時翻譯為主要語言(Whisper 內建翻譯以及 NMT 模型)
CUDA、hipBLAS (AMD ROCm)、Apple Arm64、AVX 和 SSE 加速支持
過濾或替換生成的字幕的任何部分
部分轉錄以獲得串流字幕體驗
HuggingFace 提供針對數十種語言的 100 個經過微調的 Whisper 模型
路線圖:
更強大的內建翻譯選項
其他輸出選項:.vtt、.ssa、.sub 等。
說話者分類(偵測多人音訊串流中的說話者)
查看我們的其他外掛程式:
背景去除可以從網路攝影機中去除背景,而不會出現綠幕。
Detect 將在 OBS 內即時偵測並追蹤超過 80 種類型的物體
CleanStream 用於從即時音訊串流中即時刪除填充詞(呃,嗯)和髒話
URL/API 來源,允許從 API 取得即時資料並將其顯示在 OBS 中。
Squawk 在 OBS 中加入了逼真的本地文字轉語音功能
查看最新版本的下載和安裝說明。
該插件隨 Tiny.en 模型一起提供,並將透過下拉式選單自動下載其他 Whisper 模型。如果磁碟上有外部 GGML Whisper 模型文件,也可以選擇它。
從 https://ggml.ggerganov.com/ 和 HuggingFace 獲取更多模型,按照 tweet.cpp 上的說明創建您自己的模型或下載其他模型,例如蒸餾模型。
該插件在 Mac OSX(英特爾和蘋果晶片)、Windows(帶或不帶 Nvidia CUDA)和 Linux 上建置和測試。
首先將此儲存庫複製到您選擇的目錄。
使用 CI 管道腳本,您只需在本機呼叫 zsh 腳本,該腳本會針對 $MACOS_ARCH 中指定的架構( x86_64
或arm64
)進行建置。
$ MACOS_ARCH="x86_64" ./.github/scripts/build-macos -c 發布
上述腳本應該成功,並且插件檔案(例如obs-localvocal.plugin
)將駐留在根目錄下的./release/Release
資料夾中。將.plugin
檔案複製到 OBS 目錄,例如~/Library/Application Support/obs-studio/plugins
。
若要取得.pkg
安裝程式文件,請執行例如
$ ./.github/scripts/package-macos -c 發布
(請注意,輸出可能位於Release
資料夾中,而不是像pakage-macos
期望的那樣位於install
資料夾中,因此您需要將該資料夾從build_x86_64/Release
重命名為build_x86_64/install
)
為了在 Ubuntu 上成功構建,首先克隆存儲庫,然後從存儲庫目錄中克隆:
$ sudo apt install -y libssl-dev $ ./.github/scripts/build-linux
將結果複製到 Ubuntu 上的標準 OBS 資料夾
$ sudo cp -R release/RelWithDebInfo/lib/* /usr/lib/ $ sudo cp -R release/RelWithDebInfo/share/* /usr/share/
注意:官方 OBS 插件指南建議將插件新增至~/.config/obs-studio/plugins
資料夾中。這和你安裝OBS的方式有關。
如果上述方法不起作用,請嘗試將檔案複製到~/.config
資料夾:
$ mkdir -p ~/.config/obs-studio/plugins/obs-localvocal/bin/64bit $ cp -R release/RelWithDebInfo/lib/x86_64-linux-gnu/obs-plugins/* ~/.config/obs-studio/plugins/obs-localvocal/bin/64bit/ $ mkdir -p ~/.config/obs-studio/plugins/obs-localvocal/data $ cp -R release/RelWithDebInfo/share/obs/obs-plugins/obs-localvocal/* ~/.config/obs-studio/plugins/obs-localvocal/data/
對於無法使用 CI 建置腳本的其他發行版,您可以按如下方式建立插件
克隆儲存庫並使用發行版的套件管理器安裝這些依賴項:
libssl(有開發標頭)
產生 CMake 建置腳本(如有必要,調整資料夾)
cmake -B build-dir --preset linux-x86_64 -DUSE_SYSTEM_CURL=ON -DCMAKE_INSTALL_PREFIX=./output_dir
建立插件並將檔案複製到輸出目錄
cmake --build build-dir --target install
將插件複製到OBS插件資料夾
mkdir -p ~/.config/obs-studio/plugins/bin/64bit cp -R ./output_dir/lib/obs-plugins/* ~/.config/obs-studio/plugins/bin/64bit/
注意:根據您的系統,插件可能位於
./output_dir/lib64/obs-plugins
中。
將插件資料複製到 OBS 插件資料夾 - 可能僅在首次安裝時需要
mkdir -p ~/.config/obs-studio/plugins/data cp -R ./output_dir/share/obs/obs-plugins/obs-localvocal/* ~/.config/obs-studio/plugins/data/
再次使用 CI 腳本,例如:
> .github/scripts/Build-Windows.ps1 - 設定發布
建置應該存在於根目錄下的./release
資料夾中。您可以手動安裝OBS目錄中的檔案。
> 複製項目-遞迴-強制“releaseRelease*”-目標“C:Program Filesobs-studio”
LocalVocal 現在將透過 https://github.com/locaal-ai/locaal-ai-dep-whispercpp 的 Whisper.cpp 預先建置二進位檔案自動建置 CUDA 支援。 CMake 腳本將下載所有必要的檔案。
要使用 cuda 構建,請添加ACCELERATION
作為環境變數(使用cpu
、 hipblas
或cuda
)並定期構建
> $env:ACCELERATION="cuda"> .github/scripts/Build-Windows.ps1 - 設定發布