下载:
LocalVocal 允许您在本地机器上将语音转录为文本,并同时翻译为任何语言。 ✅ 不需要 GPU, ✅ 无云成本, ✅ 无需网络, ✅ 无停机时间!隐私第一 - 所有数据都保留在您的计算机上。
如果这个免费插件很有价值,请考虑在这个 GH 存储库中添加 ⭐,在 OBS 上对其进行评级,订阅我发布更新的 YouTube 频道,并在 GitHub、Patreon 或 OpenCollective 上支持我的工作?
该插件在内部运行 OpenAI 的 Whisper 来实时处理语音并预测转录。它使用ggerganov 的Whisper.cpp 项目在CPU 和GPU 上高效运行Whisper 网络。翻译是用CTranslate2 完成的。
使用 LocalVocal 做更多事情:
实时翻译
翻译任何应用程序的标题
使用 DeepL 进行实时翻译
使用 OpenAI 进行实时翻译
ChatGPT + 文本转语音
将字幕发布到 YouTube
本地法学硕士实时翻译
使用教程
目前的特点:
将音频实时转录为 100 种语言的文本
使用文本源在屏幕上显示字幕
将字幕发送到 .txt 或 .srt 文件(以通过外部源读取或视频播放),带或不带聚合选项
与 OBS 录制时间戳同步的字幕
将 RTMP 流上的字幕发送到 YouTube、Twitch 等
带上您自己的 Whisper 模型(任何 GGML)
将字幕实时翻译为主要语言(Whisper 内置翻译以及 NMT 模型)
CUDA、hipBLAS (AMD ROCm)、Apple Arm64、AVX 和 SSE 加速支持
过滤或替换生成的字幕的任何部分
部分转录以获得流式字幕体验
HuggingFace 提供针对数十种语言的 100 个经过微调的 Whisper 模型
路线图:
更强大的内置翻译选项
其他输出选项:.vtt、.ssa、.sub 等。
说话人分类(检测多人音频流中的说话人)
查看我们的其他插件:
背景去除可以从网络摄像头中去除背景,而不会出现绿屏。
Detect 将在 OBS 内实时检测和跟踪超过 80 种类型的物体
CleanStream 用于从实时音频流中实时删除填充词(呃,嗯)和脏话
URL/API 源,允许从 API 获取实时数据并将其显示在 OBS 中。
Squawk 在 OBS 中添加了逼真的本地文本转语音功能
查看最新版本的下载和安装说明。
该插件随 Tiny.en 模型一起提供,并将通过下拉菜单自动下载其他 Whisper 模型。如果磁盘上有外部 GGML Whisper 模型文件,还可以选择它。
从 https://ggml.ggerganov.com/ 和 HuggingFace 获取更多模型,按照 tweet.cpp 上的说明创建您自己的模型或下载其他模型,例如蒸馏模型。
该插件在 Mac OSX(英特尔和苹果芯片)、Windows(带或不带 Nvidia CUDA)和 Linux 上构建和测试。
首先将此存储库克隆到您选择的目录。
使用 CI 管道脚本,您只需在本地调用 zsh 脚本,该脚本会针对 $MACOS_ARCH 中指定的架构( x86_64
或arm64
)进行构建。
$ MACOS_ARCH="x86_64" ./.github/scripts/build-macos -c 发布
上述脚本应该成功,并且插件文件(例如obs-localvocal.plugin
)将驻留在根目录下的./release/Release
文件夹中。将.plugin
文件复制到 OBS 目录,例如~/Library/Application Support/obs-studio/plugins
。
要获取.pkg
安装程序文件,请运行例如
$ ./.github/scripts/package-macos -c 发布
(请注意,输出可能位于Release
文件夹中,而不是像pakage-macos
期望的那样位于install
文件夹中,因此您需要将该文件夹从build_x86_64/Release
重命名为build_x86_64/install
)
为了在 Ubuntu 上成功构建,首先克隆存储库,然后从存储库目录中克隆:
$ sudo apt install -y libssl-dev $ ./.github/scripts/build-linux
将结果复制到 Ubuntu 上的标准 OBS 文件夹
$ sudo cp -R release/RelWithDebInfo/lib/* /usr/lib/ $ sudo cp -R release/RelWithDebInfo/share/* /usr/share/
注意:官方 OBS 插件指南建议将插件添加到~/.config/obs-studio/plugins
文件夹中。这和你安装OBS的方式有关。
如果上述方法不起作用,请尝试将文件复制到~/.config
文件夹:
$ mkdir -p ~/.config/obs-studio/plugins/obs-localvocal/bin/64bit $ cp -R release/RelWithDebInfo/lib/x86_64-linux-gnu/obs-plugins/* ~/.config/obs-studio/plugins/obs-localvocal/bin/64bit/ $ mkdir -p ~/.config/obs-studio/plugins/obs-localvocal/data $ cp -R release/RelWithDebInfo/share/obs/obs-plugins/obs-localvocal/* ~/.config/obs-studio/plugins/obs-localvocal/data/
对于无法使用 CI 构建脚本的其他发行版,您可以按如下方式构建插件
克隆存储库并使用发行版的包管理器安装这些依赖项:
libssl(带有开发标头)
生成 CMake 构建脚本(如有必要,调整文件夹)
cmake -B build-dir --preset linux-x86_64 -DUSE_SYSTEM_CURL=ON -DCMAKE_INSTALL_PREFIX=./output_dir
构建插件并将文件复制到输出目录
cmake --build build-dir --target install
将插件复制到OBS插件文件夹
mkdir -p ~/.config/obs-studio/plugins/bin/64bit cp -R ./output_dir/lib/obs-plugins/* ~/.config/obs-studio/plugins/bin/64bit/
注意:根据您的系统,插件可能位于
./output_dir/lib64/obs-plugins
中。
将插件数据复制到 OBS 插件文件夹 - 可能仅在首次安装时需要
mkdir -p ~/.config/obs-studio/plugins/data cp -R ./output_dir/share/obs/obs-plugins/obs-localvocal/* ~/.config/obs-studio/plugins/data/
再次使用 CI 脚本,例如:
> .github/scripts/Build-Windows.ps1 - 配置发布
构建应该存在于根目录下的./release
文件夹中。您可以手动安装OBS目录中的文件。
> 复制项目-递归-强制“releaseRelease*”-目标“C:Program Filesobs-studio”
LocalVocal 现在将通过来自 https://github.com/locaal-ai/locaal-ai-dep-whispercpp 的 Whisper.cpp 预构建二进制文件自动构建 CUDA 支持。 CMake 脚本将下载所有必需的文件。
要使用 cuda 构建,请添加ACCELERATION
作为环境变量(使用cpu
、 hipblas
或cuda
)并定期构建
> $env:ACCELERATION="cuda"> .github/scripts/Build-Windows.ps1 - 配置发布