obs localvocal
OBS
ダウンロード：
LocalVocal を使用すると、マシン上でローカルに音声をテキストに書き起こし、同時に任意の言語に翻訳できます。 ✅ GPU は不要、✅ クラウドコスト、✅ ネットワーク、✅ ダウンタイムはありません。プライバシーを第一に - すべてのデータはマシン上に残ります。
この無料のプラグインが価値がある場合は、この GH リポジトリに ⭐ を追加すること、OBS で評価すること、更新情報を投稿する YouTube チャンネルに登録すること、GitHub、Patreon、または OpenCollective で私の作品をサポートすることを検討してください。
プラグインは内部的に OpenAI の Whisper を実行して、音声をリアルタイムに処理し、文字起こしを予測します。 ggerganov の Whisper.cpp プロジェクトを使用して、CPU と GPU で Whisper ネットワークを効率的に実行します。翻訳はCTranslate2で行われます。
LocalVocal をさらに活用:
リアルタイム翻訳
あらゆるアプリケーションのキャプションを翻訳
DeepL によるリアルタイム翻訳
OpenAI によるリアルタイム翻訳
ChatGPT + テキスト読み上げ
キャプションを YouTube に投稿する
ローカル LLM リアルタイム翻訳
使用方法のチュートリアル
現在の機能:
100 の言語で音声をリアルタイムでテキストに書き写します
テキストソースを使用して画面にキャプションを表示する
集約オプションを使用または使用せずに、キャプションを .txt または .srt ファイルに送信します (外部ソースまたはビデオ再生で読み取るため)。
キャプションを OBS 録画タイムスタンプと同期
RTMP ストリームでキャプションを YouTube、Twitch などに送信します。
独自の Whisper モデル (任意の GGML) を持ち込む
キャプションを主要言語にリアルタイムで翻訳します (Whisper の組み込み翻訳と NMT モデルの両方)
CUDA、hipBLAS (AMD ROCm)、Apple Arm64、AVX および SSE アクセラレーションのサポート
生成されたキャプションの一部をフィルターで除外または置換します
ストリーミング キャプション エクスペリエンスのための部分的な文字起こし
HuggingFace の数十の言語に対応する数百の微調整された Whisper モデル
ロードマップ:
より堅牢な組み込みの翻訳オプション
追加の出力オプション: .vtt、.ssa、.sub など。
話者のダイアライゼーション (複数人のオーディオ ストリーム内の話者の検出)
他のプラグインもチェックしてください。
背景の削除は、緑色の画面を表示せずに Web カメラから背景を削除します。
Detect は、OBS 内で 80 種類を超えるオブジェクトをリアルタイムで検出および追跡します。
CleanStream によるライブ オーディオ ストリームからのリアルタイムのフィラー ワード (えーっと、あのー) と冒涜的な表現の削除
API からライブ データを取得して OBS に表示できる URL/API ソース。
Squawk は、組み込み OBS にリアルなローカル テキスト読み上げ機能を追加します
ダウンロードとインストール手順については、最新リリースを確認してください。
このプラグインは Tiny.en モデルに同梱されており、ドロップダウンを通じて他の Whisper モデルを自律的にダウンロードします。ディスク上に外部 GGML Whisper モデル ファイルがある場合は、それを選択するオプションもあります。
https://ggml.ggerganov.com/ および HuggingFace からさらにモデルを入手し、whisper.cpp の指示に従って独自のモデルを作成するか、蒸留されたモデルなどの他のモデルをダウンロードします。
このプラグインは、Mac OSX (Intel および Apple シリコン)、Windows (Nvidia CUDA の有無にかかわらず)、および Linux 上で構築およびテストされました。
まず、このリポジトリを選択したディレクトリにクローン作成します。
CI パイプライン スクリプトを使用すると、ローカルで zsh スクリプトを呼び出すだけで、 $MACOS_ARCH ( x86_64またはarm64のいずれか) で指定されたアーキテクチャ用にビルドされます。
$ MACOS_ARCH="x86_64" ./.github/scripts/build-macos -c リリース
上記のスクリプトは成功し、プラグイン ファイル (例: obs-localvocal.plugin ) はルートの./release/Releaseフォルダーに常駐します。 .pluginファイルを OBS ディレクトリ (例: ~/Library/Application Support/obs-studio/pluginsにコピーします。
.pkgインストーラー ファイルを取得するには、次の例を実行します。
$ ./.github/scripts/package-macos -c リリース
(出力は、 pakage-macos期待するようなinstallフォルダーではなく、 Releaseフォルダーにある可能性があるため、フォルダーの名前をbuild_x86_64/Releaseからbuild_x86_64/installに変更する必要があることに注意してください)
Ubuntu 上で正常にビルドするには、まずリポジトリをクローンし、次にリポジトリ ディレクトリからクローンを作成します。
$ sudo apt install -y libssl-dev $ ./.github/scripts/build-linux
結果を Ubuntu の標準 OBS フォルダーにコピーします。
$ sudo cp -R release/RelWithDebInfo/lib/* /usr/lib/ $ sudo cp -R release/RelWithDebInfo/share/* /usr/share/
注: 公式 OBS プラグイン ガイドでは、プラグインを~/.config/obs-studio/pluginsフォルダーに追加することを推奨しています。これは、OBSのインストール方法に関係しています。
上記が機能しない場合は、ファイルを~/.configフォルダーにコピーしてみてください。
$ mkdir -p ~/.config/obs-studio/plugins/obs-localvocal/bin/64bit $ cp -R release/RelWithDebInfo/lib/x86_64-linux-gnu/obs-plugins/* ~/.config/obs-studio/plugins/obs-localvocal/bin/64bit/ $ mkdir -p ~/.config/obs-studio/plugins/obs-localvocal/data $ cp -R release/RelWithDebInfo/share/obs/obs-plugins/obs-localvocal/* ~/.config/obs-studio/plugins/obs-localvocal/data/
CI ビルド スクリプトを使用できない他のディストリビューションの場合は、次のようにプラグインをビルドできます。
リポジトリのクローンを作成し、ディストリビューションのパッケージ マネージャーを使用してこれらの依存関係をインストールします。
libssl (開発ヘッダー付き)
CMake ビルド スクリプトを生成します (必要に応じてフォルダーを調整します)。
cmake -B build-dir --preset linux-x86_64 -DUSE_SYSTEM_CURL=ON -DCMAKE_INSTALL_PREFIX=./output_dir
プラグインをビルドし、ファイルを出力ディレクトリにコピーします。
cmake --build build-dir --target install
プラグインを OBS プラグイン フォルダーにコピーします
mkdir -p ~/.config/obs-studio/plugins/bin/64bit cp -R ./output_dir/lib/obs-plugins/* ~/.config/obs-studio/plugins/bin/64bit/
注意: システムによっては、プラグインが
./output_dir/lib64/obs-pluginsにある場合があります。
プラグイン データを OBS プラグイン フォルダーにコピーします - おそらく最初のインストール時にのみ必要です
mkdir -p ~/.config/obs-studio/plugins/data cp -R ./output_dir/share/obs/obs-plugins/obs-localvocal/* ~/.config/obs-studio/plugins/data/
CI スクリプトを再度使用します。次に例を示します。
> .github/scripts/Build-Windows.ps1 - 構成リリース
ビルドはルートの./releaseフォルダーに存在する必要があります。 OBS ディレクトリにファイルを手動でインストールできます。
> Copy-Item -Recurse -Force "releaseRelease*" -Destination "C:Program Filesobs-studio"
LocalVocal は、https://github.com/locaal-ai/locaal-ai-dep-whispercpp の Whisper.cpp の事前構築済みバイナリを通じて、CUDA サポートを使用して自動的に構築されるようになりました。 CMake スクリプトは必要なファイルをすべてダウンロードします。
cuda でビルドするには、環境変数 ( cpu 、 hipblas 、またはcudaを使用) としてACCELERATIONを追加し、定期的にビルドします。
> $env:ACCELERATION="cuda"> .github/scripts/Build-Windows.ps1 - 構成リリース
