openvino plugins ai audacity

Audacity* 用 OpenVINO™ AI プラグイン

Audacity® 用の AI 対応エフェクト、ジェネレーター、アナライザーのセット。これらの AI 機能は、お使いの PC 上で 100% ローカルで実行されますか? -- インターネット接続は必要ありません。 OpenVINO™ は、CPU、GPU、NPU など、ユーザーのシステム上でサポートされているアクセラレータで AI モデルを実行するために使用されます。

• 音楽の分離-- モノラルまたはステレオのトラックをドラム、ベース、ボーカル、その他の楽器などの個別のステムに分割します。

• ノイズ抑制-- オーディオ サンプルからバックグラウンド ノイズを除去します。

• 音楽の生成と継続-- MusicGen LLM を使用して、音楽のスニペットを生成したり、既存の音楽のスニペットの継続を生成したりします。

• Whisper Transcription -- Whisper.cpp を使用して、指定された選択した音声またはボーカルの転写または翻訳を含むラベル トラックを生成します。

インストール

最新の Windows リリースのインストール パッケージと手順を見つけるには、ここにアクセスしてください。

組み立て説明書

• Windows のビルド手順

• Linux のビルド手順

ヘルプ、フィードバック、バグレポート

ここに問題を送信していただくことを歓迎します。

• 質問

• バグレポート

• 機能リクエスト

• あらゆる種類のフィードバック -- このプロジェクトをどのように改善できるでしょうか?

貢献

規模の大小に関わらず、あなたの貢献は歓迎され、評価されます。お気軽にプルリクエストを送信してください。

謝辞と引用

• Audacity® 開発チームと Muse グループ -- ご支援に感謝いたします。

• Audacity® GitHub -- https://github.com/audacity/audacity

• Whisper 転写および翻訳アナライザーは、whisper.cpp を使用します (OpenVINO™ バックエンドを使用): https://github.com/ggerganov/whisper.cpp

• 音楽の生成と継続は、Meta の MusicGen モデルを使用します。

• 現在、MusicGen-Small および MusicGen-Small-Stereo をサポートしています。

• txt から音楽へのパイプラインは、Hugging Face トランスフォーマー プロジェクトのロジックを参照して、Python から C++ に移植されました: https://github.com/huggingface/transformers

• 音楽分離エフェクトは、OpenVINO™ で動作するように移植された Meta の Demucs v4 モデル (https://github.com/facebookresearch/demucs) を使用します。

• ノイズ抑制:

• ここからモデルとパイプラインを移植しました: https://github.com/Rikorose/DeepFilterNet

• また、Rust 実装をよりよく理解するために @grazder のフォーク/ブランチ (https://github.com/grazder/DeepFilterNet/tree/torchDF-changes) を利用しました。そのため、C++ 実装の一部もtorch_df_offline.pyに基づいていました。ここで見つかりました。

• 引用:

   @inproceedings{schroeter2022deepfilternet2,title = {{DeepFilterNet2}: フルバンド オーディオ用の組み込みデバイスでのリアルタイム音声強化に向けて},author = {Schröter、Hendrik および Escalante-B.、Alberto N. および Rosenkranz、Tobias および Maier、アンドレアス},booktitle={第 17 回国際ワークショップ音響信号強化 (IWAENC 2022)}、年 = {2022}、
  } @inproceedings{schroeter2023deepfilternet3,title = {{DeepFilterNet}: 知覚的に動機づけられたリアルタイム音声強化},author = {Schröter、Hendrik および Rosenkranz、Tobias および Escalante-B.、Alberto N. および Maier、Andreas}、booktitle={インタースピーチ},年 = {2023}、
  }

• ノイズ抑制-デンスネット-ll: OpenVINO™ の Open Model Zoo より: https://github.com/openvinotoolkit/open_model_zoo

• DeepFilterNet2 および DeepFilterNet3:

• OpenVINO™ ノートブック -- 私たちはこの素晴らしい Python ノートブックのセットから多くのことを学び、OpenVINO™ を使用して AI パイプラインを実装するための最新/ベスト プラクティスを学ぶために今でもこのノートブックを使用しています。