openvino plugins ai audacity

适用于 Audacity* 的 OpenVINO™ AI 插件

适用于 Audacity® 的一组支持 AI 的效果器、生成器和分析器。这些 AI 功能 100% 在您的 PC 上本地运行？ -- 无需互联网连接！ OpenVINO™ 用于在用户系统上支持的加速器（例如 CPU、GPU 和 NPU）上运行 AI 模型。

• 音乐分离——将单声道或立体声轨道分离为单独的音轨——鼓、贝斯、人声和其他乐器。

• 噪声抑制——消除音频样本中的背景噪声。

• 音乐生成和延续——使用 MusicGen LLM 生成音乐片段，或生成现有音乐片段的延续。

• Whisper Transcription——使用 Whisper.cpp 生成一个标签轨道，其中包含给定的口语音频或人声选择的转录或翻译。

安装

转到此处查找最新 Windows 版本的安装包和说明。

构建说明

• Windows 构建说明

• Linux 构建说明

帮助、反馈和错误报告

我们欢迎您在这里提交问题

• 问题

• 错误报告

• 功能请求

• 任何类型的反馈——我们如何改进这个项目？

贡献

我们欢迎并重视您的贡献，无论大小。请随时提交拉取请求！

致谢与引文

• Audacity®开发团队&Muse Group——感谢您的支持！

• Audacity® GitHub -- https://github.com/audacity/audacity

• Whisper 转录和翻译分析仪使用 Whisper.cpp（带有 OpenVINO™ 后端）：https://github.com/ggerganov/whisper.cpp

• 音乐生成和延续使用来自 Meta 的 MusicGen 模型。

• 我们目前支持 MusicGen-Small 和 MusicGen-Small-Stereo

• txt 到音乐的管道已从 python 移植到 C++，引用了 Hugging Face 转换器项目的逻辑：https://github.com/huggingface/transformers

• 音乐分离效果使用 Meta 的 Demucs v4 模型 (https://github.com/facebookresearch/demucs)，该模型已被移植以与 OpenVINO™ 配合使用

• 噪音抑制：

• 从这里移植模型和管道：https://github.com/Rikorose/DeepFilterNet

• 我们还利用@grazder 的 fork/branch (https://github.com/grazder/DeepFilterNet/tree/torchDF-changes) 来更好地理解 Rust 实现，因此我们的一些 C++ 实现也基于torch_df_offline.py在这里找到的。

• 引用：

   @inproceedings{schroeter2022deepfilternet2，title = {{DeepFilterNet2}：在嵌入式设备上实现全频带音频实时语音增强}，作者 = {Schröter、Hendrik 和 Escalante-B.、Alberto N. 和 Rosenkranz、Tobias 和 Maier， Andreas},booktitle={第十七届声学信号增强国际研讨会(IWAENC 2022)}，年份 = {2022}，
  } @inproceedings{schroeter2023deepfilternet3,title = {{DeepFilterNet}：感知动机实时语音增强}，作者 = {Schröter、Hendrik 和 Rosenkranz、Tobias 和 Escalante-B.、Alberto N. 和 Maier、Andreas}，booktitle={ INTERSPEECH}，年份 = {2023}，
  }

• 噪声抑制-denseunet-ll：来自 OpenVINO™ 的开放模型动物园：https://github.com/openvinotoolkit/open_model_zoo

• DeepFilterNet2 和 DeepFilterNet3：

• OpenVINO™ 笔记本——我们从这套很棒的 Python 笔记本中学到了很多东西，并且仍在使用它来学习使用 OpenVINO™ 实施 AI 管道的最新/最佳实践！