openvino plugins ai audacity
3.6.4-R3.4
Набор эффектов, генераторов и анализаторов с поддержкой искусственного интеллекта для Audacity®. Эти функции искусственного интеллекта работают на 100% локально на вашем ПК? -- подключение к Интернету не требуется! OpenVINO™ используется для запуска моделей искусственного интеллекта на поддерживаемых ускорителях, имеющихся в системе пользователя, таких как ЦП, графический процессор и NPU.
Разделение музыки . Разделите моно- или стереодорожку на отдельные основы — ударные, бас, вокал и другие инструменты.
Шумоподавление — удаляет фоновый шум из аудиосэмпла.
Генерация и продолжение музыки — использует MusicGen LLM для создания фрагментов музыки или для создания продолжения существующего фрагмента музыки.
Транскрипция шепота . Использует vanilla cpp для создания метки дорожки, содержащей транскрипцию или перевод для заданного фрагмента разговорного звука или вокала.
Перейдите сюда, чтобы найти установочные пакеты и инструкции для последней версии Windows.
Инструкции по сборке Windows
Инструкции по сборке Linux
Мы приветствуем вас, чтобы отправить вопрос здесь для
Вопросы
Отчеты об ошибках
Запросы функций
Любая обратная связь: как мы можем улучшить этот проект?
Ваш вклад приветствуется и ценится, независимо от того, большой или маленький. Смело отправляйте запрос на вытягивание!
Команда разработчиков Audacity® и Muse Group — Спасибо за вашу поддержку!
Audacity® GitHub — https://github.com/audacity/audacity
Анализатор транскрипции и перевода Whisper использует quiet.cpp (с серверной частью OpenVINO™): https://github.com/ggerganov/whisper.cpp
Генерация и продолжение музыки использует модель MusicGen от Meta.
В настоящее время у нас есть поддержка MusicGen-Small и MusicGen-Small-Stereo.
Конвейеры преобразования txt в музыку были перенесены с Python на C++ с использованием логики из проекта преобразователей Hugging Face: https://github.com/huggingface/transformers
Эффект разделения музыки использует модель Meta Demucs v4 (https://github.com/facebookresearch/demucs), которая была перенесена для работы с OpenVINO™.
Шумоподавление:
Модели и конвейер перенесены отсюда: https://github.com/Rikorose/DeepFilterNet.
Мы также использовали вилку/ветвь @grazder (https://github.com/grazder/DeepFilterNet/tree/torchDF-changes), чтобы лучше понять реализацию Rust, и поэтому мы также основали некоторые из наших реализаций C++ на torch_df_offline.py нашел здесь.
Цитаты:
@inproceedings{schroeter2022deepfilternet2,title = {{DeepFilterNet2}: На пути к улучшению речи в реальном времени на встроенных устройствах для полнодиапазонного аудио},author = {Шретер, Хендрик и Эскаланте-Б., Альберто Н. и Розенкранц, Тобиас и Майер, Андреас},booktitle={17-й международный семинар по улучшению акустических сигналов (IWAENC 2022)},год = {2022},
} @inproceedings{schroeter2023deepfilternet3,title = {{DeepFilterNet}: перцептивно-мотивированное улучшение речи в реальном времени},author = {Шрётер, Хендрик и Розенкранц, Тобиас и Эскаланте-Б., Альберто Н. и Майер, Андреас},booktitle={ ИНТЕРСПИЧЕ},год = {2023},
}Noise-suppression-denseunet-ll: из зоопарка открытых моделей OpenVINO™: https://github.com/openvinotoolkit/open_model_zoo
DeepFilterNet2 и DeepFilterNet3:
Блокноты OpenVINO™. Мы многому научились благодаря этому замечательному набору блокнотов Python и до сих пор используем его для изучения новейших/лучших практик реализации конвейеров искусственного интеллекта с использованием OpenVINO™!
