openvino plugins ai audacity
3.6.4-R3.4
Audacity®용 AI 지원 효과, 생성기 및 분석기 세트입니다. 이러한 AI 기능은 PC에서 100% 로컬로 실행됩니다. -- 인터넷 연결이 필요하지 않습니다! OpenVINO™는 CPU, GPU, NPU 등 사용자 시스템에 있는 지원되는 가속기에서 AI 모델을 실행하는 데 사용됩니다.
음악 분리 - 모노 또는 스테레오 트랙을 드럼, 베이스, 보컬 및 기타 악기와 같은 개별 스템으로 분리합니다.
소음 억제 - 오디오 샘플에서 배경 소음을 제거합니다.
음악 생성 및 연속 - MusicGen LLM을 사용하여 음악 조각을 생성하거나 기존 음악 조각의 연속을 생성합니다.
속삭임 전사 -- Whisper.cpp를 사용하여 지정된 음성 오디오 또는 보컬 선택 항목에 대한 전사 또는 번역이 포함된 레이블 트랙을 생성합니다.
최신 Windows 릴리스에 대한 설치 패키지 및 지침을 찾으려면 여기로 이동하세요.
Windows 빌드 지침
Linux 빌드 지침
여기에 문제를 제출해 주셔서 감사합니다.
질문
버그 보고서
기능 요청
모든 종류의 피드백 - 이 프로젝트를 어떻게 개선할 수 있나요?
귀하의 기여는 크든 작든 상관없이 환영받고 소중하게 여겨집니다. 언제든지 풀 요청을 제출해 주세요!
Audacity® 개발팀 및 Muse Group-- 지원해 주셔서 감사합니다!
Audacity® GitHub -- https://github.com/audacity/audacity
속삭임 전사 및 번역 분석기는 속삭임.cpp(OpenVINO™ 백엔드 포함)를 사용합니다: https://github.com/ggerganov/whisper.cpp
음악 생성 및 지속은 Meta의 MusicGen 모델을 사용합니다.
현재 MusicGen-Small 및 MusicGen-Small-Stereo를 지원합니다.
txt-음악 파이프라인은 Hugging Face 변환기 프로젝트(https://github.com/huggingface/transformers)의 논리를 참조하여 Python에서 C++로 포팅되었습니다.
음악 분리 효과는 OpenVINO™와 함께 작동하도록 포팅된 Meta의 Demucs v4 모델(https://github.com/facebookresearch/demucs)을 사용합니다.
소음 억제:
여기에서 모델 및 파이프라인을 포팅했습니다: https://github.com/Rikorose/DeepFilterNet
또한 Rust 구현을 더 잘 이해하기 위해 @grazder의 포크/브랜치(https://github.com/grazder/DeepFilterNet/tree/torchDF-changes)를 사용했으며, 따라서 C++ 구현 중 일부를 torch_df_offline.py 에 기반을 두었습니다. 여기에서 발견되었습니다.
인용:
@inproceedings{schroeter2022deepfilternet2,title = {{DeepFilterNet2}: 전대역 오디오를 위한 내장형 장치의 실시간 음성 향상을 향하여},저자 = {Schröter, Hendrik 및 Escalante-B., Alberto N. 및 Rosenkranz, Tobias 및 Maier, Andreas},booktitle={17회 음향 신호에 관한 국제 워크숍 향상(IWAENC 2022)}, 연도 = {2022},
} @inproceedings{schroeter2023deepfilternet3,title = {{DeepFilterNet}: 지각적으로 동기를 부여받는 실시간 음성 향상},저자 = {Schröter, Hendrik and Rosenkranz, Tobias and Escalante-B., Alberto N. and Maier, Andreas},booktitle={ INTERSPEECH}, 연도 = {2023},
}Noise-suppression-denseunet-ll: OpenVINO™의 Open Model Zoo에서: https://github.com/openvinotoolkit/open_model_zoo
DeepFilterNet2 및 DeepFilterNet3:
OpenVINO™ 노트북 -- 우리는 이 멋진 Python 노트북 세트에서 많은 것을 배웠으며 여전히 이를 사용하여 OpenVINO™를 사용하여 AI 파이프라인을 구현하기 위한 최신/모범 사례를 배우고 있습니다!
