ชุดเอฟเฟกต์ เครื่องกำเนิด และเครื่องวิเคราะห์ที่ใช้ AI สำหรับ Audacity® คุณสมบัติ AI เหล่านี้ทำงาน 100% ภายในเครื่องพีซีของคุณ ? -- ไม่จำเป็นต้องเชื่อมต่ออินเทอร์เน็ต! OpenVINO™ ใช้เพื่อรันโมเดล AI บนตัวเร่งความเร็วที่รองรับที่พบในระบบของผู้ใช้ เช่น CPU, GPU และ NPU
การแยกเพลง -- แยกแทร็กโมโนหรือสเตอริโอออกเป็นท่อนเดี่ยวๆ เช่น กลอง เบส เสียงร้อง และเครื่องดนตรีอื่นๆ
การลดเสียงรบกวน - ลบเสียงรบกวนพื้นหลังออกจากตัวอย่างเสียง
การสร้างดนตรีและความต่อเนื่อง - ใช้ MusicGen LLM เพื่อสร้างตัวอย่างเพลง หรือเพื่อสร้างความต่อเนื่องของตัวอย่างเพลงที่มีอยู่
การถอดเสียงกระซิบ -- ใช้ Whisper.cpp เพื่อสร้างแทร็กป้ายกำกับที่มีการถอดเสียงหรือการแปลสำหรับเสียงพูดหรือเสียงร้องที่เลือก
ไปที่นี่เพื่อค้นหาแพ็คเกจการติดตั้งและคำแนะนำสำหรับ Windows รุ่นล่าสุด
คำแนะนำการสร้าง Windows
คำแนะนำในการสร้าง Linux
เรายินดีต้อนรับคุณในการส่งปัญหาที่นี่
คำถาม
รายงานข้อผิดพลาด
คำขอคุณลักษณะ
ข้อเสนอแนะใดๆ -- เราจะปรับปรุงโครงการนี้ได้อย่างไร
การมีส่วนร่วมของคุณจะได้รับการต้อนรับและมีคุณค่าไม่ว่าจะเล็กหรือใหญ่ก็ตาม อย่าลังเลที่จะส่งคำขอดึง!
ทีมพัฒนา Audacity® และ Muse Group-- ขอบคุณสำหรับการสนับสนุน!
Audacity® GitHub -- https://github.com/audacity/audacity
เครื่องมือวิเคราะห์การถอดเสียงและการแปลแบบ Whisper ใช้Whisper.cpp (พร้อมแบ็กเอนด์ OpenVINO™): https://github.com/ggerganov/whisper.cpp
การสร้างเพลงและความต่อเนื่องใช้โมเดล MusicGen จาก Meta
ขณะนี้เรามีการรองรับ MusicGen-Small และ MusicGen-Small-Stereo
ไปป์ไลน์ txt-to-music ได้รับการย้ายจาก python เป็น C++ โดยอ้างอิงตรรกะจากโครงการ Hugging Face Transformers: https://github.com/huggingface/transformers
เอฟเฟกต์การแยกเพลงใช้โมเดล Demucs v4 ของ Meta (https://github.com/facebookresearch/demucs) ซึ่งได้รับการย้ายมาทำงานร่วมกับ OpenVINO™
การลดเสียงรบกวน:
ย้ายโมเดลและไปป์ไลน์จากที่นี่: https://github.com/Rikorose/DeepFilterNet
นอกจากนี้เรายังใช้ทางแยก / สาขาของ @ Grazder (https://github.com/grazder/DeepFilterNet/tree/torchDF-changes) เพื่อทำความเข้าใจการใช้งาน Rust ให้ดียิ่งขึ้น และดังนั้นเราจึงใช้การใช้งาน C++ บางส่วนของเราบน torch_df_offline.py
พบที่นี่
การอ้างอิง:
@inproceedings{schroeter2022deepfilternet2,title = {{DeepFilterNet2}: Towards Real-Time Speech Enhancement on Embedded Devices for Full-Band Audio},author = {Schröter, Hendrik and Escalante-B., Alberto N. และ Rosenkranz, Tobias และ Maier, Andreas},booktitle={การประชุมเชิงปฏิบัติการระดับนานาชาติครั้งที่ 17 เรื่องการปรับปรุงสัญญาณเสียง (IWAENC 2022)},ปี = {2022}, } @inproceedings{schroeter2023deepfilternet3,title = {{DeepFilterNet}: Perceptually Motivated Real-Time Speech Enhancement},ผู้แต่ง = {Schröter, Hendrik และ Rosenkranz, Tobias และ Escalante-B., Alberto N. และ Maier, Andreas},booktitle={ INTERSPEECH},ปี = {2023}, -
Noise-suppression-denseunet-ll: จาก Open Model Zoo ของ OpenVINO™: https://github.com/openvinotoolkit/open_model_zoo
DeepFilterNet2 และ DeepFilterNet3:
โน้ตบุ๊ก OpenVINO™ -- เราได้เรียนรู้มากมายจากชุดโน้ตบุ๊ก Python ที่ยอดเยี่ยมนี้ และยังคงใช้มันเพื่อเรียนรู้แนวทางปฏิบัติล่าสุด / ที่ดีที่สุดสำหรับการนำไปป์ไลน์ AI ไปใช้โดยใช้ OpenVINO™!