مكتبة بايثون لاستخراج ميزات الصوت وتصنيفها وتقسيمها وتطبيقاتها
هذه معلومات عامة. انقر هنا للحصول على الويكي الكامل وهنا للحصول على مقدمة أكثر عمومية لمعالجة البيانات الصوتية
أخبار
- [2022-01-01] إذا لم تكن مهتمًا بتدريب النماذج الصوتية من بياناتك الخاصة، فيمكنك التحقق من Deep Audio API، حيث يمكنك إرسال البيانات الصوتية مباشرة وتلقي التنبؤات فيما يتعلق بالمحتوى الصوتي المعني (الكلام مقابل الصمت ، النوع الموسيقي، جنس المتحدث، الخ).
- [2021-08-06] يتميز الصوت العميق بتصنيف صوتي عميق واستخراج الميزات باستخدام CNNs وPytorch
- تحقق من paura وهو برنامج نصي بلغة Python لتسجيل البيانات الصوتية وتحليلها في الوقت الفعلي
عام
pyAudioAnalogy هي مكتبة Python تغطي مجموعة واسعة من مهام تحليل الصوت. من خلال pyAudioAnalogy يمكنك:
- استخراج ميزات الصوت والتمثيلات (مثل mfccs، وspectrogram، وchromagram)
- تدريب وضبط المعلمات وتقييم مصنفات المقاطع الصوتية
- تصنيف الأصوات غير المعروفة
- كشف الأحداث الصوتية واستبعاد فترات الصمت من التسجيلات الطويلة
- إجراء تجزئة تحت الإشراف (تجزئة مشتركة - تصنيف)
- قم بإجراء تجزئة غير خاضعة للرقابة (على سبيل المثال، تسجيل مكبر الصوت) واستخراج الصور المصغرة الصوتية
- تدريب واستخدام نماذج الانحدار الصوتي (مثال للتطبيق: التعرف على المشاعر)
- قم بتطبيق تقليل الأبعاد لتصور البيانات الصوتية وأوجه التشابه في المحتوى
تثبيت
- استنساخ مصدر هذه المكتبة:
git clone https://github.com/tyiannak/pyAudioAnalysis.git
- تثبيت التبعيات:
pip install -r ./requirements.txt
- التثبيت باستخدام النقطة:
pip install -e .
مثال لتصنيف الصوت
يمكن العثور على المزيد من الأمثلة والبرامج التعليمية التفصيلية على الويكي
يوفر pyAudioAnalogy أغلفة سهلة الاتصال لتنفيذ مهام تحليل الصوت. على سبيل المثال، يقوم هذا الكود أولاً بتدريب مصنف مقطع صوتي، مع إعطاء مجموعة من ملفات WAV المخزنة في مجلدات (يمثل كل مجلد فئة مختلفة) ثم يتم استخدام المصنف المدرب لتصنيف ملف WAV صوتي غير معروف
from pyAudioAnalysis import audioTrainTest as aT
aT . extract_features_and_train ([ "classifierData/music" , "classifierData/speech" ], 1.0 , 1.0 , aT . shortTermWindow , aT . shortTermStep , "svm" , "svmSMtemp" , False )
aT . file_classification ( "data/doremi.wav" , "svmSMtemp" , "svm" )
النتيجة: (0.0، صفيف([ 0.90156761، 0.09843239])، ['موسيقى'، 'كلام'])
بالإضافة إلى ذلك، يتم توفير دعم سطر الأوامر لجميع الوظائف. على سبيل المثال، يستخرج الأمر التالي المخطط الطيفي للإشارة الصوتية المخزنة في ملف WAV: python audioAnalysis.py fileSpectrogram -i data/doremi.wav
مزيد من القراءة
بصرف النظر عن ملف README هذا، لفهم كيفية استخدام هذه المكتبة بشكل أفضل، يجب على المرء قراءة ما يلي:
- أساسيات التعامل مع الصوت: معالجة الملفات الصوتية في سطر الأوامر أو Python، إذا كنت تريد معرفة كيفية التعامل مع الملفات الصوتية من سطر الأوامر، وبعض البرمجة الأساسية لمعالجة الإشارات الصوتية. ابدأ بذلك إذا كنت لا تعرف شيئًا عن الصوت.
- مقدمة إلى تحليل الصوت: التعرف على الأصوات باستخدام التعلم الآلي هذا أعمق قليلاً من المقالة السابقة، من خلال توفير مقدمة كاملة لنظرية وممارسة استخراج ميزات الصوت وتصنيفها وتقسيمها (بما في ذلك العديد من أمثلة بايثون).
- ويكي المكتبة
- كيفية استخدام التعلم الآلي لتلوين الإضاءة الخاصة بك بناءً على الحالة المزاجية للموسيقى حالة استخدام مثيرة للاهتمام لاستخدام هذا lib لتدريب مُقدِّر مزاج الموسيقى في الوقت الفعلي.
- ويرد في هذا المنشور وصف أكثر عمومية ونظرية للأساليب المعتمدة (إلى جانب العديد من التجارب على حالات استخدام معينة). الرجاء استخدام الاقتباس التالي عند الاستشهاد بـ pyAudioAnalogy في عملك البحثي :
@ article { giannakopoulos2015pyaudioanalysis ,
title = { pyAudioAnalysis : An Open - Source Python Library for Audio Signal Analysis },
author = { Giannakopoulos , Theodoros },
journal = { PloS one },
volume = { 10 },
number = { 12 },
year = { 2015 },
publisher = { Public Library of Science }
}
للاطلاع على مواد التحليل الصوتي المتعلقة بـ Matlab، راجع هذا الكتاب.
مؤلف
ثيودوروس جياناكوبولوس، باحث رئيسي في التعلم الآلي متعدد الوسائط في مجموعة تحليل الوسائط المتعددة في مختبر الذكاء الحسابي (MagCIL) التابع لمعهد المعلوماتية والاتصالات التابع للمركز الوطني للبحث العلمي "ديموكريتوس"