الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

الحد من الضوضاء

صورة

جدول المحتويات

  • حول المشروع

    • مكدس التكنولوجيا

    • بنية الملف

  • ابدء

  • النتائج والتوضيح

  • العمل المستقبلي

  • المساهمين

  • شكر وتقدير وموارد

  • رخصة

حول المشروع

إلغاء الضوضاء في الوقت الحقيقي للضوضاء في إشارة بيانات الصوت.

  • الضوضاء اللازمة لإزالتها والتي يتم إحداثها بشكل طبيعي مثل الضوضاء غير البيئية التي تتم إزالتها مع تقليل الإشارة. راجع هذا الوثائق أيضًا هذه المدونة على الحد من ضوضاء الذكاء الاصطناعي

مكدس التكنولوجيا

  • يتم استخدام مكتبة Librosa ل manupulation الصوتية.

  • للإشارات الصوتية استخدمنا Scipy

  • يستخدم Matplotlib لمعالجة البيانات وتصور الإشارة.

الباقي هو numpy للعمليات الرياضية ، موجة للعمل على ملف الموجة.

بنية الملف 

Noise Reduction 
├───docs                                                                       ## Documents and Images
│   └───Input Audio file
├───
Project Details 
│   |
│   ├───
│   │   ├───Research papers
│   │   ├───Linear Algebra 
│   │   ├───Neural networks & Deep Learning 
│   │   ├───Project Documentation
│   │   ├───AI Noise Reduction Blog
│   │   ├───AI Noise Reduction Report
│   │   └───Code Implementation
│   │       ├───AI Noise Reduction.py
│   │       ├───audio.wav
│   │       ├───Resources

ابدء

المتطلبات والتثبيت

  • تم اختباره على Windows

 git clone https://github.com/dhriti03/noise-reduction.gitcd reduction

في دفتر الملاحظات ، قم بتثبيت بعض المكتبات

 PIP تثبيت موجة
 PIP تثبيت Librosa
PIP تثبيت scipy.io
PIP تثبيت matplotlib.pyplot

النتائج والتوضيح

مقطع فيديو للمشروع.

صورة

*هذا هو ملف الصوت الأصلي * ملف الصوت الأصلي *بعد إضافة الضوضاء * تضاف الضوضاء إلى الإشارة *إشارة الصوت النهائية بعد إزالة الضوضاء * إشارة الصوت النهائية بعد إزالة الضوضاء *مخطط انسيابي للمشروع * صورة

  • عند معالجة الكود وفقًا لمتطلباتك ، يمكنك استخدامه للتحكم في معظم علامات الصوت. ##نظرية

الحد من الضوضاء باستخدام البوابات الطيفية في الثعبان

خطوات الخوارزمية

  1. يتم حساب FFT على مقطع صوت الضوضاء

  2. يتم حساب الإحصائيات على FFT من الضوضاء (في التردد)

  3. يتم حساب العتبة بناءً على إحصائيات الضوضاء (والحساسية المطلوبة للخوارزمية)

  4. يتم تحديد قناع من خلال مقارنة الإشارة FFT بالعتبة

  5. يتم تنعيم القناع مع مرشح فوق التردد والوقت

  6. يتم تعطيل القناع إلى FFT للإشارة ، ويتم قلبه

تحميل البيانات (مكتبات استيراد)

 استيراد ipython من scipy.io import wavfileimport scipy.signalimport numpy كما

  1. نحن هنا نستورد المكتبات مثل ipython lib المستخدمة لإنشاء بيئة شاملة للحوسبة التفاعلية والاستكشافية.

  2. من مكتبة Scipy.io يتم استخدامها لمعالجة البيانات وتصور البيانات باستخدام مجموعة واسعة من أوامر Python.

  3. يحتوي Numpy على مجموعة بيانات متعددة الأبعاد ومصفوفة. يمكن استخدامه لأداء عدد من العمليات الرياضية على المصفوفات مثل الروتينية المثلثية والإحصائية والجبرية ، وبالتالي فإن مكتبة مفيدة للغاية.

  4. تساعد مكتبة Matplotlib.pyplot على فهم كمية البيانات الضخمة من خلال التصورات المختلفة.

  5. تستخدم Librosa عندما نعمل مع بيانات الصوت كما هو الحال في توليد الموسيقى (باستخدام LSTM's) ، والتعرف على الكلام التلقائي. يوفر لبنات البناء اللازمة لإنشاء أنظمة استرجاع معلومات الموسيقى.

  6. ٪ matplotlib مضمّن لتمكين التخطيط المضمّن ، حيث سيتم عرض المخططات/الرسوم البيانية أسفل الخلية مباشرة حيث تتم كتابة أوامر التخطيط الخاصة بك. يوفر التفاعل مع الواجهة الخلفية في المقدمة مثل دفتر Jupyter.

ملف الموجة

 wav_loc = r '/home/noise_reduction/downloads/wave/file.wav'rate ، data = wavfile.read (wav_loc ، mmap = false)

هنا نأخذ موقع مسار ملف WAW ثم نقرأ ملف WAW هذا مع وحدة WaveFile التي هي من مكتبة Scipy.io . باستخدام المعلمات (Filename - سلسلة أو مقبض الملف المفتوح وهو ملف WAV الإدخال.) ثم (MMAP: BOOL ، اختياريًا يمكن أن تقرأ البيانات على أنها مخطط للذاكرة (افتراضي: خطأ).

 def fftnoise (f): f = np.array (f ، dtype = "complex") np = (len (f) - 1) // 2phases = np.random.rand (np) * 2 * np.piphases = np .cos (المراحل) + 1J * np.sin (المراحل) f [1: np + 1] * = fatsef [-1: -1 -np: -1] = np.conj (f [1: np + 1] ) return np.fft.ifft (f) .Real

  1. نحن هنا أولاً نحدد وظيفة ضوضاء FFT باختصار ، وهو تحويل فورييه السريع (FFT) هو خوارزمية تحسب تحويل فورييه المنفصل (DFT) للتسلسل ، أو معكوس (IDFT). يقوم تحليل فورييه بتحويل إشارة من مجالها الأصلي (غالبًا ما يكون الوقت أو المساحة) إلى تمثيل في مجال التردد والعكس صحيح. يتم الحصول على DFT عن طريق تحلل سلسلة من القيم إلى مكونات من الترددات المختلفة.

  2. باستخدام تحويل فورييه السريع وتحديد دالة نوع البيانات المركب وأخيراً حساب الجزء الحقيقي من الوظيفة. في هذا ، يتم تعيين عمليات التسخين التي تتراوح بين الحد الأدنى من التردد وتردد الحد الأقصى إلى 1 والراحة غير مرغوب فيها.

  3. إعطاء موقع الملف

  4. قراءة ملف WAV

  5. -32767 إلى +32767 هو الصوت المناسب (ليكون متناظرًا) و 32768 يعني أن الصوت مقطوع في تلك النقطة

  6. ملف WAV هو عدد صحيح 16 بت ، والنطاق هو [-32768 ، 32767] ، وبالتالي فإن تقسيمه على 32768 (2^15) سوف يعطي نطاق الاكتتداد المزدوج الصحيح لـ [-1 ، 1]

 def band_limited_noise (min_freq ، max_freq ، العينات = 1024 ، أخذ العينات = 1): freqs = np.abs (np.fft.fftfreq (عينات ، 1 / ​​عينات)) f = np.zeros (عينات) f > = min_freq ، freqs <= max_freq)] = 1Return fftnoise (f)

  1. وظيفة أو سلسلة زمنية تقتصر تحويل فورييه على مجموعة محدودة من الترددات أو الأطوال الموجية.

  2. تحديد Freq مع Freq القياسية مع الحد الأقصى والحد الأقصى.

 noise_len = 2 # secondsnoise = band_limited_noise (min_freq = 4000 ، max_freq = 12000 ، عينات = len (data) ، samplerate = rate)*10noise_clip = noise [: rate*noise_len] audio_clip_band_limited = data+noise

  1. تحدد كتلة الضوضاء البيضاء المحدودة النطاق طيفًا على الوجهين ، حيث تكون الوحدات هرتز.

  2. حيث تتم مقارنة الحد الأقصى من 12000 و Min Freq من 4000 WRT الضوضاء والبيانات المقدمة.

  3. نحن هنا نقوم بقص إشارة الضوضاء من خلال وجود منتج من المعدل و LEN لإشارة الضوضاء.

  4. وبالتالي إضافة الضوضاء والبيانات المحددة

  5. في الواقع ، تؤدي إضافة الضوضاء إلى توسيع حجم مجموعة بيانات التدريب.

  6. تتم إضافة ضوضاء عشوائية إلى متغيرات الإدخال مما يجعلها مختلفة في كل مرة تتعرض فيها للنموذج.

  7. إضافة الضوضاء إلى عينات الإدخال هي شكل بسيط من زيادة البيانات.

  8. تعني إضافة الضوضاء أن الشبكة أقل قدرة على حفظ عينات التدريب لأنها تتغير طوال الوقت ،

  9. مما يؤدي إلى أوزان الشبكة الأصغر وشبكة أكثر قوة لديها خطأ تعميم أقل.

 استيراد Timefrom DateTime استيراد Timedelta كما TD

  1. وقت استيراد هذه الوحدة توفر وظائف متعلقة بالوقت المختلفة. للاطلاع على الوظائف ذات الصلة ، راجع أيضًا وحدات DateTime والتقويم. فئة datetime.timedelta

  2. مدة تعبر عن الفرق بين حالتين أو وقت أو مثيلات في وقت إلى دقة microsecond.

 def _stft (y ، n_fft ، hop_length ، win_length): return librosa.stft (y = y ، n_fft = n_fft ، hop_length = hop_length ، win_length = win_length)

  1. يمكن استخدام تحويل فورييه لفترة قصيرة لتحديد تغيير تردد الإشارة غير الثابتة ومحتوى الطور مع مرور الوقت.

  2. يجب أن يشير طول القفزة إلى عدد العينات بين الإطارات المتتالية. لتحليل الإشارة ، يجب أن يكون طول القفزة أقل من حجم الإطار ، بحيث تتداخل الإطارات.

  3. المعلمات ynp.ndarray [الشكل = (n ،)] ، إشارة الدخل ذات القيمة الحقيقية

 n_fftint> 0 [القياس]

طول إشارة نافذة بعد الحشو مع الأصفار. عدد الصفوف في مصفوفة STFT D هو (1 + N_FFT/2) . القيمة الافتراضية ، N_FFT = 2048 عينات ، تتوافق مع المدة المادية البالغة 93 ميلي ثانية بمعدل عينة قدره 22050 هرتز ، أي معدل العينة الافتراضي في Librosa. تم تكييف هذه القيمة بشكل جيد لإشارات الموسيقى. ومع ذلك ، في معالجة الكلام ، تكون القيمة الموصى بها 512 ، تقابل 23 مللي ثانية بمعدل عينة قدره 22050 هرتز. في أي حال ، نوصي بتعيين N_FFT على قوة اثنين لتحسين سرعة خوارزمية تحويل فورييه السريعة (FFT).

 hop_lengthint> 0 [القياس]

عدد عينات الصوت بين أعمدة STFT المجاورة.

تزيد القيم الأصغر من عدد الأعمدة في D دون التأثير على دقة تردد STFT.

إذا كانت غير محددة ، فإن الإعدادات الافتراضية لـ win_length // 4 (انظر أدناه).

 win_lengthint <= n_fft [القياس]

يتم نافذة كل إطار من الصوت بواسطة نافذة ذات طول Win_length ثم مبطنة بأصفار لمطابقة N_FFT .

تعمل القيم الأصغر على تحسين الدقة الزمنية لـ STFT (أي القدرة على تمييز النبضات التي تكون متباعدة بشكل وثيق في الوقت المناسب) على حساب دقة التردد (أي القدرة على تمييز النغمات النقية التي تكون متباعدة بشكل وثيق في التردد). يُعرف هذا التأثير بمقايضة توطين التردد الزمني ويجب تعديله وفقًا لخصائص إشارة الإدخال Y.

إذا غير محدد ، فإن الإعدادات الافتراضية لـ win_length = n_fft .

    إرجاع librorosa.istft (y ، hop_length ، win_length)

  1. تحويل فورييه القصيرة الأوقات القصيرة (ISTFT). Converts ذات القيمة المعقدة STFT_Matrix إلى سلسلة زمنية Y عن طريق تقليل الخطأ التربيعي المتوسط ​​بين STFT_Matrix و STFT من Y كما هو موضح في

  2. بشكل عام ، يجب أن تكون وظيفة النافذة وطول القفزة والمعلمات الأخرى كما في STFT ، والتي تؤدي في الغالب إلى إعادة بناء مثالية لإشارة من STFT_Matrix غير المعدلة.

 def _amp_to_db (x): return librorosa.core.amplitude_to_db (x ، ref = 1.0 ، amin = 1e-20 ، top_db = 80.0)

1.Convert مطياف سعة إلى الطيفية التي يقيدها DB. هذا يعادل power_to_db (s ** 2) ، ولكن يتم توفيره للراحة.

    إرجاع librosa.core.db_to_amplitude (x ، المرجع = 1.0)

  1. قم بتحويل طيفي من طيف DB إلى طيف سعة.

  2. هذا ينقلب بشكل فعال amplitude_to_db:

  3. db_to_amplitude (s_db) ~ = 10.0 (0.5* (s_db + log10 (Ref)/10)) **

 def plot_spectrogram (إشارة ، العنوان): الشكل ، ax = plt.subplots (figsize = (20 ، 4)) cax = ax.matshow (إشارة ، أوريغ = "lower" ، isside = "auto" ، cmap = plt.cm. الزلزالية ، vmin = -1 * np.max (np.abs (إشارة)) ، vmax = np.max (np.abs (إشارة)) ،
    )

  1. رسم الرماية مع الإشارة كمدخل.

  2. تحتوي فئة Axes على معظم عناصر الشكل: المحور ، القراد ، Line2D ، النص ، المضلع ، وما إلى ذلك ، وتعيين نظام الإحداثيات.

  3. يوفر خرائط ألوان متعددة في Matplotlib يمكن الوصول إليها عبر هذه الوظيفة .و ، ابحث عن تمثيل جيد في مساحة الألوان ثلاثية الأبعاد لمجموعة البيانات الخاصة بك.

 FIG.COLORBAR (CAX) AX.SET_TITLE (العنوان)

  1. أفضل طريقة لمعرفة ما يحدث ، هي إضافة ColorBar (plt.colorbar () ، بعد إنشاء مؤامرة مبعثرة). ستلاحظ أن القيم الخارجية بين 0 و 10000 كلها أقل من الجزء الأدنى من الشريط ، حيث تكون الأمور خضراء فاتحة للغاية.

  2. بشكل عام ، سيتم تلوين القيم أدناه VMIN بأقل لون ، وستحصل القيم فوق VMAX على أعلى لون.

  3. إذا قمت بتعيين VMAX أصغر من VMIN ، فسيتم تبديلها داخليًا. على الرغم من ذلك ، بناءً على الإصدار الدقيق من Matplotlib والوظائف الدقيقة المسمى ، قد يعطي Matplotlib تحذيرًا خطأ. لذلك ، من الأفضل تعيين VMin دائمًا أقل من VMAX.

 def plot_statistics_and_filter (mean_freq_noise ، std_freq_noise ، noise_thresh ، smoothing_filter): fig ، ax = plt.subplots (ncols = 2 ، figsize = (20 ، 4)) plt_std ، = ass [0] .plot (std_freq_noise ، label = "std. std. من الضوضاء ")

                                                                                                                                               plt_std ، = ax [0] .plot (noise_thresh ، label = "عتبة الضوضاء (حسب التردد)") ax [0] .set_title ("عتبة القناع")
                                                 AX [0] .Legend () cax = ax [1] .Matshow (smoothing_filter ، Origin = "lower") fig.colorbar (cax) ax [1] .set_title ("مرشح لقناع تنعيم")

  1. مخططات الإحصاءات الأساسية للحد من الضوضاء.

  2. نسبة الإشارة إلى الضوضاء (SNR أو S/N) هي مقياس يستخدم في العلوم والهندسة يقارن مستوى الإشارة المطلوبة بمستوى ضوضاء الخلفية.

  3. يتم تعريف SNR على أنها نسبة طاقة الإشارة إلى قوة الضوضاء ، وغالبًا ما يتم التعبير عنها في ديسيبل.

  4. تشير نسبة أعلى من 1: 1 (أكبر من 0 ديسيبل) إلى إشارة أكثر من الضوضاء.

  5. إعداد تردد العتبة لإخفاء الضوضاء.

  6. يشير عتبة التقنيع إلى عملية يصبح فيها صوتًا غير مسموع بسبب وجود صوت آخر.

  7. لذا فإن عتبة التقنيع هي مستوى ضغط الصوت للصوت اللازم لجعل الصوت مسموعًا في وجود ضوضاء أخرى تسمى "قناع"

  8. وهكذا أضاف العتبة.

  9. إشارات ضوضاء طمس مع مختلف مرشحات المرور المنخفضة

  10. قم بتطبيق المرشحات المخصصة على الصور (الالتفاف ثنائي الأبعاد)

 def removenoise ( # إلى متوسط ​​الإشارة (الجهد) للجزء الإيجابي المنحدر (الارتفاع) لموجة مثلث لمحاولة إزالة أكبر قدر ممكن من الضوضاء. Audio_clip ، # هذه المقاطع هي المعلمات المستخدمة عليها Operations noise_clip ، n_grad_freq = 2 ، # كم عدد قنوات التردد التي يجب تنعيمها باستخدام mask.n_grad_time = 4 ، # كم عدد القنوات الزمنية التي يجب تنعيمها باستخدام mask.n_fft = 2048 2048 ، # يتم إطار كل إطار من الصوت بواسطة "Window ()`. N_STD_THRESH = 1.5 ، # كم عدد الانحرافات المعيارية بصوت أعلى من متوسط ​​DB للضوضاء (في كل مستوى تردد) المراد اعتباره signprop_decrease = 1.0 ، # إلى أي مدى يجب أن تقلل من الضوضاء (1 = الكل ، 0 = لا شيء) ، يتيح لك Flag # كتابة تعبيرات منتظمة تبدو قابلة للتصوير المرئي = false ،

  1. def removenoise ( إلى متوسط ​​الإشارة (الجهد) للجزء الإيجابي المنحدر (الارتفاع) لموجة مثلث لمحاولة إزالة أكبر قدر ممكن من الضوضاء.

  2. Audio_clip ،
    هذه المقاطع هي المعلمات المستخدمة التي سنقوم بها العمليات المعنية

  3. noise_clip ، n_grad_freq = 2 كم عدد قنوات التردد التي يجب تنعيمها مع القناع.

  4. n_grad_time = 4 ، كم عدد القنوات التي يجب تنعيمها مع القناع.

  5. N_FFT = 2048
    عدد الصوت من الإطارات بين أعمدة STFT.

  6. Win_length = 2048 ، يتم نافذة كل إطار من الصوت بواسطة window() . ستكون النافذة ذات طول win_length ثم مبطنة بأصفار لمطابقة n_fft ..

  7. Hop_length = 512 ، صوت عدد الإطارات بين أعمدة STFT.

  8. N_STD_THRESH = 1.5 كم عدد الانحرافات المعيارية بصوت أعلى من متوسط ​​DB للضوضاء (في كل مستوى تردد) يجب اعتباره إشارة

  9. prop_decrease = 1.0 ، إلى أي مدى يجب أن تقلل من الضوضاء (1 = الكل ، 0 = لا شيء)

  10. مطول = خطأ ،
    يسمح لك Flag بكتابة تعبيرات منتظمة تبدو مرئية قابلة للتقدم = خطأ ، #لترسم خطوات الخوارزمية):

    noise_stft = _stft (noise_clip ، n_fft ، hop_length ، win_length) noise_stft_db = _amp_to_db (np.abs (noise_stft))

  1. STFT على الضوضاء

  2. تحويل إلى DB

 mean_freq_noise = np.mean (noise_stft_db ، axis = 1) std_freq_noise = np.std (noise_stft_db ، axis = 1) noise_thresh = mean_freq_noise + std_noise * n_std_thresh

  1. حساب الإحصاءات على الضوضاء

  2. نحن هنا للضوضاء العتبة نضيف الوسط والضوضاء القياسية وضوضاء N_STD.

   sig_stft = _stft (audio_clip ، n_fft ، hop_length ، win_length) sig_stft_db = _amp_to_db (np.abs (sig_stft))

  1. STFT على إشارة

    mask_gain_db = np.min (_amp_to_db (np.abs (sig_stft)))

  1. حساب القيمة لإخفاء DB

    smoothing_filter = np.outer (np.concatenate (
            [np.linspace (0 ، 1 ، n_grad_freq + 1 ، endpoint = false) ، np.linspace (1 ، 0 ، n_grad_freq + 2) ،
            ]
        ) [1: -1] ، np.concatenate (
            [np.linspace (0 ، 1 ، n_grad_time + 1 ، endpoint = false) ، np.linspace (1 ، 0 ، n_grad_time + 2) ،
            ]
        ) [1: -1] ،
    ) smoothing_filter = smoothing_filter / np.sum (smoothing_filter)

  1. قم بإنشاء مرشح تجانس للقناع في الوقت والتردد

    db_thresh = np.repeat (np.reshape (noise_thresh ، [1 ، len (mean_freq_noise)]) ، np.shape (sig_stft_db) [1] ، Axis = 0 ،
    ) .t

  1. احسب العتبة لكل سلة التردد/الوقت

    sig_mask = sig_stft_db <db_thresh

  1. قناع للإشارة

   sig_mask = scipy.signal.fftconvolve (sig_mask ، smoothing_filter ، mode = "same") sig_mask = sig_mask * prop_decrease

  1. قناع الالتواء مع مرشح السلس

    # قناع الإشارات _stft_db_masked = (sig_stft_db * (1 - sig_mask)+ np.ons (np.shape (mask_gain_db)) _to_amp (SIG_STFT_DB_MASKED) * NP.SIGN (SIG_STFT)) + (1J * SIG_IMAG_MASKED)

  1. قناع الإشارة

    # استعادة signalRecovered_signal = _istft (sig_stft_amp ، hop_length ، win_length) recovered_spec = _amp_to_db (np.abs (_stft (Recovered_signal ، n_fft ، hop_length))
    )

  1. استرداد الإشارة

  2. وبالتالي ، قم بتطبيق القناع إذا كانت الإشارة أعلى من العتبة

  3. حل القناع بفلتر تنعيم

العمل المستقبلي

  • تطبيق خوارزف تقليل الضوضاء لملف WAV الذي تم تنزيله بالفعل.

  • تطبيق FFT على التسجيل المباشر للإشارة الصوتية.

  • مزيد من التنفيذ العميق لوكالة الذكاء الاصطناعى لإلغاء الضوضاء.

  • تطبيق خوارزف تقليل الضوضاء لتنسيقات مختلفة من ملفات الصوت.

  • إشارة الصوت المباشر مع الميكروفون و ESP32 ، وبالتالي ستحصل على ملف WAV لمزيد من الحساب ومعالجة الإشارات.

المساهمين

  • Dhriti mabian

  • بريال أوينكار

شكر وتقدير

*sra vjti_eklavya 2021

الموجهين

  • شرياس أتري

  • شاه قاسي

موارد

  • الجرأة

  • طريقة إلغاء الضوضاء

  • أخذت الغلاية من مارتن هاينز

  • تيم سينبرج

رخصة

رخصة

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل