java audio embedding

جافا تضمين الصوت

تضمين الصوت في جافا

يحاول المشروع الحالي تطوير برنامج تشفير صوت Java خالص يمكن استخدامه في برنامج Java أو Android خالص. يمكن استخدام برنامج تشفير الصوت هذا لتصنيف أنواع الموسيقى أو البحث عن الموسيقى أو التوصية بالموسيقى.

يحتوي المشروع الحالي حاليًا على شبكتين للتعلم العميق تم اعتمادهما من:

• ريسنيت
• cifar

التدريب والتحقق من صحة هذين النموذجين مبين أدناه:

الاستخدام

تدريب مصنف الصوت في Keras

حزمة التعلم الآلي في Java هي Tensorflow، وتقوم بتحميل نموذج مصنف صوتي تم تدريبه مسبقًا (تنسيق .pb). تم تنفيذ نموذج مصنف الصوت وتدريبه في الأصل باستخدام Keras في Python. تم بعد ذلك تحويل نموذج المصنف المدرب هذا (بتنسيق .h5) إلى ملف نموذج .pb والذي يمكن تحميله مباشرة بواسطة Tensorflow في Java.

يمكن العثور على تدريب keras لنموذج مصنف الصوت في README_Training.md

قم بتشغيل مصنف الصوت في Java

توضح نماذج الرموز أدناه كيفية استخدام مصنف الصوت cifar للتنبؤ بأنواع الموسيقى:

 import com . github . chen0040 . tensorflow . classifiers . models . cifar10 . Cifar10AudioClassifier ;
import com . github . chen0040 . tensorflow . classifiers . utils . ResourceUtils ;
import org . slf4j . Logger ;
import org . slf4j . LoggerFactory ;

import java . io . File ;
import java . io . IOException ;
import java . io . InputStream ;
import java . util . ArrayList ;
import java . util . Collections ;
import java . util . List ;

public class Demo {
    public static void main ( String [] args ) {
        InputStream inputStream = ResourceUtils . getInputStream ( "tf_models/cifar10.pb" );
        Cifar10AudioClassifier classifier = new Cifar10AudioClassifier ();
        classifier . load_model ( inputStream );
        
        List < String > paths = getAudioFiles ();
        
        Collections . shuffle ( paths );
        
        for ( String path : paths ) {
            System . out . println ( "Predicting " + path + " ..." );
            File f = new File ( path );
            String label = classifier . predict_audio ( f );
        
            System . out . println ( "Predicted: " + label );
        }
    }
}

توضح نماذج الأكواد أدناه كيفية استخدام مصنف الصوت resnet v2 للتنبؤ بأنواع الموسيقى:

 import com . github . chen0040 . tensorflow . classifiers . resnet_v2 . ResNetV2AudioClassifier ;
import com . github . chen0040 . tensorflow . classifiers . utils . ResourceUtils ;
import org . slf4j . Logger ;
import org . slf4j . LoggerFactory ;

import java . io . File ;
import java . io . IOException ;
import java . io . InputStream ;
import java . util . ArrayList ;
import java . util . Collections ;
import java . util . List ;

public class Demo {
    public static void main ( String [] args ) {
        InputStream inputStream = ResourceUtils . getInputStream ( "tf_models/resnet-v2.pb" );
        ResNetV2AudioClassifier classifier = new ResNetV2AudioClassifier ();
        classifier . load_model ( inputStream );
        
        List < String > paths = getAudioFiles ();
        
        Collections . shuffle ( paths );
        
        for ( String path : paths ) {
            System . out . println ( "Predicting " + path + " ..." );
            File f = new File ( path );
            String label = classifier . predict_audio ( f );
        
            System . out . println ( "Predicted: " + label );
        }
    }
}

استخراج الميزات من الصوت في جافا

توضح نماذج الأكواد أدناه كيفية استخدام مصنف الصوت cifar لترميز ملف صوتي في مصفوفة عائمة:

 import com . github . chen0040 . tensorflow . classifiers . models . cifar10 . Cifar10AudioClassifier ;
import com . github . chen0040 . tensorflow . classifiers . utils . ResourceUtils ;
import org . slf4j . Logger ;
import org . slf4j . LoggerFactory ;

import java . io . File ;
import java . io . IOException ;
import java . io . InputStream ;
import java . util . ArrayList ;
import java . util . Collections ;
import java . util . List ;

public class Demo {
    public static void main ( String [] args ){
        InputStream inputStream = ResourceUtils . getInputStream ( "tf_models/cifar10.pb" );
        Cifar10AudioClassifier classifier = new Cifar10AudioClassifier ();
        classifier . load_model ( inputStream );
        
        List < String > paths = getAudioFiles ();
        
        Collections . shuffle ( paths );
        
        for ( String path : paths ) {
            System . out . println ( "Encoding " + path + " ..." );
            File f = new File ( path );
            float [] encoded_audio = classifier . encode_audio ( f );
        
            System . out . println ( "Encoded: " + Arrays . toString ( encoded_audio ));
        }
    }
}

توضح نماذج الأكواد أدناه كيفية قيام مصنف الصوت resnet v2 بتشفير ملف صوتي في مصفوفة عائمة:

 import com . github . chen0040 . tensorflow . classifiers . resnet_v2 . ResNetV2AudioClassifier ;
import com . github . chen0040 . tensorflow . classifiers . utils . ResourceUtils ;
import org . slf4j . Logger ;
import org . slf4j . LoggerFactory ;

import java . io . File ;
import java . io . IOException ;
import java . io . InputStream ;
import java . util . ArrayList ;
import java . util . Collections ;
import java . util . List ;

public class Demo {
    public static void main ( String [] args ) {
        InputStream inputStream = ResourceUtils . getInputStream ( "tf_models/resnet-v2.pb" );
        ResNetV2AudioClassifier classifier = new ResNetV2AudioClassifier ();
        classifier . load_model ( inputStream );
        
        List < String > paths = getAudioFiles ();
        
        Collections . shuffle ( paths );
        
        for ( String path : paths ) {
            System . out . println ( "Encoding " + path + " ..." );
            File f = new File ( path );
            float [] encoded_audio = classifier . encode_audio ( f );
        
            System . out . println ( "Encoded: " + Arrays . toString ( encoded_audio ));
        }
    }
}

محرك البحث الصوتي

توضح نماذج الأكواد أدناه كيفية فهرسة الملفات الصوتية والبحث عنها باستخدام فئة AudioSearchEngine:

 import com . github . chen0040 . tensorflow . search . models . AudioSearchEngine ;
import com . github . chen0040 . tensorflow . search . models . AudioSearchEntry ;

import java . io . File ;
import java . util . List ;

public class Demo {
    public static void main ( String [] args ){
        AudioSearchEngine searchEngine = new AudioSearchEngine ();
        if (! searchEngine . loadIndexDbIfExists ()) {
            searchEngine . indexAll ( FileUtils . getAudioFiles ());
            searchEngine . saveIndexDb ();
        }
        
        int pageIndex = 0 ;
        int pageSize = 20 ;
        boolean skipPerfectMatch = true ;
        File f = new File ( "mp3_samples/example.mp3" );
        System . out . println ( "querying similar music to " + f . getName ());
        List < AudioSearchEntry > result = searchEngine . query ( f , pageIndex , pageSize , skipPerfectMatch );
        for ( int i = 0 ; i < result . size (); ++ i ){
            System . out . println ( "# " + i + ": " + result . get ( i ). getPath () + " (distSq: " + result . get ( i ). getDistance () + ")" );
        }
    }
}

الموسيقى يوصي إيه

توضح نماذج الأكواد أدناه كيفية التوصية بالموسيقى بناءً على سجل الموسيقى الخاص بالمستخدم باستخدام فئة KnnAudioRecommender:

 import com . github . chen0040 . tensorflow . classifiers . utils . FileUtils ;
import com . github . chen0040 . tensorflow . recommenders . models . AudioUserHistory ;
import com . github . chen0040 . tensorflow . recommenders . models . KnnAudioRecommender ;
import com . github . chen0040 . tensorflow . search . models . AudioSearchEntry ;

import java . io . File ;
import java . util . Collections ;
import java . util . List ;

public class Demo {
    public static void main ( String [] args ){
        AudioUserHistory userHistory = new AudioUserHistory ();
        
        List < String > audioFiles = FileUtils . getAudioFilePaths ();
        Collections . shuffle ( audioFiles );
        
        for ( int i = 0 ; i < 40 ; ++ i ){
            String filePath = audioFiles . get ( i );
            userHistory . logAudio ( filePath );
            try {
                Thread . sleep ( 100L );
            } catch ( InterruptedException e ) {
                e . printStackTrace ();
            }
        }
        
        KnnAudioRecommender recommender = new KnnAudioRecommender ();
        if (! recommender . loadIndexDbIfExists ()) {
            recommender . indexAll ( new File ( "music_samples" ). listFiles ( a -> a . getAbsolutePath (). toLowerCase (). endsWith ( ".au" )));
            recommender . saveIndexDb ();
        }
        
        System . out . println ( userHistory . head ( 10 ));
        
        int k = 10 ;
        List < AudioSearchEntry > result = recommender . recommends ( userHistory . getHistory (), k );
        
        for ( int i = 0 ; i < result . size (); ++ i ){
            AudioSearchEntry entry = result . get ( i );
            System . out . println ( "Search Result #" + ( i + 1 ) + ": " + entry . getPath ());
        }
    }
}