java audio embedding

Java-Audio-Einbettung

Audioeinbettung in Java

Das aktuelle Projekt versucht, einen reinen Java-Audio-Encoder zu entwickeln, der in reinen Java- oder Android-Programmen verwendet werden kann. Ein solcher Audio-Encoder kann zur Klassifizierung von Musikgenres, zur Musiksuche oder zur Musikempfehlung verwendet werden.

Das aktuelle Projekt enthält derzeit zwei Deep-Learning-Netzwerke, übernommen von:

• Resnet
• Zifar

Das Training und die Validierung dieser beiden Modelle sind unten dargestellt:

Verwendung

Trainieren Sie den Audioklassifizierer in Keras

Das Paket für maschinelles Lernen in Java ist Tensorflow. Es lädt ein vorab trainiertes Audioklassifikatormodell (.pb-Format). Das Audioklassifikatormodell wurde ursprünglich mit Keras in Python implementiert und trainiert. Dieses trainierte Klassifikatormodell (im .h5-Format) wurde dann in eine .pb-Modelldatei konvertiert, die direkt von Tensorflow in Java geladen werden kann.

Das Keras-Training des Audioklassifikatormodells finden Sie in README_Training.md

Führen Sie den Audioklassifikator in Java aus

Die folgenden Beispielcodes zeigen, wie Sie den Cifar-Audioklassifikator verwenden, um die Musikgenres vorherzusagen:

 import com . github . chen0040 . tensorflow . classifiers . models . cifar10 . Cifar10AudioClassifier ;
import com . github . chen0040 . tensorflow . classifiers . utils . ResourceUtils ;
import org . slf4j . Logger ;
import org . slf4j . LoggerFactory ;

import java . io . File ;
import java . io . IOException ;
import java . io . InputStream ;
import java . util . ArrayList ;
import java . util . Collections ;
import java . util . List ;

public class Demo {
    public static void main ( String [] args ) {
        InputStream inputStream = ResourceUtils . getInputStream ( "tf_models/cifar10.pb" );
        Cifar10AudioClassifier classifier = new Cifar10AudioClassifier ();
        classifier . load_model ( inputStream );
        
        List < String > paths = getAudioFiles ();
        
        Collections . shuffle ( paths );
        
        for ( String path : paths ) {
            System . out . println ( "Predicting " + path + " ..." );
            File f = new File ( path );
            String label = classifier . predict_audio ( f );
        
            System . out . println ( "Predicted: " + label );
        }
    }
}

Die folgenden Beispielcodes zeigen, wie Sie mit dem Audioklassifikator resnet v2 die Musikgenres vorhersagen können:

 import com . github . chen0040 . tensorflow . classifiers . resnet_v2 . ResNetV2AudioClassifier ;
import com . github . chen0040 . tensorflow . classifiers . utils . ResourceUtils ;
import org . slf4j . Logger ;
import org . slf4j . LoggerFactory ;

import java . io . File ;
import java . io . IOException ;
import java . io . InputStream ;
import java . util . ArrayList ;
import java . util . Collections ;
import java . util . List ;

public class Demo {
    public static void main ( String [] args ) {
        InputStream inputStream = ResourceUtils . getInputStream ( "tf_models/resnet-v2.pb" );
        ResNetV2AudioClassifier classifier = new ResNetV2AudioClassifier ();
        classifier . load_model ( inputStream );
        
        List < String > paths = getAudioFiles ();
        
        Collections . shuffle ( paths );
        
        for ( String path : paths ) {
            System . out . println ( "Predicting " + path + " ..." );
            File f = new File ( path );
            String label = classifier . predict_audio ( f );
        
            System . out . println ( "Predicted: " + label );
        }
    }
}

Extrahieren Sie Funktionen aus Audio in Java

Die folgenden Beispielcodes zeigen, wie Sie mit dem Cifar-Audioklassifizierer eine Audiodatei in ein Float-Array kodieren:

 import com . github . chen0040 . tensorflow . classifiers . models . cifar10 . Cifar10AudioClassifier ;
import com . github . chen0040 . tensorflow . classifiers . utils . ResourceUtils ;
import org . slf4j . Logger ;
import org . slf4j . LoggerFactory ;

import java . io . File ;
import java . io . IOException ;
import java . io . InputStream ;
import java . util . ArrayList ;
import java . util . Collections ;
import java . util . List ;

public class Demo {
    public static void main ( String [] args ){
        InputStream inputStream = ResourceUtils . getInputStream ( "tf_models/cifar10.pb" );
        Cifar10AudioClassifier classifier = new Cifar10AudioClassifier ();
        classifier . load_model ( inputStream );
        
        List < String > paths = getAudioFiles ();
        
        Collections . shuffle ( paths );
        
        for ( String path : paths ) {
            System . out . println ( "Encoding " + path + " ..." );
            File f = new File ( path );
            float [] encoded_audio = classifier . encode_audio ( f );
        
            System . out . println ( "Encoded: " + Arrays . toString ( encoded_audio ));
        }
    }
}

Die folgenden Beispielcodes zeigen, wie der Resnet v2-Audioklassifizierer eine Audiodatei in ein Float-Array kodiert:

 import com . github . chen0040 . tensorflow . classifiers . resnet_v2 . ResNetV2AudioClassifier ;
import com . github . chen0040 . tensorflow . classifiers . utils . ResourceUtils ;
import org . slf4j . Logger ;
import org . slf4j . LoggerFactory ;

import java . io . File ;
import java . io . IOException ;
import java . io . InputStream ;
import java . util . ArrayList ;
import java . util . Collections ;
import java . util . List ;

public class Demo {
    public static void main ( String [] args ) {
        InputStream inputStream = ResourceUtils . getInputStream ( "tf_models/resnet-v2.pb" );
        ResNetV2AudioClassifier classifier = new ResNetV2AudioClassifier ();
        classifier . load_model ( inputStream );
        
        List < String > paths = getAudioFiles ();
        
        Collections . shuffle ( paths );
        
        for ( String path : paths ) {
            System . out . println ( "Encoding " + path + " ..." );
            File f = new File ( path );
            float [] encoded_audio = classifier . encode_audio ( f );
        
            System . out . println ( "Encoded: " + Arrays . toString ( encoded_audio ));
        }
    }
}

Audio-Suchmaschine

Die folgenden Beispielcodes zeigen, wie Sie mithilfe der AudioSearchEngine-Klasse eine Audiodatei indizieren und suchen:

 import com . github . chen0040 . tensorflow . search . models . AudioSearchEngine ;
import com . github . chen0040 . tensorflow . search . models . AudioSearchEntry ;

import java . io . File ;
import java . util . List ;

public class Demo {
    public static void main ( String [] args ){
        AudioSearchEngine searchEngine = new AudioSearchEngine ();
        if (! searchEngine . loadIndexDbIfExists ()) {
            searchEngine . indexAll ( FileUtils . getAudioFiles ());
            searchEngine . saveIndexDb ();
        }
        
        int pageIndex = 0 ;
        int pageSize = 20 ;
        boolean skipPerfectMatch = true ;
        File f = new File ( "mp3_samples/example.mp3" );
        System . out . println ( "querying similar music to " + f . getName ());
        List < AudioSearchEntry > result = searchEngine . query ( f , pageIndex , pageSize , skipPerfectMatch );
        for ( int i = 0 ; i < result . size (); ++ i ){
            System . out . println ( "# " + i + ": " + result . get ( i ). getPath () + " (distSq: " + result . get ( i ). getDistance () + ")" );
        }
    }
}

Musik-Empfehler

Die folgenden Beispielcodes zeigen, wie Sie mithilfe der KnnAudioRecommender-Klasse Musik basierend auf dem Musikverlauf des Benutzers empfehlen:

 import com . github . chen0040 . tensorflow . classifiers . utils . FileUtils ;
import com . github . chen0040 . tensorflow . recommenders . models . AudioUserHistory ;
import com . github . chen0040 . tensorflow . recommenders . models . KnnAudioRecommender ;
import com . github . chen0040 . tensorflow . search . models . AudioSearchEntry ;

import java . io . File ;
import java . util . Collections ;
import java . util . List ;

public class Demo {
    public static void main ( String [] args ){
        AudioUserHistory userHistory = new AudioUserHistory ();
        
        List < String > audioFiles = FileUtils . getAudioFilePaths ();
        Collections . shuffle ( audioFiles );
        
        for ( int i = 0 ; i < 40 ; ++ i ){
            String filePath = audioFiles . get ( i );
            userHistory . logAudio ( filePath );
            try {
                Thread . sleep ( 100L );
            } catch ( InterruptedException e ) {
                e . printStackTrace ();
            }
        }
        
        KnnAudioRecommender recommender = new KnnAudioRecommender ();
        if (! recommender . loadIndexDbIfExists ()) {
            recommender . indexAll ( new File ( "music_samples" ). listFiles ( a -> a . getAbsolutePath (). toLowerCase (). endsWith ( ".au" )));
            recommender . saveIndexDb ();
        }
        
        System . out . println ( userHistory . head ( 10 ));
        
        int k = 10 ;
        List < AudioSearchEntry > result = recommender . recommends ( userHistory . getHistory (), k );
        
        for ( int i = 0 ; i < result . size (); ++ i ){
            AudioSearchEntry entry = result . get ( i );
            System . out . println ( "Search Result #" + ( i + 1 ) + ": " + entry . getPath ());
        }
    }
}