Das Forschungsteam der Tsinghua University hat eine Simulationsplattform für mobile Klangquellen namens SonicsIm entwickelt, mit der das Problem der Datenknappheit in den Szenarien für mobile Klangquellen im Bereich der Sprachverarbeitung gelöst wird. Die Plattform basiert auf Habitat-SIM und kann die reale akustische Umgebung stark wiederherstellen und qualitativ hochwertige Daten für die Schulung und Bewertung der Sprachtrennung und verbesserte Modelle liefern. Die meisten vorhandenen Datensätze basieren auf statischen Klangquellen und sind schwierig zu erfüllen. Die Skala der realen Datensätze ist jedoch begrenzt und kostspielig, während die synthetischen Datensätze keine Authentizität haben. Die SonicSim-Plattform löst diese Probleme effektiv und erstellt einen großen mobilen Sound-Sound-Datensatz-Sonics-Set mit mehreren Szenarien.
Diese Plattform kann eine Vielzahl komplexer akustischer Umgebungen simulieren, einschließlich Hindernisverschluss, Raumgeometrie und den Einfluss verschiedener Materialien auf Klang und unterstützt benutzerdefinierte Szenenparameter. Der Sonicset -Datensatz verwendet Daten von Librispeech, Freesound DataSet50K und kostenloses Musikarchiv sowie echte Szenen aus dem Dataset von matterport3d und enthält reichhaltige Voice-, Umgebungsgeräusch- und Musik -Rauschdaten. Sein Bauprozess ist stark automatisiert und gewährleistet die Authentizität und Vielfalt der Daten. Experimentelle Ergebnisse zeigen, dass das auf dem Sonicset -Datensatz trainierte Modell im realen Datensatz besser abschneidet und die Effektivität der SonicsIm -Plattform überprüft. Die Veröffentlichung der SonicSim -Plattform und des Sonicset -Datensatzes hat neue Durchbrüche in den Bereich der Sprachverarbeitung gebracht und die Anwendung der Sprachverarbeitungstechnologie in komplexen Umgebungen in Zukunft weiter fördern, aber ihre Authentizität wird durch die Details der 3D -Szenenmodellierung immer noch begrenzt . Papieradresse: https://arxiv.org/pdf/2410.01481
Die Entstehung der SonicSim -Plattform bietet neue Ideen für die Datenerfassung im Bereich der Sprachverarbeitung und unterstreicht auch die wichtige Rolle der Simulationstechnologie bei der Lösung praktischer Probleme. Mit der kontinuierlichen Entwicklung der Technologie glaube ich, dass ähnliche Simulationsplattformen in mehr Bereichen eine Rolle spielen und den Fortschritt der Technologie für künstliche Intelligenz fördern werden.