L'équipe de recherche de l'Université Tsinghua a développé une plate-forme de simulation de source sonore mobile appelée Sonicsim, visant à résoudre le problème de la rareté des données dans les scénarios de source sonore mobile dans le domaine du traitement de la parole. La plate-forme est construite sur l'habitat-SIM et peut très bien restaurer l'environnement acoustique réel et fournir des données de haute qualité pour la formation et l'évaluation de la séparation de la parole et des modèles améliorés. La plupart des ensembles de données existants sont basés sur des sources sonores statiques et sont difficiles à répondre aux besoins réels. La plate-forme Sonicsim résout effectivement ces problèmes et construit un grand jeu de données sur la source sonore mobile multi-scénario.
Cette plate-forme peut simuler une variété d'environnements acoustiques complexes, notamment l'occlusion des obstacles, la géométrie de la salle et l'impact de différents matériaux sur le son, et prend en charge les paramètres de scène définis par l'utilisateur. L'ensemble de données SonicSet utilise des données de LibrisPeleseChes, Freesound DataSet50K et des archives de musique gratuites, ainsi que des scènes réelles de l'ensemble de données Matterport3D, et contient une voix riche, un bruit ambiant et des données de bruit de musique. Son processus de construction est hautement automatisé, garantissant l'authenticité et la diversité des données. Les résultats expérimentaux montrent que le modèle formé sur l'ensemble de données SONICSET fonctionne mieux sur l'ensemble de données réel, vérifiant l'efficacité de la plate-forme SonicSIM. La publication de la plate-forme SONICSIM et du jeu de données SonicSet a apporté de nouvelles percées dans le domaine du traitement de la parole, et favorisera davantage l'application de la technologie de traitement de la parole dans des environnements complexes à l'avenir, mais son authenticité est toujours limitée par les détails de la modélisation de la scène 3D . Adresse papier: https://arxiv.org/pdf/2410.01481
L'émergence de la plate-forme Sonicsim fournit de nouvelles idées pour l'acquisition de données dans le domaine du traitement de la parole, et met également en évidence le rôle important de la technologie de simulation dans la résolution des problèmes pratiques. À l'avenir, avec le développement continu de la technologie, je crois que des plateformes de simulation similaires joueront un rôle dans davantage de domaines et favoriseront la progression de la technologie de l'intelligence artificielle.