El equipo de investigación de la Universidad de Tsinghua ha desarrollado una plataforma de simulación de fuente de sonido móvil llamada Sonicsim, con el objetivo de resolver el problema de la escasez de datos en escenarios de fuentes de sonido móvil en el campo del procesamiento del habla. La plataforma se basa en Hábitat-SIM y puede restaurar altamente el entorno acústico real y proporcionar datos de alta calidad para la capacitación y evaluación de la separación del habla y los modelos mejorados. La mayoría de los conjuntos de datos existentes se basan en fuentes de sonido estáticas y son difíciles de satisfacer las necesidades reales. La plataforma SONICSIM resuelve efectivamente estos problemas y construye una gran fuente de datos de origen de sonido móvil multicenario.
Esta plataforma puede simular una variedad de entornos acústicos complejos, que incluyen oclusión de obstáculos, geometría de la habitación y el impacto de diferentes materiales en el sonido, y admite parámetros de escena definidos por el usuario. El conjunto de datos de SONICSET utiliza datos de Librispeech, Freesound DataSet50k y Archive gratuito de música, así como escenas reales del conjunto de datos Matterport3d, y contiene datos ricos de voz, ruido ambiental y ruido de música. Su proceso de construcción está altamente automatizado, asegurando la autenticidad y la diversidad de los datos. Los resultados experimentales muestran que el modelo entrenado en el conjunto de datos de Sonicset funciona mejor en el conjunto de datos real, verificando la efectividad de la plataforma Sonicsim. El lanzamiento de la plataforma Sonicsim y el conjunto de datos de Sonicset ha traído nuevos avances al campo del procesamiento del habla, y promoverá aún más la aplicación de la tecnología de procesamiento de voz en entornos complejos en el futuro, pero su autenticidad aún está limitada por los detalles del modelado de escenas 3D . Dirección en papel: https://arxiv.org/pdf/2410.01481
La aparición de la plataforma Sonicsim proporciona nuevas ideas para la adquisición de datos en el campo del procesamiento del habla, y también destaca el importante papel de la tecnología de simulación para resolver problemas prácticos. En el futuro, con el desarrollo continuo de la tecnología, creo que plataformas de simulación similares desempeñarán un papel en más campos y promoverán el progreso de la tecnología de inteligencia artificial.