A equipe de pesquisa da Universidade de Tsinghua desenvolveu uma plataforma de simulação de fonte de som móvel chamada Sonicsim, com o objetivo de resolver o problema da escassez de dados em cenários de fonte de som móvel no campo do processamento da fala. A plataforma é construída no Habitat-SIM e pode restaurar o ambiente acústico real e fornecer dados de alta qualidade para o treinamento e avaliação da separação da fala e modelos aprimorados. A maioria dos conjuntos de dados existentes é baseada em fontes de som estáticas e são difíceis de atender às necessidades reais. A plataforma SonicSIM resolve efetivamente esses problemas e cria um grande conjunto de dados de fonte de som móvel multi-cenário.
Essa plataforma pode simular uma variedade de ambientes acústicos complexos, incluindo oclusão de obstáculos, geometria da sala e o impacto de diferentes materiais no som e suporta parâmetros de cena definidos pelo usuário. O conjunto de dados SonicSet utiliza dados do LibreSpeech, DataSet50K e Free Music Archive, além de cenas reais do conjunto de dados Matterport3D, e contém voz rica, ruído ambiente e dados de ruído musical. Seu processo de construção é altamente automatizado, garantindo a autenticidade e a diversidade de dados. Os resultados experimentais mostram que o modelo treinado no conjunto de dados SonicSet tem um desempenho melhor no conjunto de dados real, verificando a eficácia da plataforma Sonicsim. A liberação da plataforma SonicSim e do conjunto de dados SonicSet trouxe novos avanços no campo do processamento da fala e promoverá ainda mais a aplicação da tecnologia de processamento de fala em ambientes complexos no futuro, mas sua autenticidade ainda é limitada pelos detalhes da modelagem de cenas 3D . Endereço em papel: https://arxiv.org/pdf/2410.01481
O surgimento da plataforma Sonicsim fornece novas idéias para aquisição de dados no campo do processamento da fala e também destaca o importante papel da tecnologia de simulação na solução de problemas práticos. No futuro, com o desenvolvimento contínuo da tecnologia, acredito que plataformas de simulação semelhantes desempenham um papel em mais campos e promoverão o progresso da tecnologia de inteligência artificial.