Tsinghua Universityの研究チームは、Sonicsimと呼ばれるモバイルサウンドソースシミュレーションプラットフォームを開発し、音声処理の分野のモバイルサウンドソースシナリオのデータ不足の問題を解決することを目指しています。プラットフォームはHabitat-SIM上に構築されており、実際の音響環境を高度に復元し、音声分離と強化されたモデルのトレーニングと評価のための高品質のデータを提供できます。既存のデータセットのほとんどは、静的なサウンドソースに基づいており、実際のニーズを満たすことは困難です。 Sonicsimプラットフォームは、これらの問題を効果的に解決し、大規模なマルチセナリオモバイルサウンドソースデータセットソニクセットを構築します。
このプラットフォームは、障害物の閉塞、部屋のジオメトリ、さまざまな素材の音への影響など、さまざまな複雑な音響環境をシミュレートでき、ユーザー定義のシーンパラメーターをサポートします。 Sonicset Datasetは、Librispeech、Freesound DataSet50K、および無料の音楽アーカイブからのデータ、およびMatterPort3Dデータセットの実際のシーンを利用し、豊富な音声、周囲のノイズ、音楽ノイズデータが含まれています。その建設プロセスは高度に自動化されており、データの信頼性と多様性を確保しています。実験結果は、Sonicsetデータセットでトレーニングされたモデルが実際のデータセットでより良いパフォーマンスを発揮し、Sonicsimプラットフォームの有効性を検証することを示しています。 SonicsimプラットフォームとSonicset Datasetのリリースにより、音声処理の分野に新しいブレークスルーがもたらされ、将来の複雑な環境での音声処理技術の適用がさらに促進されますが、その真正性は3Dシーンモデリングの詳細によって依然として制限されています。 。紙の住所：https：//arxiv.org/pdf/2410.01481
Sonicsimプラットフォームの出現は、音声処理の分野でのデータ収集のための新しいアイデアを提供し、実際の問題を解決する際のシミュレーション技術の重要な役割を強調しています。将来、テクノロジーの継続的な開発により、同様のシミュレーションプラットフォームがより多くの分野で役割を果たし、人工知能技術の進歩を促進すると思います。