Tim peneliti Universitas Tsinghua telah mengembangkan platform simulasi sumber suara seluler yang disebut SonicSim, yang bertujuan untuk memecahkan masalah kelangkaan data dalam skenario sumber suara seluler di bidang pemrosesan bicara. Platform ini dibangun di atas habitat-SIM dan dapat sangat memulihkan lingkungan akustik yang nyata dan menyediakan data berkualitas tinggi untuk pelatihan dan evaluasi pemisahan wicara dan model yang ditingkatkan. Sebagian besar set data yang ada didasarkan pada sumber suara statis dan sulit untuk memenuhi kebutuhan aktual. Platform SonicSim secara efektif memecahkan masalah ini dan membangun dataset sumber suara seluler multi-scenario yang besar.
Platform ini dapat mensimulasikan berbagai lingkungan akustik yang kompleks, termasuk oklusi rintangan, geometri kamar, dan dampak berbagai bahan pada suara, dan mendukung parameter pemandangan yang ditentukan pengguna. Dataset Sonicset menggunakan data dari Librispeech, Freesound Dataset50K, dan Arsip Musik Gratis, serta adegan nyata dari Dataset Matterport3D, dan berisi suara suara yang kaya, kebisingan sekitar dan data kebisingan musik. Proses konstruksinya sangat otomatis, memastikan keaslian dan keragaman data. Hasil eksperimen menunjukkan bahwa model yang dilatih pada dataset Sonicset berkinerja lebih baik pada dataset nyata, memverifikasi efektivitas platform SONICSIM. Rilis Platform Sonicsim dan Sonicset Dataset telah membawa terobosan baru ke bidang pemrosesan bicara, dan akan lebih lanjut mempromosikan penerapan teknologi pemrosesan bicara di lingkungan yang kompleks di masa depan, tetapi keasliannya masih dibatasi oleh rincian pemodelan adegan 3D 3D . Alamat kertas: https://arxiv.org/pdf/2410.01481
Munculnya platform SonicSim menyediakan ide -ide baru untuk akuisisi data di bidang pemrosesan bicara, dan juga menyoroti peran penting teknologi simulasi dalam memecahkan masalah praktis. Di masa depan, dengan pengembangan teknologi yang berkelanjutan, saya percaya bahwa platform simulasi yang serupa akan berperan dalam lebih banyak bidang dan mempromosikan kemajuan teknologi kecerdasan buatan.