Adobe Research berkolaborasi dengan Northwestern University mengembangkan sistem kecerdasan buatan bernama Sketch2Sound. Alat AI ini diharapkan dapat merevolusi bidang desain suara. Hal ini memungkinkan pengguna untuk membuat efek suara profesional dan suara sekitar hanya dengan bersenandung, meniru suara, atau deskripsi teks sederhana, sangat menyederhanakan proses desain suara dan meningkatkan efisiensi. Sketch2Sound menganalisis volume, timbre, dan nada masukan pengguna, dikombinasikan dengan deskripsi teks, untuk secara cerdas menghasilkan suara yang diperlukan, seperti mengidentifikasi nyanyian burung yang ditiru oleh pengguna dan mengintegrasikannya ke dalam efek suara "suasana hutan".
Baru-baru ini, Adobe Research berkolaborasi dengan Northwestern University untuk mengembangkan sistem kecerdasan buatan bernama Sketch2Sound. Alat ini diharapkan dapat mengubah cara kerja desainer suara secara menyeluruh. Sketch2Sound memungkinkan pengguna menciptakan efek dan suasana suara profesional dengan bersenandung, meniru suara, dan menggunakan deskripsi teks sederhana.
Sistem menganalisis tiga elemen kunci masukan vokal pengguna: volume, timbre (yang menentukan seberapa terang atau gelap suara) dan nada. Kemudian menggabungkan fitur-fitur ini dengan deskripsi tekstual pengguna untuk menghasilkan suara yang diinginkan. Misalnya, ketika pengguna memasuki "suasana hutan" dan mengeluarkan suara pendek, sistem secara otomatis mengenali suara tersebut sebagai kicau burung tanpa instruksi khusus.
Hal hebat lainnya tentang Sketch2Sound adalah kemampuannya memahami konteks. Saat membuat musik, pengguna dapat memasukkan "bass drum, snare drum" dan menyenandungkan ritmenya. Sistem dengan cerdas menempatkan bass drum pada nada rendah dan snare drum pada nada tinggi. Pemrosesan cerdas ini sangat menyederhanakan proses desain suara.
Untuk memenuhi kebutuhan para profesional, tim peneliti juga membangun teknologi penyaringan khusus, yang memungkinkan pengguna menyesuaikan keakuratan suara yang dihasilkan sesuai dengan kebutuhannya. Perancang suara dapat memilih antara kontrol yang sangat presisi atau pendekatan yang lebih santai dan mendekati, dan fleksibilitas ini mungkin membuat Sketch2Sound sangat populer di kalangan seniman Foley. Dengan menggunakan alat ini, para profesional yang membuat efek suara untuk film dan acara TV dapat lebih cepat membuat efek menggunakan deskripsi suara dan teks, daripada harus memanipulasi objek fisik untuk menghasilkan suara.
Meskipun para peneliti mencatat bahwa karakteristik audio spasial dalam rekaman masukan terkadang dapat berdampak buruk pada suara yang dihasilkan, mereka berupaya mengatasi masalah ini. Saat ini Adobe belum mengumumkan apakah Sketch2Sound akan diluncurkan sebagai produk komersial atau kapan akan dirilis.
Pintu masuk proyek: https://hugofloresgarcia.art/sketch2sound/
Highlight:
Sketch2Sound adalah alat AI yang baru dikembangkan yang menciptakan efek suara melalui senandung dan deskripsi teks.
Sistem menganalisis volume, timbre, dan nada, menggabungkan masukan vokal pengguna dengan teks untuk menghasilkan efek suara yang ditargetkan.
Sangat cocok untuk seniman Foley, dapat dengan cepat menghasilkan efek suara film dan televisi serta meningkatkan efisiensi kerja.
Secara keseluruhan, dengan kecerdasan dan kenyamanannya, Sketch2Sound berpotensi menjadi asisten yang hebat bagi desainer suara dan seniman Foley, sehingga sangat meningkatkan efisiensi kerja. Meski masih dalam tahap penelitian dan pengembangan, namun perkembangannya ke depan patut dinantikan. Tautan proyek telah disediakan bagi pengguna yang tertarik untuk mempelajari lebih lanjut.