Adobe Research y Northwestern University han unido fuerzas para crear un revolucionario sistema de inteligencia artificial: Sketch2Sound. Este sistema puede transformar simples imitaciones de voz y descripciones de texto en efectos de sonido de nivel profesional, aportando mejoras de eficiencia sin precedentes a la industria del diseño de sonido. Analiza el volumen, el timbre y el tono del habla y lo combina con descripciones de texto para generar los efectos de sonido deseados por el usuario. Su capacidad única de comprensión del contexto es aún más sorprendente. Por ejemplo, al combinar una simple "atmósfera de bosque" con la imitación de cantos de pájaros, el sistema puede generar automáticamente cantos de pájaros realistas sin instrucciones adicionales. Sketch2Sound también admite la creación de música. Los usuarios sólo necesitan tararear el ritmo e ingresar el nombre del instrumento, y el sistema automáticamente igualará el tono y el ritmo y generará el patrón de batería correspondiente.
El sistema analiza tres elementos clave de la entrada del habla: volumen, timbre (que determina qué tan brillante es el sonido) y tono. Luego, el sistema combina estas características con una descripción de texto para generar el sonido deseado.
Vídeo: García et al., Adobe Research
Lo interesante de Sketch2Sound es su capacidad para comprender el contexto. Por ejemplo, si alguien escribe "vibración del bosque" y emite sonidos cortos, el sistema reconoce automáticamente que esos sonidos deben ser cantos de pájaros, sin necesidad de instrucciones específicas.
La misma inteligencia se aplica a la música. Al crear un patrón de batería, los usuarios pueden ingresar "bombo, caja" y luego tararear el ritmo usando los graves y los agudos. El sistema coloca automáticamente el bombo en la parte baja y la caja en la parte alta.
Proporciona a los profesionales un control granularEl equipo de investigación incorporó una tecnología de filtrado especial que permite a los usuarios ajustar y controlar la precisión de los sonidos generados. Los diseñadores de sonido pueden elegir un control preciso y detallado o un enfoque más relajado y aproximado, según sus necesidades.
Esta flexibilidad hace que Sketch2Sound sea particularmente valioso para los artistas de Foley (profesionales que crean efectos de sonido para películas y programas de televisión). En lugar de manipular objetos físicos para producir sonidos, pueden crear efectos más rápidamente mediante descripciones de voz y texto.
Los investigadores señalan que las características de audio espacial de la grabación de entrada a veces pueden afectar el sonido resultante de maneras no deseadas, pero están trabajando para abordar este problema. Adobe no ha anunciado cuándo o si Sketch2Sound se convertirá en un producto comercial.
Sin duda, la aparición de Sketch2Sound mejorará enormemente la eficiencia y conveniencia del diseño de sonido y brindará nuevas posibilidades creativas a las industrias del cine, la televisión, los juegos y otras. Aunque todavía se encuentra en la etapa de investigación y desarrollo, no se puede ignorar su potencial y vale la pena esperar con ansias su desarrollo futuro.