A Adobe Research colaborou com a Northwestern University para desenvolver um sistema de inteligência artificial chamado Sketch2Sound. Espera-se que esta ferramenta de IA revolucione o campo do design de som. Ele permite que os usuários criem efeitos sonoros profissionais e sons ambientes simplesmente cantarolando, imitando voz ou descrições de texto simples, simplificando bastante o processo de design de som e melhorando a eficiência. Sketch2Sound analisa o volume, timbre e tom da entrada do usuário, combinados com descrições de texto, para gerar de forma inteligente os sons necessários, como identificar o canto dos pássaros imitado pelo usuário e integrá-lo ao efeito sonoro “atmosfera da floresta”.
Recentemente, a Adobe Research colaborou com a Northwestern University para desenvolver um sistema de inteligência artificial chamado Sketch2Sound. Espera-se que esta ferramenta mude completamente a forma como os designers de som trabalham. Sketch2Sound permite aos usuários criar efeitos sonoros e ambientes profissionais cantarolando, imitando sons e usando descrições de texto simples.
O sistema analisa três elementos-chave da entrada vocal do usuário: volume, timbre (que determina o quão claro ou escuro é o som) e tom. Em seguida, combina esses recursos com a descrição textual do usuário para gerar o som desejado. Por exemplo, quando um usuário entra na “atmosfera da floresta” e emite sons curtos, o sistema reconhece automaticamente esses sons como o canto dos pássaros, sem instruções específicas.
Outra grande vantagem do Sketch2Sound é sua capacidade de compreender o contexto. Ao fazer música, os usuários podem inserir “bumbo, caixa” e cantarolar o ritmo. O sistema posiciona de forma inteligente o bumbo nas notas baixas e a caixa nas notas altas. Este processamento inteligente simplifica muito o processo de design de som.
Para atender às necessidades dos profissionais, a equipe de pesquisa também construiu uma tecnologia especial de filtragem, permitindo ao usuário ajustar a precisão do som gerado de acordo com suas necessidades. Os designers de som podem escolher entre um controle muito preciso ou uma abordagem mais relaxada e aproximada, e essa flexibilidade pode tornar o Sketch2Sound especialmente popular entre os artistas de Foley. Usando esta ferramenta, os profissionais que criam efeitos sonoros para filmes e programas de TV podem criar efeitos mais rapidamente usando descrições de som e texto, em vez de ter que manipular objetos físicos para criar sons.
Embora os pesquisadores observem que as características espaciais do áudio nas gravações de entrada podem às vezes ter um efeito adverso no som resultante, eles estão trabalhando para resolver esse problema. Atualmente, a Adobe não anunciou se o Sketch2Sound será lançado como um produto comercial ou quando será lançado.
Entrada do projeto: https://hugofloresgarcia.art/sketch2sound/
Destaque:
Sketch2Sound é uma ferramenta de IA recentemente desenvolvida que cria efeitos sonoros por meio de zumbidos e descrições de texto.
O sistema analisa volume, timbre e tom, combinando a entrada vocal do usuário com texto para gerar efeitos sonoros direcionados.
Especialmente adequado para artistas de Foley, pode gerar rapidamente efeitos sonoros de filmes e televisão e melhorar a eficiência do trabalho.
Resumindo, com sua inteligência e conveniência, Sketch2Sound tem potencial para se tornar um poderoso assistente para designers de som e artistas de Foley, melhorando significativamente a eficiência do trabalho. Embora ainda esteja em fase de pesquisa e desenvolvimento, vale a pena esperar pelo seu desenvolvimento futuro. O link do projeto foi fornecido para que usuários interessados possam saber mais.