Na criação de vídeos, os efeitos sonoros são cruciais, mas encontrar e produzir efeitos sonoros adequados é demorado e trabalhoso. A Adobe demonstrou um protótipo experimental chamado Projeto Super Sonic na conferência MAX, que usa tecnologia de IA para gerar efeitos sonoros baseados em texto, reconhecimento de objetos de vídeo e até mesmo imitar vozes de usuários, melhorando significativamente a eficiência da produção de vídeo. O editor de Downcodes irá levá-lo para aprender mais sobre esta incrível ferramenta.
Junto com os recursos visuais, o áudio também desempenha um papel importante quando se trata de criar vídeos envolventes. No entanto, encontrar ou criar os efeitos sonoros certos muitas vezes pode ser uma tarefa demorada.
Na conferência anual MAX da Adobe, eles exibiram um protótipo experimental chamado Project Super Sonic, uma tecnologia que pode gerar efeitos sonoros a partir de texto, identificar objetos em vídeos e até usar sua voz para gerar rapidamente fundos para projetos de vídeo. .
Embora a capacidade de gerar efeitos sonoros a partir de prompts de texto pareça interessante, empresas como a ElevenLabs já oferecem serviços semelhantes comercialmente. Ainda mais interessante é que a Adobe deu um passo adiante com esse recurso e adicionou duas maneiras de criar trilhas de áudio. A primeira é por meio do modelo de reconhecimento de objetos. Os usuários podem clicar em qualquer parte do quadro do vídeo e o sistema gerará avisos de efeitos sonoros correspondentes para você. Esta é uma maneira inteligente de combinar vários modelos em um único fluxo de trabalho.
O mais incrível é o terceiro modo, os usuários podem gravar sua própria voz imitada (sincronizada com o tempo do vídeo) e então o Projeto Super Sonic irá gerar automaticamente os efeitos sonoros adequados. Justin Salamon, chefe de IA de design de som da Adobe, disse que a equipe começou com um modelo de texto para áudio e enfatizou que eles usam apenas dados licenciados em todos os projetos de IA gerados pela Adobe.
“O que realmente queremos fazer é colocar o usuário no controle de todo o processo. Esta é uma ferramenta desenvolvida para criadores, designers de som e pessoas que desejam melhorar o som de seus vídeos”, explica Salamon. não apenas satisfeito com o texto no fluxo de trabalho inicial para efeitos sonoros e trabalhando no desenvolvimento de uma ferramenta que forneceria controle preciso.”
Quando se trata de controle de som, a ferramenta analisa as diferentes características e o espectro sonoro da voz do usuário para orientar o processo de geração. Salamon mencionou que embora a demo use vozes humanas, os usuários também podem gravar com palmas ou instrumentos musicais.
Deve-se notar que sempre há alguns chamados “Sneaks” exibidos nas conferências Adobe MAX. Esses projetos, como o Projeto Super Sonic, são recursos experimentais que a Adobe está desenvolvendo. Embora muitos projetos sejam eventualmente integrados ao conjunto criativo da Adobe, não há garantia de que todos serão lançados oficialmente. Acho que se espera que o Projeto Super Sonic chegue à produção real, já que a mesma equipe também está envolvida na parte de áudio do modelo de IA gerado pelo Adobe Firefly, que é capaz de estender a duração de vídeos curtos, incluindo suas trilhas de áudio. Mas por enquanto, o Project Super Sonic ainda é apenas uma demonstração.
Destaque:
?Projeto Super Sonic é um protótipo experimental que usa tecnologia de IA para ajudar os usuários a gerar rapidamente efeitos sonoros de vídeo.
?Os usuários podem gerar efeitos sonoros por meio de texto, reconhecimento de objetos de vídeo e imitação de sons para aprimorar a experiência criativa.
?Entre os projetos Sneaks exibidos na conferência Adobe MAX, espera-se que o Projeto Super Sonic entre na suíte criativa do futuro.
Resumindo, o Projeto Super Sonic demonstra o enorme potencial da IA no campo do áudio. Embora ainda esteja em fase experimental, seu método conveniente e eficiente de geração de efeitos sonoros trará, sem dúvida, mudanças revolucionárias aos criadores de vídeo, e vale a pena olhar para frente. para o seu desenvolvimento futuro.