Adobe Research a collaboré avec l'Université Northwestern pour développer un système d'intelligence artificielle appelé Sketch2Sound. Cet outil d'IA devrait révolutionner le domaine de la conception sonore. Il permet aux utilisateurs de créer des effets sonores professionnels et des sons ambiants simplement en fredonnant, en imitant la voix ou en décrivant simplement du texte, simplifiant ainsi considérablement le processus de conception sonore et améliorant l'efficacité. Sketch2Sound analyse le volume, le timbre et la hauteur des entrées de l'utilisateur, combinés aux descriptions textuelles, pour générer intelligemment les sons requis, comme l'identification du chant des oiseaux imité par l'utilisateur et son intégration dans l'effet sonore « atmosphère forestière ».
Récemment, Adobe Research a collaboré avec l'Université Northwestern pour développer un système d'intelligence artificielle appelé Sketch2Sound. Cet outil devrait changer complètement la façon dont travaillent les concepteurs sonores. Sketch2Sound permet aux utilisateurs de créer des effets sonores et des ambiances professionnels en fredonnant, en imitant des sons et en utilisant des descriptions textuelles simples.
Le système analyse trois éléments clés de la voix de l'utilisateur : le volume, le timbre (qui détermine la luminosité ou l'obscurité du son) et la hauteur. Il combine ensuite ces fonctionnalités avec la description textuelle de l'utilisateur pour générer le son souhaité. Par exemple, lorsqu'un utilisateur entre dans « atmosphère forestière » et émet des sons courts, le système reconnaît automatiquement ces sons comme des chants d'oiseaux sans instructions spécifiques.
Un autre avantage de Sketch2Sound est sa capacité à comprendre le contexte. Lorsqu'ils font de la musique, les utilisateurs peuvent saisir « grosse caisse, caisse claire » et fredonner le rythme. Le système place intelligemment la grosse caisse sur les notes graves et la caisse claire sur les notes aiguës. Ce traitement intelligent simplifie grandement le processus de conception sonore.
Afin de répondre aux besoins des professionnels, l'équipe de recherche a également intégré une technologie de filtrage spéciale, permettant aux utilisateurs d'ajuster la précision du son généré en fonction de leurs besoins. Les concepteurs sonores peuvent choisir entre un contrôle très précis ou une approche plus détendue et approximative, et cette flexibilité peut rendre Sketch2Sound particulièrement populaire auprès des artistes Foley. Grâce à cet outil, les professionnels qui créent des effets sonores pour des films et des émissions de télévision peuvent créer plus rapidement des effets à l'aide de descriptions sonores et textuelles, plutôt que d'avoir à manipuler des objets physiques pour créer des sons.
Bien que les chercheurs notent que les caractéristiques audio spatiales des enregistrements d’entrée peuvent parfois avoir un effet négatif sur le son résultant, ils s’efforcent de résoudre ce problème. Actuellement, Adobe n'a pas annoncé si Sketch2Sound serait lancé en tant que produit commercial ni quand il sortirait.
Entrée du projet : https://hugofloresgarcia.art/sketch2sound/
Souligner:
Sketch2Sound est un outil d'IA nouvellement développé qui crée des effets sonores via un bourdonnement et une description textuelle.
Le système analyse le volume, le timbre et la hauteur, combinant la voix de l'utilisateur avec le texte pour générer des effets sonores ciblés.
Particulièrement adapté aux artistes Foley, il peut générer rapidement des effets sonores de films et de télévision et améliorer l'efficacité du travail.
Dans l'ensemble, grâce à son intelligence et à sa commodité, Sketch2Sound a le potentiel de devenir un assistant puissant pour les concepteurs sonores et les artistes Foley, améliorant considérablement l'efficacité du travail. Bien qu’il soit encore au stade de la recherche et du développement, son développement futur mérite d’être attendu. Le lien du projet a été fourni pour que les utilisateurs intéressés puissent en savoir plus.