Adobe Research hat mit der Northwestern University zusammengearbeitet, um ein künstliches Intelligenzsystem namens Sketch2Sound zu entwickeln. Dieses KI-Tool soll den Bereich des Sounddesigns revolutionieren. Es ermöglicht Benutzern, professionelle Soundeffekte und Umgebungsgeräusche einfach durch Summen, Stimmimitation oder einfache Textbeschreibungen zu erstellen, was den Sounddesign-Prozess erheblich vereinfacht und die Effizienz verbessert. Sketch2Sound analysiert die Lautstärke, Klangfarbe und Tonhöhe der Benutzereingaben in Kombination mit Textbeschreibungen, um auf intelligente Weise die erforderlichen Geräusche zu generieren, beispielsweise um die vom Benutzer nachgeahmten Vogelgesänge zu identifizieren und sie in den Soundeffekt „Waldatmosphäre“ zu integrieren.
Kürzlich hat Adobe Research mit der Northwestern University zusammengearbeitet, um ein künstliches Intelligenzsystem namens Sketch2Sound zu entwickeln. Dieses Tool soll die Arbeitsweise von Sounddesignern völlig verändern. Mit Sketch2Sound können Benutzer professionelle Soundeffekte und Atmosphären erzeugen, indem sie summen, Geräusche imitieren und einfache Textbeschreibungen verwenden.
Das System analysiert drei Schlüsselelemente der Stimmeingabe des Benutzers: Lautstärke, Klangfarbe (die bestimmt, wie hell oder dunkel der Klang ist) und Tonhöhe. Anschließend werden diese Funktionen mit der Textbeschreibung des Benutzers kombiniert, um den gewünschten Klang zu erzeugen. Wenn ein Benutzer beispielsweise „Waldatmosphäre“ betritt und kurze Geräusche von sich gibt, erkennt das System diese Geräusche automatisch als Vogelgezwitscher ohne spezifische Anweisungen.
Eine weitere großartige Sache von Sketch2Sound ist die Fähigkeit, Kontexte zu verstehen. Beim Musizieren können Nutzer „Bassdrum, Snaredrum“ eingeben und den Rhythmus summen. Das System platziert die Bassdrum auf intelligente Weise auf tiefen Tönen und die Snaredrum auf hohen Tönen. Diese intelligente Verarbeitung vereinfacht den Sounddesign-Prozess erheblich.
Um den Bedürfnissen von Profis gerecht zu werden, hat das Forschungsteam außerdem eine spezielle Filtertechnologie eingebaut, die es Benutzern ermöglicht, die Genauigkeit des erzeugten Klangs entsprechend ihren Bedürfnissen anzupassen. Sounddesigner können zwischen einer sehr präzisen Steuerung oder einem entspannteren, ungefähren Ansatz wählen, und diese Flexibilität macht Sketch2Sound möglicherweise besonders bei Foley-Künstlern beliebt. Mit diesem Tool können Profis, die Soundeffekte für Filme und Fernsehsendungen erstellen, schneller Effekte mithilfe von Sound- und Textbeschreibungen erstellen, anstatt physische Objekte manipulieren zu müssen, um Sounds zu erzeugen.
Während die Forscher feststellen, dass räumliche Audioeigenschaften in Eingangsaufnahmen manchmal einen negativen Einfluss auf den resultierenden Klang haben können, arbeiten sie daran, dieses Problem anzugehen. Derzeit hat Adobe nicht bekannt gegeben, ob Sketch2Sound als kommerzielles Produkt eingeführt wird und wann es veröffentlicht wird.
Projekteingang: https://hugofloresgarcia.art/sketch2sound/
Höhepunkte:
Sketch2Sound ist ein neu entwickeltes KI-Tool, das durch Summen und Textbeschreibung Soundeffekte erzeugt.
Das System analysiert Lautstärke, Klangfarbe und Tonhöhe und kombiniert die Stimmeingabe des Benutzers mit Text, um gezielte Soundeffekte zu erzeugen.
Es eignet sich besonders für Foley-Künstler, kann schnell Film- und Fernsehsoundeffekte erzeugen und die Arbeitseffizienz verbessern.
Alles in allem hat Sketch2Sound aufgrund seiner Intelligenz und Benutzerfreundlichkeit das Potenzial, ein leistungsstarker Assistent für Sounddesigner und Geräuschemacher zu werden und die Arbeitseffizienz erheblich zu verbessern. Obwohl es sich noch im Forschungs- und Entwicklungsstadium befindet, lohnt es sich, auf seine zukünftige Entwicklung zu blicken. Der Projektlink wurde für interessierte Benutzer bereitgestellt, um mehr zu erfahren.