Adobe Research в сотрудничестве с Северо-Западным университетом разработала систему искусственного интеллекта под названием Sketch2Sound. Ожидается, что этот инструмент искусственного интеллекта произведет революцию в области звукового дизайна. Он позволяет пользователям создавать профессиональные звуковые эффекты и окружающие звуки, просто напевая, имитируя голос или простые текстовые описания, что значительно упрощает процесс звукового дизайна и повышает эффективность. Sketch2Sound анализирует громкость, тембр и высоту ввода пользователя в сочетании с текстовыми описаниями, чтобы разумно генерировать необходимые звуки, например, идентифицировать песни птиц, имитируемые пользователем, и интегрировать их в звуковой эффект «лесной атмосферы».
Недавно компания Adobe Research в сотрудничестве с Северо-Западным университетом разработала систему искусственного интеллекта под названием Sketch2Sound. Ожидается, что этот инструмент полностью изменит способ работы звукорежиссеров. Sketch2Sound позволяет пользователям создавать профессиональные звуковые эффекты и атмосферу, напевая, имитируя звуки и используя простые текстовые описания.
Система анализирует три ключевых элемента голосового ввода пользователя: громкость, тембр (который определяет, насколько яркий или темный звук) и высоту звука. Затем он объединяет эти функции с текстовым описанием пользователя для создания желаемого звука. Например, когда пользователь входит в «лесную атмосферу» и издает короткие звуки, система без особых инструкций автоматически распознает эти звуки как пение птиц.
Еще одна замечательная особенность Sketch2Sound — это способность понимать контекст. При создании музыки пользователи могут ввести «бас-барабан, малый барабан» и напевать ритм. Система разумно распределяет большой барабан на низкие ноты, а малый барабан на высокие. Эта интеллектуальная обработка значительно упрощает процесс звукового дизайна.
Чтобы удовлетворить потребности профессионалов, исследовательская группа также встроила специальную технологию фильтрации, позволяющую пользователям регулировать точность генерируемого звука в соответствии со своими потребностями. Звукорежиссеры могут выбирать между очень точным управлением или более расслабленным, приблизительным подходом, и эта гибкость может сделать Sketch2Sound особенно популярным среди артистов Фоли. Используя этот инструмент, профессионалы, создающие звуковые эффекты для фильмов и телешоу, могут быстрее создавать эффекты, используя звуковые и текстовые описания, вместо того, чтобы манипулировать физическими объектами для создания звуков.
Хотя исследователи отмечают, что пространственные характеристики звука во входных записях иногда могут оказывать негативное влияние на конечный звук, они работают над решением этой проблемы. В настоящее время Adobe не объявила, будет ли Sketch2Sound выпущен как коммерческий продукт и когда он будет выпущен.
Вход в проект: https://hugofloresgarcia.art/sketch2sound/
Основные моменты:
Sketch2Sound — это недавно разработанный инструмент искусственного интеллекта, который создает звуковые эффекты посредством жужжания и текстового описания.
Система анализирует громкость, тембр и высоту звука, комбинируя голосовой ввод пользователя с текстом для создания целевых звуковых эффектов.
Особенно подходит для художников Фоли, он может быстро создавать звуковые эффекты для фильмов и телепередач и повышать эффективность работы.
В целом, благодаря своему интеллекту и удобству, Sketch2Sound может стать мощным помощником звукорежиссеров и художников Фоли, значительно повышая эффективность работы. Хотя он все еще находится на стадии исследований и разработок, стоит с нетерпением ждать его будущего развития. Ссылка на проект предоставлена заинтересованным пользователям для получения дополнительной информации.