Adobe Research и Северо-Западный университет объединили усилия для создания революционной системы искусственного интеллекта — Sketch2Sound. Эта система может преобразовать простую голосовую имитацию и текстовое описание в звуковые эффекты профессионального уровня, обеспечивая беспрецедентное повышение эффективности в индустрии звукового дизайна. Он анализирует громкость, тембр и высоту речи и объединяет их с текстовыми описаниями для создания желаемых пользователем звуковых эффектов. Ее уникальная способность понимать контекст еще более удивительна. Например, сочетая простую «лесную атмосферу» с имитацией криков птиц, система может автоматически генерировать реалистичные крики птиц без дополнительных инструкций. Sketch2Sound также поддерживает создание музыки. Пользователям нужно только напевать ритм и ввести название инструмента, и система автоматически подберет высоту и ритм и сгенерирует соответствующий рисунок ударных.
Система анализирует три ключевых элемента речевого ввода: громкость, тембр (определяющий яркость звука) и высоту звука. Затем система объединяет эти функции с текстовым описанием для создания желаемого звука.
Видео: Гарсиа и др., Adobe Research
Самое интересное в Sketch2Sound — это его способность понимать контекст. Например, если кто-то вводит «вибрация леса» и издает короткие звуки, система автоматически распознает, что эти звуки должны быть криками птиц, без необходимости давать специальные инструкции.
Тот же интеллект применим и к музыке. При создании барабанного паттерна пользователи могут ввести «большой барабан, малый барабан», а затем напевать ритм, используя низкие и высокие частоты. Система автоматически устанавливает бас-барабан на нижнюю границу, а малый барабан на верхнюю границу.
Предоставляет профессионалам детальный контрольИсследовательская группа разработала специальную технологию фильтрации, которая позволяет пользователям настраивать и контролировать точность генерируемых звуков. Звукорежиссеры могут выбрать точный, детальный контроль или более расслабленный, приблизительный подход, в зависимости от своих потребностей.
Эта гибкость делает Sketch2Sound особенно ценным для художников Фоли (профессионалов, создающих звуковые эффекты для фильмов и телешоу). Вместо того, чтобы манипулировать физическими объектами для создания звуков, они могут быстрее создавать эффекты с помощью речи и текстовых описаний.
Исследователи отмечают, что пространственные звуковые характеристики входной записи иногда могут нежелательным образом влиять на результирующий звук, но они работают над решением этой проблемы. Adobe не объявила, когда Sketch2Sound станет коммерческим продуктом и станет ли он коммерческим.
Появление Sketch2Sound, несомненно, значительно повысит эффективность и удобство звукового дизайна и принесет новые творческие возможности в кино, телевидение, игровую и другие индустрии. Хотя он все еще находится на стадии исследований и разработок, его потенциал нельзя игнорировать, и стоит с нетерпением ждать его будущего развития.