ByteDance запустила новый инструмент для создания музыки Seed-Music, который похож на музыкального волшебника, способного генерировать высококачественную музыку на основе текстовых описаний, аудиоссылок, партитур и даже голосовых подсказок. Seed-Music сочетает в себе авторегрессионные языковые модели и модели диффузии, чтобы предоставить пользователям беспрецедентный контроль над созданием музыки, будь то тексты и музыка, адаптация мелодии или преобразование голоса в пение, Seed-Music легко справится с этим. Редактор Downcodes поможет вам узнать больше об этой удивительной модели создания музыки.
Недавно ByteDance выпустила новый инструмент для создания музыки под названием Seed-Music. Эта волшебная модель создания музыки позволяет легко создавать музыку с помощью различных методов ввода (например, текстовых описаний, аудиоссылок, партитур и даже голосовых подсказок). Это похоже на музыкального волшебника!
Seed-Music сочетает в себе авторегрессионные языковые модели и модели диффузии, чтобы не только создавать высококачественные музыкальные произведения, но и позволяет точно контролировать детали музыки. Хотите ли вы, чтобы текст сопровождал музыку, или хотите адаптировать мелодию, здесь нет проблем. Вы даже можете загрузить короткий голосовой клип, и система автоматически преобразует его в полноценную песню, что удобно и эффективно.
Мощная Seed-Music не только поддерживает создание вокальной и инструментальной музыки, но также включает в себя ряд функций, таких как синтез певческого голоса, преобразование певческого голоса и редактирование музыки, которые могут удовлетворить потребности различных пользователей. Вы можете генерировать всплывающие сообщения с помощью простых текстовых описаний, а также регулировать музыкальный стиль с помощью звуковых подсказок, что действительно освежает.
Что еще интереснее, архитектура Seed-Music разделена на три модуля: модуль обучения представлению, модуль генерации и модуль рендеринга, которые работают вместе, как группа, для создания высококачественной музыки из мультимодальных входных данных.
Модуль обучения представлению сжимает исходный аудиосигнал в три промежуточных представления, подходящих для различных задач создания и редактирования музыки. Модуль генерации преобразует вводимые пользователем данные в музыкальное представление с помощью моделей авторегрессии и моделей диффузии. Модуль окончательного рендеринга отвечает за преобразование этих промежуточных представлений в высококачественный звук, которым смогут наслаждаться ваши уши.
Чтобы обеспечить качество музыки, Seed-Music использует различные технологии: авторегрессионная языковая модель постепенно генерирует аудиосимволы, диффузионная модель делает музыку более четкой за счет шумоподавления, а вокодер переводит эти музыкальные «коды» в читаемый формат высокой точности. звук воспроизводится.
Очень интересен и процесс обучения Seed-Music, разделенный на три этапа: предтренировочный, доводочный и посттренировочный. Благодаря крупномасштабным музыкальным данным модель приобретает базовые возможности, затем улучшает производительность конкретных задач посредством тонкой настройки и, наконец, постоянно оптимизирует полученные результаты посредством обучения с подкреплением.
Адрес проекта: https://team.doubao.com/en/special/seed-music
Появление Seed-Music, несомненно, открыло новые возможности для создания музыки. Ее удобное управление и мощные функции значительно снизят порог создания музыки, позволяя большему количеству людей испытать радость от создания музыки. Мы с нетерпением ждем, когда Seed-Music преподнесет еще больше сюрпризов в будущем!