Редактор Downcodes узнал, что исследователи из Школы наук о данных Университета Мусасино недавно совершили крупный прорыв и разработали новый алгоритм под названием AMT-APC, который может автоматически генерировать фортепианную музыку более точно. Эта технология основана на модели автоматической транскрипции музыки (AMT). Благодаря продуманной точной настройке она значительно повышает уровень качества звука и выразительность создаваемой фортепианной музыки, преодолевая проблемы с качеством звука и производительностью, присущие предыдущим поколениям автоматической фортепианной музыки. Узкие места, такие как недостаточная мощность. Инновация этого алгоритма заключается в его уникальной двухэтапной стратегии: сначала предварительно обученная модель AMT используется для захвата различных деталей звука в музыке, а затем настраивается с помощью парного набора данных, содержащего исходный музыкальный звук и фортепиано. MIDI-файлы исполнения. В результате получается версия фортепианного исполнения, более близкая к стилю оригинальной песни. Кроме того, исследователи также ввели концепцию «вектора стиля» для дальнейшего улучшения выразительности создаваемой фортепианной музыки.
В течение долгого времени технология автоматического создания фортепианной музыки сталкивалась с проблемой недостаточной точности и выразительности качества звука. Существующие модели часто могут генерировать только простые мелодии и ритмы и не могут передать богатые детали и эмоции оригинальных песен.
Алгоритм AMT-APC использует другой подход: сначала он использует предварительно обученную модель AMT для точного «захвата» различных звуков в музыке, а затем применяет ее к задаче автоматического исполнения на фортепиано (APC) посредством точной настройки.
Суть алгоритма AMT-APC заключается в двухэтапной стратегии:
Шаг первый: предварительная тренировка. Исследователи выбрали в качестве основы высокопроизводительную модель AMT под названием hFT-Transformer и дополнительно обучили ее с использованием набора данных MAESTRO, что сделало ее способной обрабатывать более длинные музыкальные клипы.
Шаг 2: Точная настройка. Исследователи создали парный набор данных, содержащий оригинальные музыкальные аудиофайлы и MIDI-файлы исполнения на фортепиано, и использовали этот набор данных для точной настройки модели AMT, чтобы она могла генерировать версию исполнения на фортепиано, которая более соответствовала стилю оригинальной музыки. .
Чтобы сделать создаваемую фортепианную музыку более выразительной, исследователи также ввели понятие «вектор стиля». Векторы стиля — это набор функций, извлеченных из каждой версии исполнения на фортепиано, включая распределение скорости начала нот, распределение скорости и распределение высоты звука. Вводя в модель векторы стилей вместе с исходным музыкальным звуком, алгоритм AMT-APC способен изучать различные стили игры и отражать их в сгенерированной фортепианной музыке.
Результаты экспериментов показывают, что по сравнению с существующими моделями автоматической игры на фортепиано фортепианная музыка, генерируемая алгоритмом AMT-APC, имеет значительные улучшения в точности и выразительности звука. Используя метрику Qmax для оценки сходства между исходной песней и сгенерированным звуком, модель AMT-APC достигла самого низкого значения Qmax, что означает, что она лучше способна восстановить характеристики исходной песни.
Это исследование показывает, что AMT и APC являются тесно связанными задачами, и использование существующих результатов исследований AMT может помочь нам разработать более совершенные модели APC. В будущем исследователи планируют продолжить изучение моделей AMT, которые больше подходят для приложений APC, чтобы добиться более реалистичной и выразительной игры на автоматическом фортепиано.
Адрес проекта: https://misya11p.github.io/amt-apc/
Адрес статьи: https://arxiv.org/pdf/2409.14086.
Успех алгоритма AMT-APC открыл новые возможности в области автоматического создания музыки, а также указывает на то, что в будущем появится более реалистичная и выразительная технология автоматического создания музыки. Мы с нетерпением ждем, когда будущие исследователи продолжат исследования на этой основе и преподнесут нам еще больше сюрпризов!