El editor de Downcodes se enteró de que investigadores de la Escuela de Ciencia de Datos de la Universidad de Musashino recientemente lograron un gran avance y desarrollaron un nuevo algoritmo llamado AMT-APC, que puede generar automáticamente música de piano con mayor precisión. Esta tecnología se basa en el modelo de transcripción automática de música (AMT). Mediante un ajuste inteligente, mejora significativamente el nivel de calidad del sonido y la expresividad de la música de piano generada, superando los problemas de fidelidad de la calidad del sonido y de interpretación de la generación anterior de música de piano automática. cuellos de botella como la falta de energía. La innovación de este algoritmo radica en su estrategia única de dos pasos: primero, el modelo AMT previamente entrenado se utiliza para capturar varios detalles de sonido en la música y luego se afina a través de un conjunto de datos emparejados que contiene el audio y el piano de la música original. archivos MIDI de interpretación El resultado es una versión de interpretación de piano que se acerca más al estilo de la canción original. Además, los investigadores también introdujeron el concepto de "vector de estilo" para mejorar aún más la expresividad de la música de piano generada.
Durante mucho tiempo, la tecnología para generar música de piano automáticamente se ha enfrentado al desafío de una fidelidad y expresividad de calidad de sonido insuficientes. Los modelos existentes a menudo sólo pueden generar melodías y ritmos simples y no pueden capturar los ricos detalles y emociones de las canciones originales.
El algoritmo AMT-APC adopta un enfoque diferente: primero utiliza un modelo AMT previamente entrenado para "capturar" con precisión varios sonidos en la música y luego lo aplica a la tarea de interpretación automática del piano (APC) mediante un ajuste fino.
El núcleo del algoritmo AMT-APC reside en la estrategia de dos pasos:
Paso uno: preentrenamiento. Los investigadores eligieron como base un modelo AMT de alto rendimiento llamado hFT-Transformer y lo entrenaron adicionalmente utilizando el conjunto de datos MAESTRO, haciéndolo capaz de procesar clips musicales más largos.
Paso 2: ajuste fino. Los investigadores crearon un conjunto de datos emparejados que contenía los archivos MIDI de interpretación de piano y audio de la música original, y utilizaron este conjunto de datos para ajustar el modelo AMT para que pudiera generar una versión de interpretación de piano que fuera más consistente con el estilo de la música original. .
Para hacer más expresiva la música de piano generada, los investigadores también introdujeron un concepto llamado "vector de estilo". Los vectores de estilo son un conjunto de características extraídas de cada versión de interpretación de piano, incluida la distribución de la velocidad de inicio de las notas, la distribución de la velocidad y la distribución del tono. Al ingresar vectores de estilo en el modelo junto con el audio de la música original, el algoritmo AMT-APC puede aprender diferentes estilos de interpretación y reflejarlos en la música de piano generada.
Los resultados experimentales muestran que, en comparación con los modelos de ejecución automática de piano existentes, la música de piano generada por el algoritmo AMT-APC tiene mejoras significativas en la fidelidad y expresividad de la calidad del sonido. Al utilizar una métrica llamada Qmax para evaluar la similitud entre la canción original y el audio generado, el modelo AMT-APC logró el valor Qmax más bajo, lo que significa que es más capaz de restaurar las características de la canción original.
Este estudio muestra que AMT y APC son tareas altamente relacionadas, y el uso de los resultados de la investigación de AMT existente puede ayudarnos a desarrollar modelos APC más avanzados. En el futuro, los investigadores planean explorar más a fondo modelos AMT que sean más adecuados para aplicaciones APC, con el fin de lograr una interpretación automática del piano más realista y expresiva.
Dirección del proyecto: https://misya11p.github.io/amt-apc/
Dirección del artículo: https://arxiv.org/pdf/2409.14086
El éxito del algoritmo AMT-APC ha traído nuevas posibilidades al campo de la generación automática de música y también indica que en el futuro llegará una tecnología de generación automática de música más realista y expresiva. ¡Esperamos que futuros investigadores continúen explorando sobre esta base y nos traigan más sorpresas!