L'éditeur de Downcodes a appris que des chercheurs de l'École de science des données de l'Université de Musashino ont récemment réalisé une percée majeure et développé un nouvel algorithme appelé AMT-APC, capable de générer automatiquement de la musique pour piano avec plus de précision. Cette technologie est basée sur le modèle de transcription automatique de la musique (AMT). Grâce à un réglage fin et intelligent, elle améliore considérablement le niveau de qualité sonore et l'expressivité de la musique pour piano générée, surmontant ainsi les problèmes de fidélité de la qualité sonore et de performances de la génération précédente de musique pour piano automatique. technologies. Des goulets d’étranglement tels qu’une puissance insuffisante. L'innovation de cet algorithme réside dans sa stratégie unique en deux étapes : d'abord, le modèle AMT pré-entraîné est utilisé pour capturer divers détails sonores dans la musique, puis affiné grâce à un ensemble de données appariées contenant l'audio et le piano de la musique d'origine. fichiers MIDI de performance Le résultat est une version de performance pour piano plus proche du style de la chanson originale. En outre, les chercheurs ont également introduit le concept de « vecteur de style » pour améliorer encore l'expressivité de la musique pour piano générée.
Pendant longtemps, la technologie de génération automatique de musique pour piano a été confrontée au défi d’une qualité sonore insuffisante, d’une fidélité et d’une expressivité insuffisantes. Les modèles existants ne peuvent souvent générer que des mélodies et des rythmes simples et ne peuvent pas capturer la richesse des détails et des émotions des chansons originales.
L'algorithme AMT-APC adopte une approche différente. Il utilise d'abord un modèle AMT pré-entraîné pour « capturer » avec précision divers sons de la musique, puis l'applique à la tâche d'interprétation automatique du piano (APC) via un réglage précis.
Le cœur de l’algorithme AMT-APC réside dans la stratégie en deux étapes :
Première étape : la pré-formation. Les chercheurs ont choisi comme base un modèle AMT haute performance appelé hFT-Transformer et l'ont entraîné davantage à l'aide de l'ensemble de données MAESTRO, le rendant capable de traiter des clips musicaux plus longs.
Étape 2 : mise au point. Les chercheurs ont créé un ensemble de données couplées contenant les fichiers MIDI de la musique originale et des performances du piano, et ont utilisé cet ensemble de données pour affiner le modèle AMT afin qu'il puisse générer une version de la performance au piano plus cohérente avec le style de la musique originale. .
Afin de rendre la musique pour piano générée plus expressive, les chercheurs ont également introduit un concept appelé « vecteur de style ». Les vecteurs de style sont un ensemble de fonctionnalités extraites de chaque version de performance au piano, notamment la distribution du taux d'apparition des notes, la distribution de la vélocité et la distribution de la hauteur. En entrant des vecteurs de style dans le modèle avec l'audio musical original, l'algorithme AMT-APC est capable d'apprendre différents styles de jeu et de les refléter dans la musique de piano générée.
Les résultats expérimentaux montrent que par rapport aux modèles de jeu de piano automatique existants, la musique pour piano générée par l'algorithme AMT-APC présente des améliorations significatives en termes de fidélité et d'expressivité de la qualité sonore. En utilisant une métrique appelée Qmax pour évaluer la similarité entre la chanson originale et l'audio généré, le modèle AMT-APC a atteint la valeur Qmax la plus basse, ce qui signifie qu'il est mieux à même de restaurer les caractéristiques de la chanson originale.
Cette étude montre que l'AMT et l'APC sont des tâches étroitement liées et que l'utilisation des résultats de recherche AMT existants peut nous aider à développer des modèles APC plus avancés. À l’avenir, les chercheurs prévoient d’explorer davantage les modèles AMT plus adaptés aux applications APC, afin d’obtenir un jeu de piano automatique plus réaliste et plus expressif.
Adresse du projet : https://misya11p.github.io/amt-apc/
Adresse papier : https://arxiv.org/pdf/2409.14086
Le succès de l'algorithme AMT-APC a apporté de nouvelles possibilités dans le domaine de la génération automatique de musique et indique également qu'une technologie de génération automatique de musique plus réaliste et expressive sera à venir. Nous espérons que les futurs chercheurs continueront à explorer sur cette base et nous apporteront d’autres surprises !