Downcodes の編集者は、武蔵野大学データ サイエンス学部の研究者らが最近大きな進歩を遂げ、ピアノ音楽をより正確に自動生成できる AMT-APC と呼ばれる新しいアルゴリズムを開発したことを知りました。このテクノロジーは、自動音楽採譜 (AMT) モデルに基づいており、巧妙な微調整により、生成されるピアノ音楽の音質と表現力のレベルが大幅に向上し、以前の自動ピアノ音楽生成の音質の忠実性とパフォーマンスの問題が克服されます。電力不足などのボトルネック。このアルゴリズムの革新性は、その独自の 2 段階の戦略にあります。まず、事前トレーニングされた AMT モデルを使用して、音楽内のさまざまなサウンドの詳細をキャプチャし、次に、元の音楽オーディオとピアノを含むペアのデータ セットを通じて微調整します。演奏 MIDI ファイルを作成すると、より原曲のスタイルに近いピアノ演奏バージョンが得られます。さらに、生成されるピアノ音楽の表現力をさらに高めるために「スタイルベクトル」という概念も導入しました。
ピアノ音楽を自動生成する技術は長い間、音質の忠実度と表現力が不十分であるという課題に直面していました。既存のモデルは単純なメロディーとリズムしか生成できないことが多く、オリジナルの曲の豊かなディテールや感情を捉えることができません。
AMT-APC アルゴリズムは、異なるアプローチを採用しています。まず、事前にトレーニングされた AMT モデルを使用して、音楽内のさまざまなサウンドを正確に「キャプチャ」し、その後、微調整を通じてそれを自動ピアノ演奏 (APC) タスクに適用します。
AMT-APC アルゴリズムの中核は、次の 2 段階の戦略にあります。
ステップ 1: 事前トレーニング。研究者らは、hFT-Transformer と呼ばれる高性能 AMT モデルをベースとして選択し、MAESTRO データセットを使用してさらにトレーニングし、より長い音楽クリップを処理できるようにしました。
ステップ 2: 微調整します。研究者らは、オリジナルの音楽オーディオとピアノ演奏の MIDI ファイルを含むペアのデータセットを作成し、このデータセットを使用して AMT モデルを微調整し、オリジナルの音楽のスタイルとより一貫したピアノ演奏バージョンを生成できるようにしました。 。
生成されたピアノ音楽をより表現力豊かにするために、研究者らは「スタイルベクトル」と呼ばれる概念も導入した。スタイルベクトルは、ピアノの各演奏バージョンから抽出された特徴の集合であり、音の立ち上がり率分布、ベロシティ分布、ピッチ分布などが含まれます。オリジナルの音楽オーディオとともにスタイル ベクトルをモデルに入力することにより、AMT-APC アルゴリズムはさまざまな演奏スタイルを学習し、生成されるピアノ音楽に反映することができます。
実験の結果、AMT-APCアルゴリズムによって生成されたピアノ音楽は、既存の自動ピアノ演奏モデルと比較して、音質の忠実度と表現力が大幅に向上していることがわかりました。 Qmax と呼ばれる指標を使用して元の曲と生成されたオーディオの類似性を評価することにより、AMT-APC モデルは最も低い Qmax 値を達成しました。これは、元の曲の特徴をよりよく復元できることを意味します。
この研究は、AMT と APC が非常に関連したタスクであり、既存の AMT 研究結果を使用することで、より高度な APC モデルの開発に役立つ可能性があることを示しています。研究者らは将来的に、よりリアルで表現力豊かな自動ピアノ演奏を実現するために、APC アプリケーションにより適した AMT モデルをさらに探索する予定です。
プロジェクトアドレス: https://misya11p.github.io/amt-apc/
論文アドレス: https://arxiv.org/pdf/2409.14086
AMT-APC アルゴリズムの成功は、自動音楽生成の分野に新たな可能性をもたらし、将来的にはよりリアルで表現力豊かな自動音楽生成技術が登場することを示しています。将来の研究者がこれに基づいて探索を続け、私たちにさらなる驚きをもたらしてくれることを楽しみにしています。