Downcodes小编获悉，武蔵野大学数据科学学院的研究人员近日取得重大突破，研发出一款名为AMT-APC的全新算法，能够更精准地自动生成钢琴曲。这项技术基于自动音乐转录（AMT）模型，通过巧妙的微调，显著提升了生成的钢琴曲在音质和表现力方面的水平，克服了以往自动生成钢琴曲技术存在的音质保真度和表现力不足等瓶颈。该算法的创新之处在于其独特的两步走策略：首先利用预训练的AMT模型捕捉音乐中的各种声音细节，然后通过一个包含原曲音频和钢琴演奏MIDI文件的配对数据集进行微调，最终生成更接近原曲风格的钢琴演奏版本。此外，研究人员还引入了“风格向量”的概念，进一步提升了生成的钢琴曲的表现力。
一直以来，自动生成钢琴曲的技术面临着音质保真度和表现力不足的挑战。现有的模型往往只能生成简单的旋律和节奏，无法捕捉到原曲中丰富的细节和情感。
而 AMT-APC 算法则另辟蹊径，它首先利用预先训练好的 AMT 模型准确地“捕捉”音乐中的各种声音，然后通过微调将其应用于自动钢琴演奏 （APC） 任务。
AMT-APC 算法的核心在于两步走策略:
第一步:预训练。研究人员选择了一种名为 hFT-Transformer 的高性能 AMT 模型作为基础，并利用 MAESTRO 数据集对其进行了进一步的训练，使其能够处理更长的音乐片段。
第二步:微调。研究人员创建了一个包含原曲音频和钢琴演奏 MIDI 文件的配对数据集，并使用该数据集对 AMT 模型进行微调，使其能够生成更符合原曲风格的钢琴演奏版本。
为了使生成的钢琴曲更具表现力，研究人员还引入了一个名为“风格向量”的概念。风格向量是从每个钢琴演奏版本中提取的一组特征，包括音符起始速率分布、力度分布和音高分布。通过将风格向量与原曲音频一起输入模型，AMT-APC 算法能够学习到不同的演奏风格，并将其体现在生成的钢琴曲中。
实验结果表明，与现有的自动钢琴演奏模型相比，AMT-APC 算法生成的钢琴曲在音质保真度和表现力方面都有显著提升。通过使用一种名为 Qmax 的指标来评估原曲和生成音频之间的相似度，AMT-APC 模型取得了最低的 Qmax 值，这意味着它能够更好地还原原曲的特征。
这项研究表明，AMT 和 APC 是高度相关的任务，利用现有的 AMT 研究成果可以帮助我们开发出更先进的 APC 模型。未来，研究人员计划进一步探索更适合 APC 应用的 AMT 模型，以期实现更逼真、更具表现力的自动钢琴演奏。
项目地址：https://misya11p.github.io/amt-apc/
论文地址：https://arxiv.org/pdf/2409.14086
AMT-APC算法的成功，为自动音乐生成领域带来了新的可能性，也预示着未来更逼真、更具表现力的自动音乐生成技术即将到来。期待未来研究人员能在此基础上继续探索，为我们带来更多惊喜！