上传一段音乐秒变钢琴曲！AMT-APC算法一键生成大师级钢琴演奏

近日，武蔵野大学数据科学学院的研究人员开发了一种名为 AMT-APC 的全新算法，可以更加精准地自动生成钢琴曲。这项技术利用了自动音乐转录 （AMT） 模型的优势，通过对其进行微调，使其能够更好地捕捉音乐的细节和表现力，从而生成更接近原曲的钢琴演奏版本。

一直以来，自动生成钢琴曲的技术面临着音质保真度和表现力不足的挑战。现有的模型往往只能生成简单的旋律和节奏，无法捕捉到原曲中丰富的细节和情感。

而 AMT-APC 算法则另辟蹊径，它首先利用预先训练好的 AMT 模型准确地“捕捉”音乐中的各种声音，然后通过微调将其应用于自动钢琴演奏 （APC） 任务。

AMT-APC 算法的核心在于两步走策略:

第一步:预训练。研究人员选择了一种名为 hFT-Transformer 的高性能 AMT 模型作为基础，并利用 MAESTRO 数据集对其进行了进一步的训练，使其能够处理更长的音乐片段。

第二步:微调。研究人员创建了一个包含原曲音频和钢琴演奏 MIDI 文件的配对数据集，并使用该数据集对 AMT 模型进行微调，使其能够生成更符合原曲风格的钢琴演奏版本。

为了使生成的钢琴曲更具表现力，研究人员还引入了一个名为“风格向量”的概念。风格向量是从每个钢琴演奏版本中提取的一组特征，包括音符起始速率分布、力度分布和音高分布。通过将风格向量与原曲音频一起输入模型，AMT-APC 算法能够学习到不同的演奏风格，并将其体现在生成的钢琴曲中。

实验结果表明，与现有的自动钢琴演奏模型相比，AMT-APC 算法生成的钢琴曲在音质保真度和表现力方面都有显著提升。通过使用一种名为 Qmax 的指标来评估原曲和生成音频之间的相似度，AMT-APC 模型取得了最低的 Qmax 值，这意味着它能够更好地还原原曲的特征。

这项研究表明，AMT 和 APC 是高度相关的任务，利用现有的 AMT 研究成果可以帮助我们开发出更先进的 APC 模型。未来，研究人员计划进一步探索更适合 APC 应用的 AMT 模型，以期实现更逼真、更具表现力的自动钢琴演奏。