AI复活的那些“失落艺术”

这世上总是避免不了遗憾，但终归有些美好会在“不经意间”补全。AI技术的存在，为这种补全，提供了新的选项。

喜欢古典音乐的朋友，想必对贝多芬都有着一些了解，然而令人遗憾的是，这位扼住命运喉咙的男人，终归是在其完成《第十交响曲》的前夕，溘然长逝。不过，近期的一则消息或许让这一遗憾出现新的转机：《第十交响曲》将由人工智能完成，而这项实验的结果也将由一支完整的交响乐团在2020年4月28日在德国贝多芬的出生地波恩公开奏演。

你会去听AI续写的《第十交响曲》吗？

时值贝多芬诞辰250周年之际，为纪念这位伟大作曲家为人类音乐艺术留下的宝贵财富，一个国际化的团队将利用AI技术续写贝多芬生前未完成的《第十交响曲》。

为了还原或者说是创作经典，一群音乐学家和程序员聚在一起，通过贝多芬未完成的《第十交响曲》和《英雄》等作品的片段来训练人工智能，然后由AI即兴创造出《第十交响曲》剩余的部分。

Herbert von Karajan研究所所长、项目负责人Matthias Roeder对《法兰克福周日新闻》说：长久以来，机器从来没完成过这样的任务，这是史无前例的一次尝试。

Roeder还表示，该AI算法正在取得积极进展，它无时无刻不在变化，就像一个懵懂的小孩子在探索贝多芬的世界。但令人遗憾的是，我们并没有找到该算法的具体细节。

贝多芬谱写了著名的《第九交响曲》，家喻户晓的《欢乐颂》就是《第九交响曲》其中的一部分。有证据表明，他生前仍然还在创作《第十交响曲》。但遗憾的是，当这位德国作曲家于1827年去世时只留下了部分草稿和笔记。

技术角度的AI作曲

所谓AI编曲和作曲，本质上是运行一个复杂的AI模型，来对不同的音乐、乐器、节奏、乐理等规则进行学习和反向输出。而且AI作曲也并非独一无二的技术，在今年2月份，华为就凭借迁移到Mate20Pro 上的AI模型，续写了舒伯特的《d小调第8号交响曲》，并在伦敦的一场音乐会上进行了公演。

华为工作人员阿尔内·赫克尔曼表示，利用AI作曲，就像教孩子学习一门语言，开始的时候，他们会犯错误，纠正后还会犯新的错误，所以需要不断地纠正、不断地重复。

OpenAI的MuseNet模型

今年4月，OpenAI也对外发布了一款新型深度神经网络模型 MuseNet，该模型不但可调用 10 种不同乐器生成时长约 4 分钟的音乐作品，而且能够融合从乡村到莫扎特再到披头士等各种音乐风格。

据悉，MuseNet 并非基于人们对音乐的理解进行编曲，而是通过学习预测数十万 MIDI 文件中下一个音符，来找到和声、节奏和曲风的模式。与 GPT-2 相似，MuseNet 同样采用多功能无监督技术。GPT-2 是一种大规模 transformer 模型，经过训练即可预测音频以及文本序列中的下一个音符。

相关Github地址：https://github.com/MrCheeze/musenet-midi

微软小冰

小冰的起步较早，在去年 KDD 2018 大会上，微软小冰团队的论文《XiaoIce Band: A Melody and Arrangement Generation Framework for Pop Music》（《小冰乐队：流行音乐的旋律与编曲框架》 ）就获得了Research Track最佳学生论文。

论文中提到，微软团队设计了一种基于和弦的节奏和旋律交叉生成模型（CRMCG），可以生成带有和弦进行的旋律。而且还提出一种基于多任务学习的多乐器协同编曲模型（Multi-Instrument Co-Arrangement Model，MICA）。

另外，微软小冰的AI音乐才华出众，目前已发布数十首接近人类演唱水平的单曲，演唱模型迭代至第五个版本。全新的演唱模型，包括跨越多种演唱技巧的多个声音模型，并提升人工智能歌曲演绎的更高技巧和多风格化，实现了在不同的演唱技巧之间自然过渡。

相关Github地址：https://github.com/BennyThink/realXiaoice

AI在行动

除了续写音乐残篇，AI还可以从另一个方面发挥作用，比如修补名画、修复老旧照片等。

名画修补

《根特祭坛画》

著名的艺术珍品《根特祭坛画》，自完成之后便历经磨难，但在AI技术的加成下，名画修补成为了一件轻松的事。

在根特祭坛画的修复中， 利用X 射线图像扫描技术进行成像是常见的修复技术，但如何将混合了双面板的 X 射线图像，分离成相应单面 X 射线图像是一个巨大的挑战。为此，伦敦大学和杜克大学的研究者们，提出了一种基于卷积神经网络（CNN）的自监督框架，

这种自我监督的神经网络，可以学习如何将 RGB 图像转换为 X 射线图像，然后作为单面板的虚拟图像“重建”，然后通过最小化重建 X 射线图像的误差，比较与原始混合的 X 射线图像之间的差异，进而让模型实现这种分离。

具体细节上，他们构建了七层的 CNN ，每个卷积层之间含有批量归一化和整流线性单元（ReLU）激活层。网络的结构受到了 pix2pix 结构启发（pix2pix 使用条件对抗网络进行图像到图像转换）。

将 RGB 图像转换为 X 射线图像的神经网络结构

增强与修复照片

日前，一组林青霞的照片引起了不小的讨论，而“AI 老照片修复”也逐渐进入到大众的视野。事实上，相对于名画修补，老旧照片的修复可能相对而言较为简单。

InfoQ在《一键高清还原老照片：全方位解读美图影像实验室 MTlab 人像画质修复技术》一文中对相关技术进行了揭秘，总结来讲，美图的相关修复技术主要是借鉴了深度学习技术，如降噪、增强、超分、强化学习等，在自研生成网络结构 BeautyGAN 的基础上，结合对抗式生成网络的前沿技术，使 BeautyGAN 具备良好的人像修复能力。

另外，美图影像实验室 MTlab 已经对外正式发布了“美图 AI 开放平台”（ ai.meitu.com ），而且据美图技术人员透露，目前的美图 AI 开放平台开放了人脸技术、人体技术、图像识别、图像处理、图像生成等几大类核心 AI 技术。这些技术可通过云端 API/ 移动端 SDK/ 定制解决方案等多种方式对外提供经过市场验证的专业 AI 算法服务。

写在后面

AI技术的快速发展是好事，对经典、艺术的再加工亦可以实现更多的美好。但是，AI技术本身就是一把“双刃剑”，在一切美好背后也会隐藏着“作恶之心”，Deepfake的滥用就是一个很显而易见的例子。至于如何让这把“剑”利已不伤人，在“弥补遗憾”的同时不去“作恶”，这将是未来很长一段时间我们需要思考和解决的问题。