一个AI DJ的诞生

来源：量子位

今年，MIT（麻省理工学院）的计算机科学与人工智能实验室（CSAIL）里，多了个懂音乐的AI PixelPlayer。

有它助力，音乐小白也能一键轻松将器乐大合奏视频中的每种乐器单独提取出来，享受器乐独奏。甚至，你也能将每种乐器的声音增大或减小，就像下面这样——

AI在手，DJ我有。

有了这种操作，那岂不是人人都可以成为音乐后期制作人？

好学DJ

PixelPlayer是只好学的AI，从音乐小白到调音大师的进阶之路上，研究人员没有提供人类标注过的乐器和音色的对应关系。

这只AI学习的素材也很简单，用60多个小时无标签器乐演奏的视频喂食，成熟的PixelPlayer就会具备自动识别并分离不同乐器声部的技能。并且能够在视频的每个像素上定位声源，联合解析声音和图像。

现在，PixelPlayer已经能够识别20种音色了。对于之前没有听到过的乐器，PixelPlayer也能“揪个现行”出来。

之后，你就能根据自己的爱好自由调节各个声部的声音了。

当你听交响乐时，迷恋小提琴的声音？那就一键把它调大点嘛。

如何调教一个DJ AI?

PixelPlayer是如何诞生的？在论文The Sound of Pixels中，Hang Zhao、Chuang Gan等研究人员解密了整个过程。

接受了大量视频的训练后，PixelPlayer将进行视听源进行分离和定位时，会把输入的声音信号分成N个声道，每个声道对应不同的乐器类别。此外，PixelPlayer对声音定位时，并为输入视频中的每个像素分配不同的声波。

在将两个视频的音频信号混合时，MIT研究人员提出了一种Mix-and-Spparate的训练模型，可将不同来源的音频混在一起，而无需传统方法中的监督过程。

这篇论文被今年的ECCV（欧洲计算机视觉会议）组委会接收。

与这项研究类似的还有两个兄弟研究，均探索了图像和音频结合后对分离声音的帮助。

一是论文Looking to listen at the cocktail party: A speaker-independent audio-visual model for speech separation，借助人类外貌解决鸡尾酒问题。

论文地址：

https://arxiv.org/abs/1804.03619

二是论文Audio-visual scene analysis with self-supervised multisensory features，这个声音-图像系统可分离屏幕中可见的物体的声音和不可见物体的声音。

论文地址：

https://arxiv.org/abs/1804.03641

相关资料

项目地址：

论文下载地址：

https://arxiv.org/pdf/1804.03160.pdf

- DataCastle -