脑洞不保！日本深度神经网络算法重建人脑中图像

（之肴/编译）如果说 AI 能读懂出你脑子里在想的事，你敢信吗？

听起来是不是痴心妄想？过去可能是，但现在日本的京都大学，已经有四名科学家正将其化为可能。就在2017年12月下旬，Guohua Shen, Tomoyasu Horikawa, Kei Majima 和 Yukiyasu Kamitani 四位学者，在 BioRxiv 平台上公布了最新的研究结果：AI 读心术 。

图片来源：NewsTarget

其实自 2011 年以来，就有研究人员将大脑活动与观看图像时的记录建立联系，重现了电影片段，照片甚至是迷幻的意象。但是都有其局限性：有些只处理脸部区域，另外一些则无法从零开始构建图像，必须从预先设定的“人”或“鸟”等类别中进行选择。而京都大学的这项工作，则能立即生成可识别的图片，甚至能产生各种从没见过的形状

为了弄清人们眼中究竟看到了什么，学者转而使用 fMRI（功能性磁共振成像）来观察大脑的神经活动情况。实验的目标就是挖掘人脑对图像的反应，并最终让电脑能产生一幅几乎相同的图像。

光用 fMRI 是远远不够的，“解码”思想的技术关键，就是深度神经网络。这一技术使得学者能够分解更复杂的“分层”图像，比如鸟类图像或者带着帽子的牛仔，放大放大再放大，每一根毛都能看得清清楚楚。

见证未来的时刻：Deep image reconstruction: Natural images (seen images)。图片来源：Twitter@@ykamit

“我们一直在研究某种方法，想通过观察人们的大脑活动，来重现或者重新创造他们看到的东西,” 其中一名科学家 Kamitani 说：“之前我们是假设一个图像由像素或简单的形状组成，但你也知道，我们的大脑是依靠分层提取不同层级的特征，或者提取复杂事物里的要素来处理视觉信息的。”

而最新的 AI 研究则能让计算机能够检测真实物体，从此不只局限于二进制像素。 Kamitani说：“这些神经网络或者 AI 模型已经可以视作人脑的分级结构了。”

Deep image reconstruction: Visual imagery。图片来源：Twitter@@ykamit

京都大学的学者在过去十周的研究过程中，让三名受试者不断观看各种自然图像（鸟或者人类的图片）、几何形状和字母。

实验可分为两个部分：第一种在受试者看图的过程中，记录大脑的活动情况，直接分析出人们眼中看到了什么；第二种则让受试者努力回忆刚看过的东西，再对他们此时的活动情况做记录。

大脑活动情况经扫描得出后，计算机就会反向解读其中的信息，将受试者脑海里的东西生成出来。结果在鸟和人等自然图像上的表现不好，但对于几何形状和字母，神经网络有 83% 的概率能生成可识别的图像。

为了使最终成品更为接近原图，学者加入“深度生成网络”（DGN）,该算法已经过预先训练，能基于输入条件生成更逼真、更自然的图像。学者在论文中指出，99%的情况下，人类观察者能一眼辨识哪张图就是自己脑海里出现的那张。

“这个研究有点意思。” 哥伦比亚大学 Zuckerman 研究所的计算神经科学家Nikolaus Kriegeskort e说。他十分好奇，想知道计算机生成图像的不准确性有多少取决于测量大脑活动上的限制，又有多少取决于大脑解读图像时的错误。 他说：“更高分辨率的 fMRI 和其他大脑成像技术可能会进一步改善结果。”随着测量方法和算法的不断改进，或许有一天，我们真的会通过脑海中的图片进行交流。

下方的流程图就是由京都大学 Kamitani 实验室的研究小组制作的，揭示了大脑被计算机破解的过程。

图片来源：引用论文https://www.biorxiv.org/content/biorxiv/early/2017/12/30/240317.full.pdf

下面两张图则展示了计算机对受试者看到的图像和字母的重现情况。把墓碑重现成电脑我也真是服了，字母的表现倒着实不错，就R和S不太好辨识。

图为使用DGN的自然图像重现图。黑框代表原图，灰框代表重建图。每一张灰框的图都对应代表一位受试者的重建情况。图片来源：引用论文https://www.biorxiv.org/content/biorxiv/early/2017/12/30/240317.full.pdf

图为字母的重现情况。同样，黑框代表原图，灰框代表重建图。三张灰框图与受试者一一对应。图片来源：引用论文https://www.biorxiv.org/content/biorxiv/early/2017/12/30/240317.full.pdf

对于分析受试者回忆事物的脑电波方面，科学家也有新的突破。

“和之前的方法不同，只要人们回想起自己看过的图片，我们就能把他重现在你眼前。” Kamitani 说。

如下图所示，当要破解回忆图像时的大脑信号，AI 系统得花更多的时间重建细节。不过效果有点......这也难怪，看的时候很爽，回忆的时候进入贤者模式，模糊了细节。当初求种求成狗，如今撸完嫌人丑。

图为脑海回忆图的重现情况。右下方那一列代表大脑一片空白时的图像，真的是一团浆糊啊。图片来源：引用论文https://www.biorxiv.org/content/biorxiv/early/2017/12/30/240317.full.pdf

“你是不是常常开了冰箱就忘记想拿什么东西？对，人类的脑子就是不太好使。” Kamitani 解释道。

随着准确度逐渐提高，AI 读心术的潜力不可限量。以后画画只要脑子里想想就能呈现在眼前；昨晚做的噩梦能拍成惊悚片；叶子不用飞了，靠精神病患者的幻觉就能爽，还能顺便治好他们；脑机接口终有一日能实现人们意识的直接交流。

尽管计算机读心术听起来挺玄乎的，但不只有日本学者在研究如何把大脑和计算机连接起来。

举个例子，Google X 前任员工 Mary Lou Jepsen 就希望能在十年内造出一顶能够实现心灵感应的帽子，企业家 Bryan Johnson 则忙着设计植入大脑的芯片以改善神经功能。

赛博朋克的世界难道真的要来了吗？我不知道，但以后脑子里意淫的桥段都能化为现实，想想还有些小激动呢！

题图来源：电影《X战警》