独家专访高通副总裁Max Welling教授：领会因果关系才能泛化智能

Robin.ly在NeurIPS2019现场特邀阿姆斯特丹大学机器学习研究主席、高通荷兰公司技术副总裁 Max Welling，分享他六篇被收录的论文亮点，以及他对分布式机器学习、边缘计算以及欧美在 AI 研究之间差异的独到见解。

Max Welling 教授（左）在NeurIPS 2019大会接受Robin.ly专访

Welling 教授在机器学习、计算机视觉、深度学习、贝叶斯推理、生成建模和图卷积网络方面发表了 300 多篇同行评审文章。他曾在乌得勒支大学（Utrecht University）诺贝尔奖获得者 Gerard’t Hooft 的指导下获得了量子物理学博士学位。

他同时也是欧洲学习和智能系统研究机构（European Laboratory for Learning and Intelligent Systems, ELLIS）的董事会成员之一。ELLIS受加拿大高级研究院（CIFAR）启发，旨在吸引和留住欧洲顶级AI人才，并提高欧洲作者对AI研究的影响。在2019温哥华NeurIPS会议上，ELLIS还与CIFAR的“机器与大脑学习”计划签署了意向书，该计划由深度学习先驱Yoshua Bengio和Yann LeCun 共同执导。

从左到右：Yoshua Bengio、Bernhard Schoelkopf、Nuria Olivier、Matthias Bethge、Max Welling、Sami Kaski、Sepp Hochreiter以及Yann LeCun。来源：ELLIS

以下为完整访谈视频：

http://mpvideo.qpic.cn/0b78qaaamaaalaacg4cd7npfbagda2aaabqa.f10002.mp4?dis_k=a1e476ffc7e23bf7eefba947301b2b37&dis_t=1582697054

1 NeurIPS 2019 的论文亮点

Margaret Laffan: Welling 教授，今年您有六篇论文已经被 NeurIPS 收录。能不能跟我们介绍一下其中的亮点？

Max Welling:

说实话，很难取舍。不过我想强调其中两篇论文，它们的主题比较相似。其中一篇曾经在快速 MRI 竞赛中获胜，该竞赛的目的是利用更少的观察次数来预测高分辨率的 MRI 图像，可以显著缩短患者在 MRI 机器中的停留时间，从而降低成本。更令人兴奋的是，现在也有可以实时成像的 MRI 机器，能够同时进行放射治疗，例如癌症。我们希望拥有一个能够随着患者呼吸而移动的系统，实现精确打击目标组织，而不会误伤健康组织。我们带着这个目的参加了比赛，目标是将 MRI 图像的重建速度提高八倍。相关论文题目是《Invertible Recurrent Inference Machine》，其核心观点是在人们使用传统的压缩传感（不需要从其他数据中学习的另一种技术）之前，就使用深度学习技术进行重建。我们非常成功地使用了这一方法，在本次 NeurIPS 大会上也进行了详细介绍。

另一篇相关论文则试图应用这一理念来完成一项任务。目前有许多经典的工程解决方案，但效果暂时还达不到人们的期望，毕竟人类的想象力是有限的。但我们不能借此抛弃由人建立的模型，而是要使用深度学习来纠正其中的错误。我们也在另一篇论文中探讨了图形模型，并搞清了如何在这种情况下做到这一点。

MRI，来源：Wikimedia

2 机器学习领域的趋势

Margaret Laffan: 您在过去十年中观察到机器学习领域的趋势和挑战有哪些？

Max Welling:

就像其他任何领域一样，机器学习的很多概念和技术也经历了兴衰。一个领域的潮流通常会维持五到十年。我也从早期关注图形模型和独立成分分析开始，过渡到关注支持向量机、非参数方法、贝叶斯方法和非参数贝叶斯方法，再到深度学习。我认为这很好，因为我们一直在把重点放在新的、非常有前途的工具上，并且不断努力从中获得最大收益，再由后人不断完善。

3 边缘计算

Margaret Laffan: 您之前的初创公司 Cypher 在 2017 年被高通公司收购。边缘计算（edge computing）是一个很热门的话题，您对此有什么看法？使用边缘计算对成本有什么影响？

Max Welling:

我们身边的很多数据是以非常分散的方式收集的。我们未必希望与大公司实时分享所有数据，以换取他们的服务。我们可以利用联邦学习（Federated Learning）、分布式学习或边缘计算，将数据从云端转移到本地设备储存，并以分布式的方式训练模型而无需共享。如果必须在云端共享某些内容，我们会对数据进行干扰或执行类似的操作以保护隐私。除此之外，我们还要考虑延迟等其他的问题。比如在遇到紧急情况时，出于安全考虑，我们也要尽量进行本地操作以减少云可能造成的延迟。以上是使用边缘计算的两个比较主要的原因。我们希望围绕着可靠性，减少延迟和私密性进行大量数据的计算和存储。

说到成本，我认为边缘计算的扩展性很好。我更担心在云端运行庞大的神经网络的成本。因为人们普遍认为，神经网络越大越好，即投入的计算量越大，制作出的模型就越大，性能也就越好。但人们有时依旧对此类模型的可行性存在质疑。如果使用更复杂的模型，从企业的角度来讲，收益和投入不成正比，难以持续下去。因此，我们要想办法减小模型的规模，对其进行量化并降低精度，以便在更廉价的设备上运行。比如我们都有手机，与其在夜间把它放在插座上充电，能不能让它同时运行一个模型，一边进行计算，一边将电能转化为热能，顺便给房间供暖呢？这其中涉及到了非常有趣的协同作用。如果我们搭建了一批 GPU，分布在房间的各个角落进行计算，就构成了一个网络，可以通过在设备上进行计算来调节室温。所以我认为这是一个更具扩展性的模型。

边缘计算图示，来源：Wikimedia

4 学术研究和商业化的差距

Margaret Laffan: NeurIPS 代表了世界上最好的 AI 学术研究。自 2015 年以来，您一直在担任 NeurIPS 的董事会成员。您如何看待这个大会在过去四年中的演变？

Max Welling:

首先，这个会议的规模呈现了显著的增长，也发生了一些有趣的变化。去年，我们把会议名称从“ NIPS”，改成了“ NeurIPS”，因为旧的名称已经不适应社会的发展潮流和公众的认知。另外在今年，为了使会议更具包容性，很多少数群体也举办了自己的分会，例如 “Black in AI”，“Women in AI”，“LatinX in AI”以及“Queer in AI”，这是非常好的现象。所以我认为我们在过去一年中取得了很大的进步，包容性成为了 NeurIPS 一个重要的主题。

Margaret Laffan: 您认为当前的学术研究和商业化之间存在什么样的差距？

Max Welling:

学术研究和商业化的差距正在逐步缩小。我有一半的时间都在高通工作，也能够直接观察到，一天之内 arXiv 上的学术论文如何在研究人员和公司的努力下完成具体的实施。这是一种非常有效的机制，可以将学术界的研究成果转移到工业界。同时，工业界也在向学术界过渡。很多公司雇用了研究性人才，建立自己的研究实验室并提供论文和实验结果，更研发了 TensorFlow 和 PyTorch 等开源软件。同时，公司也像许多项目主席和董事会成员一样，参与组织会议。因此从某种意义上讲，大家都在用不同的方式贡献自己的力量。

5 欧美地区的学术差异

Margaret Laffan: 您在欧洲和北美都做过一段时间的 AI 研究。能否分享一下这两个地区做学术的差异和相似之处？

Max Welling:

这个问题很有意思。我认为研究领域存在两种模式，一个是盎格鲁·撒克逊模式（Anglo-Saxon model），一个是欧洲大陆模式。我认为英国采用的更接近盎格鲁·撒克逊模式，也就是说，助理教授可以建立自己的研究小组，并完全独立地发展这个小组，当然还要自己负责申请科研基金。我认为这是一个非常好的模型，为新的研究者提供了更多的自由。

采用欧洲大陆模式，更常见的是一个由副教授和助理教授组成的，具有某种金字塔结构的层次化模型。这样做的好处是团队成员可以更加团结一致，共同解决一个非常大的问题；缺点是会削弱新人的研究自由度。我认为，作为高级研究人员，倾听年轻人的声音非常重要，他们能够带来新的想法和研究方向，不应该受困于资深人士已有的研究领域。因此，从这个角度来说，我更喜欢盎格鲁-撒克逊模式。

阿姆斯特丹大学，来源：Wikimedia

6 2020 年 AI 和 深度学习的发展趋势

Margaret Laffan: 您认为在 2020 年，人工智能和深度学习领域的下一个主要趋势是什么？

Max Welling:

一个比较突出的领域是强化学习，这个领域近几年已经逐渐变得炙手可热。人们正在尝试构建强化学习算法，这些算法能够与现实世界互动，在新的条件和环境下也能很好地泛化，也就是我们所说的“通用人工智能”。

我还看到了一个明确的方向，但目前关注的人还不是很多，那就是人们正在使用对因果关系的研究来实现这一目标。如果我们获得了现实世界存在的因果结构，就会对现实世界有更多的了解，解决方案也能够更好地泛化。因此，我在这个领域看到了很多非常有前景的工作。

我认为让深度学习和机器学习技术更加节能会成为一种持续的趋势，这一点非常重要。因为摩尔定律已经达到极限，为了保持增长的步伐，我们必须进行某种创新。我们正在构建针对特定任务的专用芯片，而想要让所有芯片协同工作，我们还必须解决一系列有趣的挑战。（完）

本文为 Robin.ly 授权转载，文章版权归原作者所有，转载请联系原作者。