Jeff Dean谈2020ML：专用芯片、多模态多任务学习，社区不用痴迷SOTA

选自VentureBeat

作者：Khari Johnson

机器之心编译

机器之心编辑部

在刚刚结束的 NeurIPS 2019 上，VentureBeat 与谷歌 AI 负责人 Jeff Dean 进行了一场对话。双方聊了很多，包括谷歌在机器学习方面的早期研究、Google Bert 在对话式 AI 方面所产生的影响力，以及关于 2020 年机器学习的趋势。

这一次的 NeurIPS 大会，Jeff Dean 很忙。他谈了机器学习领域的很多话题，包括谈论机器学习如何应对气候变化，以及机器学习如何重塑系统和半导体等人们非常关心的问题。

在 VentureBeat 的访谈中，Jeff Dean 谈到了以下三个观点：

1、机器学习专用芯片将会更有优势；

2、社区不应该痴迷于 SOTA；

3、多模态、多任务和多模型学习会是一个有趣的方向。

机器之心对部分重要内容进行了整理，以下为采访实录。

后摩尔定律时代，专用芯片更有优势

上个月我在 arXiv 上看到了您关于机器学习硬件发展的一些评论，这方面的观点您会在下个月的 ISSCC 2020 会议上深入探讨。在摩尔定律失效之后，大家应该知道或者记住哪些事情？

Dean：我觉得专用芯片的发展会产生巨大影响。专用芯片一般用来处理一些专门类型的计算。我们已经发现了限定性计算模型的更多益处，它能更好地去遵循特定的机器学习任务设计，而且相比于通用 CPU，它在性能上更具优势。

我们在一些内部芯片的实验上已经取得了不错的成果，包括我们正在做一些专用集成电路芯片设计的早期研究，特别是在布局和布线方面。有了一个芯片设计之后，就会有很多的晶体管以及它们之间的连接方式。

基本上说，现在处于有一些用来布局的设计工具，但是也有布局和布线的人工专家，可以借助这些设计工具进行多次迭代。从想要的设计开始，到实际布局在芯片上，同时面积、功率和导线长度上设定好配置，满足所有设计角色或您正在执行的任何制造过程，这个过程大概需要几周时间。

事实上，我们在某些工作上能够用机器学习去做更多自动布局和布线方面的事情。而且我们有一个机器学习模型，专门可以学习如何针对特定芯片进行专用集成电路的布局。

多模态模型更加重要

最近，英特尔 AI 的主任 Naveen Rao 最近表示，我们需要把算力带来的能耗指标作为标准基准测试中的一部分。另外一些组织者也谈到了分享模型训练中产生的碳足迹。

Dean：是的。我们感到非常惊讶的是，所有在谷歌数据中心训练的东西都没有碳足迹——因为我们所有的能源都来自可再生能源。这是很不错的。

我想，有一种对于像 XLNet 那样的大模型的批评在于其天生的巨大算力消耗。如果在谷歌数据中心内也许不会有（碳排放）问题，但是如果其他人使用这种模型的话......

Dean：是的。这是一个很广泛的观点，毕竟一些大模型是非常计算密集的，耗能很高。因此我觉得社区应当关注开发能够更高效地利用算力资源的算法，让我们以更低的算力达到需要的效果。

我觉得多任务学习和迁移学习是非常高效的算法工具。因为你训练一个模型，然后微调，或者用多任务学习从一个相对小样本的新任务中进行学习和性能提升，这比从头开始训练要好的多。这也是当前的实践。

今年对于 BERT 而言是非常重要的一年。到处都在用 BERT，也出现了各种各样的 BERT。您认为人们接下来应该期待 BERT 的哪些变体呢，或者说，BERT 即将会出现哪些变体呢？

Dean：BERT 之所以有趣，是因为它在某种程度上是建立在其他研究成果发展的基础上的。因此，BERT 种类的变化取决于前一年所完成的 Transformer 工作。Transformer 所要解决的问题与基于 LSTM 的早期序列模型相同。并且，在我看来，整个研究线程在生成机器学习模型的实际过程中富有成果，从而使我们能够完成更加复杂的 NLP 任务。对在一堆文本（任意文本）上进行预训练的 BERT 进行微调，然后在你所关心的特定 NLP 任务上再次微调，这对于我们想要顺利解决的很多 NLP 问题来说是一个很好的范例。在 Google 内部，我们也会注重自身产品的各种实际应用。你也知道，Google 最近推出了一些搜索堆栈，用以提升搜索质量。

此外，我想大家也会在更大的社区内看到这一点。我们依然想要创建更多语境方面的模型。现在，BERT 和其他一些模型能够很好地处理数百个单词，但如果语境中包含的语义信息过多则处理效果不佳。所以，这就成为一个非常有意思的研究方向。我认为多模态模型就非常有趣，举例而言，你能以一种有趣的方式将文本与图像、音频或视频结合起来吗？Google 做了一些这方面的工作，社区里的其他参与者也已经投入其中。但我认为这在将来会变得更加重要，我也确信 BERT 所采用的基本方法会得到一些或大或小的改进。

因此，基础性研究将会继续展开，我们现在所知道和采用的方法也将继续在 Google 内部和其他地方得到非常好的应用。我们对此非常兴奋。

不必痴迷于达到 SOTA

实际上，现在我们现在都可以注意到有很多种 MT-DNN 、 RoBERTta 之类的模型。

Dean：没错，所有人都在这个领域取得了一些成果，很难全部跟踪到它们，而且还记得不同的模型在这里或者那里的不同。我觉得现在社区对实现稍微更好一点点的 SOTA 过于看重了，对于完全不同的方法则有些轻视。有些方法不一定达到了 SOTA，但是能够在特别困难和已成熟的领域做出来是很不容易的。

例如鲁棒性吗？

Dean：没错。或者是：「对于我们认为重要的问题，有没有完全不同的解决方法，而且还得可靠？」如果人们能朝着这个方向走下去，会很有趣。

而不是努力达到 GLUE 榜单的顶端？

Dean：是的。

谷歌面对的挑战

谷歌近年来面临着哪些技术或者道德方面的挑战？

Dean：在 AI 或机器学习方面，我们已经完成了很多有意义的工作，建立了有效的工作流程，以保证在符合 AI 原则的基础上将机器学习应用在不同产品中。这一过程在使用中通过 model card 这样的方式不断调整。这是一个有意义的工作，代表着谷歌为整个 AI 社区做出的贡献。

此外，我认为在很多原则上，我们还有开放的研究方向。比如我们在机器学习模型的公平性、去偏见、安全性和隐私保护方面有很多实践经验。但这远并不意味着问题已经解决，我们还要进行长期的研究，以保证最先进的技术能够得到最合理的应用。

2020 年，多任务+多模型学习方法规模更大

你认为在 2020 年，人工智能领域有哪些发展趋势是最值得期待的？

Dean：我认为我们将看到大量的多任务学习和多模型学习方法的出现，而且规模更大。我认为这将是非常有趣的。

我认为，基于消费电子产品，如手机上的端侧 AI 模型将会成为持续发展的趋势，它们将会让人工智能应用更加高效。

显然，AI 原理相关的工作将会变得越来越重要。GoogleAI 是一个强大的研究机构，正在探索很多不同的方向，因此很难一一列举。但总的来说，我们希望发展最先进的技术，进行基础研究，以保持在关注领域内的领先地位，如 NLP、语言模型、视觉模型或多模型技术。我们会和其他部门、产品合作，将这些技术落地，构建有趣的新产品。我们希望能够发展除谷歌目前没有的机器学习产品，就像芯片设计这样。

比如家用机器人？

Dean：没错，我们进行了大量的机器人研究。我认为机器人是一个非常困难的方向——想要让机器人在任意环境中运行，比如摆满椅子的大会议室，是很困难的。但我们也可以看到，事实上人类在这方面近年来的研究进展是巨大的。我认为它是一个有趣的研究方向，我们在这里也投入了大量精力。

参考链接：

https://venturebeat.com/2019/12/13/google-ai-chief-jeff-dean-interview-machine-learning-trends-in-2020/