Jeff Dean 演讲直播：自主机器学习成为谷歌大脑最新研究热点（PPT）

【新智元导读】谷歌大脑负责人 Jeff Dean 今天上午在 UCSB 做了题为《通过大规模深度学习构建智能系统》的演讲。新智元结合 UCSB CS 在 Twitter 的文字直播，将这场最新演讲整理如下。Jeff Dean 谈了谷歌大脑近来的工作进展，包括最新发布的 TensorFlow 1.0、将深度学习用于检测癌症，以及在自主机器学习方面的探索。在问答环节，Jeff Dean 对人工智能的未来表示乐观，说不认为 AI 的下一个冬天会到来。

谷歌大脑负责人 Jeff Dean 今天上午在美国加州大学圣塔芭芭拉分校（UCSB）做了题为《通过大规模深度学习构建智能系统》的演讲。

UCSB CS 在 Twitter 上做了全程文字直播。作为谷歌 Senior Fellow、美国工程院院士，Jeff Dean 的号召力可见一斑。

房间里坐满了人——Jeff 来了！

UCSB CS 系主任 Ambuj Singh 首先上台，对 Jeff Dean 以及本次演讲做了简单的介绍。

熟悉的谷歌大脑标准 PPT 模板登场，这次 Jeff Dean 的演讲题目是《通过大规模深度学习构建智能系统》。

上场后，Jeff Dean 对演讲内容做了概述，即介绍谷歌大脑过去 5 年的工作，重点是去年底至今的研究，比如 TensorFlow，重点介绍在构建 TensorFlow 时所做的一些设计决策，还有在将深度学习应用于 Google 产品中的各种问题，包括医疗、机器人、自主机器学习，以及机器学习硬件加速器。

Dean 说：“工作让机器变得更智慧，让人类生活得更美好，是我们的使命。”

深度学习在谷歌：超越人类水平

Jeff Dean 介绍，谷歌在深度学习方面的工作，始于他们在 2012 年 ICML上提交的关于无监督图像学习的论文。

借助更强大的算力和更多的数据，神经网络如今比其他方法更有效。

近年来，深度学习已经在谷歌产品中得到了广泛的使用。

TensorFlow 是开源机器学习软件平台，目标是成为人工智能的算法引擎，不仅提供卷积、池化、LSTM 等深度学习基本元件，还有很多基本的计算操作。今年年初，谷歌围绕算法开发推出了 TensorFlow Serving，将算法动态部署到线上。

在最新推出的 TensorFlow 1.0 里面，谷歌推出了替代一系列新功能，比如 scikit-learn 的 tf.contrib.learn、加速动态图计算的 TensorFlow Fold、支持 Java/Go 语言的接口，以及分布式实例等等。

Jeff Dean 说，TensorFlow 1.0 保证了 backward API 的兼容性。

Dean 以 Github 的星级（Star）表明 TensorFlow 受欢迎的程度。Dean 还透露，现在 TensorFlow 有 475 个非谷歌的贡献者。

在介绍谷歌对深度学习使用情况时，Jeff Dean 再次提到，在使用了深度学习的方法后，谷歌语音识别的词错误率下降了30%。

不仅如此，在医疗诊断领域，深度学习也展现了巨大的潜力。在这里，Dean 以深度学习帮助医学图像检测糖尿病为例。

Jeff Dean 说，就在上周，谷歌发布了他们在病理学方面的进展，这项工作的挑战在于大规模的图像识别和检测。“在一项研究中，我们的深度学习系统比病理学家表现得更好。” 他说。

根据 Google Research 官方博客，谷歌大脑的一些研究人员探索了将深度学习应用到数字化病理学的方法，通过开发自动检测算法，辅助病理学家检测癌症图像的工作。在实验中，谷歌大脑开发的算法表现与病理学家相当甚至更好——更好主要体现在两方面，一是时间，二是准确率。

淋巴结活组织检查特写图。图中显示的组织包含了乳腺癌细胞和巨噬细胞，两者外观十分相似。谷歌的算法成功识别了出了肿瘤区域（以亮绿标识），没有被巨噬细胞所迷惑。

谷歌大脑研究人员在博文中写道，“算法的 FROC 得分达到了 89%，大大超过了病理学家无时间限制进行诊断的得分（73%）”。此外，研究人员表示，他们的模型泛化能力很好，在不同医院使用不同扫描仪得到的图片都能使用。想要了解更多，可参考我们的论文。

接下来，Dean 介绍了谷歌在机器人、机器翻译等方面使用深度学习的情况。

“我们正在把深度学习和机器人结合在一起。”

“2009年，你说收件箱能做智能回复还是个愚人节笑话，2015年以后已经是现实了。”

“在谷歌翻译中使用seq2seq，使得全球沟通更加顺畅。”

用超强大的计算力，让机器学习算法不再成为问题

在介绍机器学习硬件加速器的时候，Jeff Dean 说我们需要更大、更稀疏的模型（ bigger models, but sparsely activated）。

对深度学习来说，计算能力十分关键。

Jeff Dean 在演讲中提到，当前的做法是：

解决方案 = 机器学习（算法）+ 数据 + 计算力

未来有没有可能变为：

解决方案 = 数据 + 100 倍的计算力？

因此，谷歌大脑在积极研究机器学习加速器。

Jeff Dean 以谷歌自主开发的 TPU 为例子。

TPU 不是别的，正是谷歌专为机器学习应用自己研发的加速器，也是 AlphaGo 打败李世石的秘密武器。TPU 的消息在去年谷歌 I/O 大会公布出来，引发业界震动。虽然谷歌表示，TPU 是辅助 GPU 用的，并不会替代 GPU。

但是，研发 TPU 的项目是秘密进行的，而且在消息发布前，谷歌已经在内部使用了这款芯片大约一年的时间，包括用于谷歌搜索的 RankBrain 算法。种种迹象，都不得不让以英伟达为代表的深度学习加速器开发商心生警惕。

Jeff Dean 在演讲中说，我们需要更多的计算能力，对于某些机器学习任务来说，降低计算精度是不错的选择。

根据谷歌 TPU 团队主要负责人、被谷歌挖去专门研发 TPU 的硬件大牛 Norm Jouppi 在 Google Research 博客的介绍，TPU 专为机器学习应用打造，可以降低精度运算，因而能够在同样时间内处理更复杂、更强大的机器学习模型，并更快地将这些模型投入使用，用户也能得到更快速、更智能的回复，从而形成一个正循环。

Jeff Dean 也在演讲中展示了 TPU 的两个主要贡献，一个是计算不需要高精度，一个是做 ASIC 是因为只有少部分的功能需要加速，比如矩阵乘。

自主机器学习，让机器学会学习

演讲的最后一个话题是近来大家都很关注的机器自主编程。

Jeff Dean 介绍说，谷歌大脑最近的一个研究热点是自主机器学习，也即让机器学会学习。在此前的 AI Frontiers 会议上，Jeff Dean 也表示，目前人工智能领域解决问题所需的就是机器学习技术、计算和数据，我们能否减少对这种技术本身的需求呢？他认为是可能的。“自动机器学习”这个方向正是他来到的 Google Brain 团队正在积极探索的最有希望的领域之一。”

在这方面，谷歌从两个方向开展了探索，一是强化学习。Dean 说，强化学习很有希望用于构建能够生成模型的模型。

近年来，深加强学习（RL）系统已经在许多富有挑战性的任务领域中获得了超人的性能。然而，这种应用的主要限制是它们对大量训练数据的需求。因此，关键的目前的目标是开发可以快速适应新任务的深度 DL 方法。

与此相关的一项工作，是 DeepMind 的研究人员今年年初与 UCL 的神经科学家合作，让算法《学习强化学习》（Learning to reinforcement learn）。“在目前的工作中，我们引入了一种新的方法来应对这种挑战，我们称之为深度元强化学习。以前的工作表明，递归网络（RNN）可以在完全监督的上下文中支持元学习。我们将这种方法扩展到 RL 设置。由此出现的是一个使用一种 RL 算法训练的系统，但是其递归的动力却来自另一个完全独立的 RL 过程。这个独立的、习得的 RL 算法可以以任意方式与原始算法不同。重要的是，因为它是经过训练习得的，这个算法在配置上（configured）利用训练领域中的结构。”

论文描述了研究人员在一系列共计 7 个概念验证实验中证明了上述观点，每个实验都检查深度元 RL 的一个关键方面。具体可以阅读论文 https://arxiv.org/pdf/1611.05763v2.pdf

另一项相关的研究，是谷歌大脑使用强化学习搜索神经网络架构。此外，新智元对相关论文做过报道。

摘要

我们将首先描述一种简单的方法，利用递归网络结构生成卷积网络结构。我们将阐明如何利用策略梯度法训练递归神经网络，从而使神经网络样品的准确性实现最大化。在我们的核心方法中有几处提升，如形成跳跃联系来提高模型的复杂度，采用参数服务器加快训练速度。在本章节的最后一部分，我们的研究重点在于生成递归网络结构，这是本文的另一个要点。

神经网络搜索示意图（图上关键词上右下左依次为）样品模型A与可能性P、训练儿童神经网络A来获取精确度R、计算P的梯度并以精确度R定义范围来更新控制器、控制器(递归神经网络)

关于自主机器学习，另一大方向是演化算法，Jeff Dean 在演讲中说，“我们还在演化方法上做了探索，使用演化算法自动搜索（可行的）模型架构”。

以上即为 Jeff Dean 演讲的主要内容。

最后，在问答环节，有人问 Jeff Dean 他认为下一个人工智能的冬天会到来吗。Jeff Dean 说不会，现在计算能力和可以用的数据都比以往好太多了。Jeff Dean 对人工智能的未来表示乐观。