Jeff Dean晒谷歌大脑成绩单，TPU、AutoML、TensorFlow等重大突破

新智元编译

作者：Jeff Dean

翻译：刘小芹 弗朗西斯

【新智元导读】谷歌大脑负责人 Jeff Dean 今天在谷歌博客刊文，从AutoML、语言理解、机器学习算法、机器学习系统等核心研究工作，以及开源软件、数据集和新的机器学习硬件等方面，全面总结谷歌大脑在2017年取得的成绩。

谷歌大脑团队作为整个谷歌AI的一部分，致力于通过研究和系统工程推进人工智能的进步。去年这个时候，

我们分享了2016年的工作总结

。自那以后，我们继续在让机器拥有智能的长期研究进程中不断取得进展，并与谷歌和Alphabet的许多团队合作，利用这些研究成果来改善人们的生活。在本文，我将重点介绍我们在2017年的一些工作，包括一些基础研究工作，以及开源软件，数据集和新的机器学习硬件。在即将发表第二篇文章中，我们将深入介绍机器学习可能产生重大影响的特定领域的研究，例如医疗保健，机器人和一些基础科学领域，以及关于创造性、公平性和包容性的工作。

核心研究

我们团队重点关注的是增加我们的理解、提高我们解决机器学习领域的新问题的能力。以下是去年我们研究的几个主题。

AutoML

自动化机器学习的目标是为计算机开发能够自动解决新的机器学习问题的技术，而不用每次遇到新问题都需要人类机器学习专家干预。如果我们想要真正的智能系统，这是所需要的最基本的能力。我们开发了使用强化学习和进化算法设计神经网络结构的新方法，将这项工作推广到ImageNet图像分类和检测领域的最新成果，并展示了如何自动学习新的优化算法和有效的激活函数。我们正在积极与谷歌Cloud AI团队合作，将这项技术提供给谷歌的客户，并继续在多个方向推进这项研究。

利用神经结构搜索发现卷积结构

利用AutoML发现的网络进行对象检测

话语理解与生成

另一个主题是开发新的技术来提高计算机理解和生成人类语言的能力，包括我们与Google speech团队合作，对谷歌的端到端语音识别方法进行了一系列改进，将谷歌的语音识别系统的相对词错率降低了16％。这项工作的一个很好的方面是，它需要结合许多不同的研究思路（你可以在Arxiv上找到：1,2,3,4,5,6,7,8,9）。

用于语音识别的Listen-Attend-Spell端到端模型的组件

我们还与谷歌的Machine Perception团队合作开发了一种新的文本到语音生成方法（Tacotron 2），大大提高了生成语音的质量。这个模型达到了4.53的平均意见得分（MOS），相比之下，有声读物中的专业录音的MOS为4.58，而以前最好的计算机生成语音系统得分是4.34。你可以在这里试听：https://google.github.io/tacotron/publications/tacotron2/index.html

Tacotron 2的模型架构

新的机器学习算法和方法

我们继续开发新的机器学习算法和方法，包括Hinton提出的capsules的工作（在执行视觉任务时，显式地寻找激活特征中的一致性作为评估多个不同噪声假设的方式），稀疏门控专家混合层（实现了超大规模但仍有计算效率的模型），hypernetworks（使用一个模型的权重来生成另一个模型的权重），新的multi-modal模型（在同一个模型上执行音频、视觉和文本输入的多个学习任务），基于attention的机制（卷积和循环模型的代替），symbolic和non-symbolic学习的优化方法，通过离散变量反向传播的技术，以及一些新的强化学习算法的改进。

计算机系统的机器学习

我们非常感兴趣的另一个方向是在计算机系统中用机器学习取代传统的启发式方法。我们已经展示了如何使用强化学习来进行放置决策（placement decision），以将计算图映射到比人类专家更好的一组计算设备上。与Google Research的其他同事一起，我们在“The Case for Learned Index Structures” 这篇论文中展示了神经网络比传统数据结构（如B-trees，哈希表和Bloom过滤器）速度更快，也更小。我们相信，在核心计算机系统中使用机器学习方面我们仍仅是摸到了皮毛，正如在NIPS的Machine Learning for Systems and Systems for Machine Learning研讨会上所述。

作为Index结构的学习模型

隐私和安全

机器学习及其与安全和隐私的交叉领域仍然是我们的主要研究问题。在一篇获得ICLR 2017最佳论文奖的论文（arXiv:1610.05755）中我们展示了机器学习技术可以以一种提供不同隐私保证的方式应用。我们还继续调查了对抗样本的性质，包括在物理世界中展示对抗样本，以及如何在训练过程中大规模利用对抗样本，以使模型相对于对抗性样本更加robust。

了解机器学习系统

虽然深度学习取得了许多令人印象深刻的成果，但更重要的是理解它为什么work，以及什么时候不work。在另一篇ICLR 2017最佳论文奖的论文（Understanding deep learning requires rethinking generalization）中，我们发现目前的机器学习理论框架无法解释深度学习方法的令人印象深刻的结果。我们还发现，最优化方法找到的最小值的“平坦度”（flatness）并不像最初认为的那样与良好的泛化紧密相关。

为了更好地理解深层架构下的训练是如何进行的，我们发表了一系列分析随机矩阵的论文，因为随机矩阵是大多数训练方法的出发点。了解深度学习的另一个重要途径是更好地衡量它们的表现。在最近的一项研究（arXiv:1711.10337）中，我们展示了良好的实验设计和统计严谨性的重要性，比较了多个GAN方法，发现许多流行的生成模型增强并没有提高性能。我们希望这项研究能够为其他研究人员提供一个可靠的实验研究的例子。