【重磅】谷歌大脑官方年度报告：TensorFlow、机器学习、自然语言处理（27 篇顶会论文）

【新智元导读】谷歌大脑负责人 Jeff Dean 今天在谷歌博客刊文，从论文发表、TensorFlow 到推广机器学习，全面总结团队 2016 年的工作，并分享 2017 年有哪些事情等着他们。

谷歌大脑的长期目标是，通过在各种不同领域的纯理论和应用研究，创造更多智能软件和系统，以改善人们的生活。这显然是一个长期目标，让我们回顾我们的团队在过去一年取得的一些进展，并分享我们认为在2017年有哪些事情等着我们。

论文发表

在 ICML，NIPS 和 ICLR 等顶级国际机器学习会议发表论文，是评价我们的研究的重要手段。去年，我们的团队共有27篇论文被这些会议接收，涵盖的主题十分广泛，包括程序综合（program synthesis），网络间知识转移（knowledge transfer from one network to another），机器学习模型的分布式训练（distributed training of machine learning models），语言生成模型（generative models for language），机器人无监督学习（unsupervised learning for robotics），自动定理证明（automated theorem proving），更好的理论理解神经网络（better theoretical understanding of neural networks），改进强化学习的算法（algorithms for improved reinforcement learning），以及其他。

我们还有许多其他论文在自然语言处理（ACL，CoNNL），语音（ICASSP），视觉（CVPR），机器人（ISER）和计算机系统（OSDI）领域会议被收录。我们的团队还向即将到来的ICLR 2017年提交了34篇论文，这是一个最前沿的深度学习研究顶级会议。

了解更多： https://research.google.com/pubs/BrainTeam.html。

自然语言理解

让计算机更好地了解人类语言是我们研究的一个重要领域。在2014年底，三位谷歌大脑团队研究员发表了一篇论文 ”Sequence to Sequence Learning with Neural Networks”，并证明该方法可以用于机器翻译。在2015年，我们表明，这种方法也可以用于生成图像的字幕、解析句子和解决计算几何问题。

在2016年，此前的研究（包括许多改进）最终使得我们团队成员与谷歌翻译团队密切合作，用完全端到端的学习系统（论文下载）完全取代了支持谷歌翻译的算法。这个新系统将一些语言在的旧系统和人类翻译质量之间的差距缩小了85％。

几个星期后，我们展示了系统如何做“零翻译（zero-shot translation）”，学习在语言之间翻译它从来没有见过的例句（论文下载）。此系统现在部署在谷歌翻译服务上，用于越来越多的语言，为我们的用户提供更高质量的翻译，让人们跨越语言障碍更有效地沟通。

Gideon Lewis-Kraus在 “ AI 原力觉醒（The Great A.I. Awakening）” 一文中记录了这种翻译工作，以及深度学习的历史和Google Brain团队的历史）。

这是一篇深度文章，发表在2016年12月的《纽约时报杂志》。点击上面的图片，回顾经典。

机器人

传统的机器人控制算法是小心翼翼通过人工精心编程的，因此打造具有新能力的机器人通常是一个非常费力的过程。我们认为机器人通过机器学习自动获得新技能是一个更好的方法。去年，我们与 Google X 的研究人员合作，展示机器人手臂如何学习手眼协调，汇集他们的经验更快地教会自己。我们的机器人在这项研究中进行了大约80万次的抓取尝试。

上排：机器人的手臂与常用家居用品的互动

下排：获得原始图像和一个行动序列后，预测未来的摄像头照片 在 2016 年晚些时候，我们探索了机器人学习新技能的三种可能的方式：通过强化学习以及人类示范，使它们自己与物体进行交互。其基本的思路是，让多个机器人分别学习，然后把学到的信息上传到服务器中，再共用服务器中的信息进行训练和调整。这种“集体主义”式的学习方法，不仅能将学习时间大大缩短，还能对任务的多样性进行扩充。

我们将继续这项工作，我们的目标是使机器人能够灵活、容易地学习新的任务并且能在凌乱的真实世界运转。为了帮助其他机器人研究人员，我们已经公开了多个机器人数据集。

医疗保健

我们对使用机器学习来提升医生和临床医疗的潜力感到兴奋。例如，在《美国医学协会杂志》（JAMA）发表的论文中，我们证明了机器学习驱动系统在诊断糖尿病性视网膜病变的能力与专业眼科医生旗鼓相当。如果糖尿病性视网膜病变的早期症状未被发现，将有超过4亿人面临失明的风险，但是在许多国家很少有眼科医生进行必要的筛查，这项技术可以帮助确保更多的人接受适当的筛查。

我们还在其他医学成像领域工作，以及调查机器学习用于其他类型的医学预测工作。我们相信，机器学习可以提高医生和患者的医疗体验的质量以及效率，我们将更多地谈谈我们在2017年在这一领域的工作。

音乐和艺术生成

技术一直帮助人们创造和共享媒体，例如印刷机、电影或电吉他。 去年，我们开始了一个名为 Magenta 的项目，探索艺术和机器智能的交汇点，以及使用机器学习系统来增强人类创造力的潜力。从音乐和图像生成开始，再到文本生成和 VR 等领域，Magenta 正在推动内容创作生成模型中的最先进技术发展。

我们帮助组织了一次为期一天的关于这些主题的研讨会，并支持了一次机器生成艺术的艺术展览。 我们探讨了音乐创作和艺术风格转移的各种主题，我们的音乐会演示获得了NIPS 2016的最佳演示奖。

AI 安全和公平

当我们开发更强大和更复杂的AI系统并将其部署在更广泛的真实世界中时，我们希望确保这些系统是安全和公平的，我们还希望构建工具，帮助人们更好地了解他们所生产的东西。

在人工智能安全领域，我们与斯坦福、伯克利和 OpenAI 的研究人员跨机构合作，发表了一篇关于人工智能安全 Concrete Problems 的白皮书。本文概述了一些我们认为在人工智能安全领域有真正的和基础研究的具体问题和领域。另外一个我们取得进展的安全性方面是，训练数据隐私保护，通过知识传递技术获得不同的隐私保证。

除了安全性，我们开始依靠人工智能系统做出更复杂和更复杂的决策，我们希望确保这些决定是公平的。在一篇关于监督学习机会平等的文章中（论文下载），我们展示了如何最佳地调整任何训练的预测因子，以防止某种形式的歧视，并且本文演示了一个基于FICO信用评分的案例。

为了使这项工作更易于访问，我们还进行了可视化，以交互探索说明这篇问了中的概念。（可视化链接： https://research.google.com/bigpicture/attacking-discrimination-in-ml/）

TensorFlow

在2015年11月，我们开源了TensorFlow的初始版本，以便机器学习社区的其他人可以从中受益，我们可以共同改进它。 在2016年，TensorFlow 成为GitHub上最受欢迎的机器学习项目，超过570个人进行了超过10,000次提交。TensorFlow 的模型库已经从社区的贡献发展壮大，还有超过5000个与 TensorFlow 相关的库在GitHub上列出！

此外，TensorFlow 已经被知名的研究小组和大型公司广泛采用，包括DeepMind，并可能应用于一些不寻常的应用，如发现海牛和在日本分类黄瓜。

我们已经进行了大量性能改进，增加了对分布式训练的支持，将 TensorFlow 引入到 iOS、Raspberry Pi 和 Windows，并将 TensorFlow 与广泛使用的大数据基础设施集成。我们通过改进可视化计算图形和嵌入的工具，将TensorBoard、TensorFlow 的可视化系统进行了扩展。

我们还使 TensorFlow 兼容 Go，Rust 和 Haskell，发布了最先进的图像分类模型-- Wide和Deep，并在Github、StackOverflow 和 TensorFlow 邮件中回答了数千个问题。TensorFlow 服务简化了在生产环境中提供 TensorFlow 模型的过程，对于在云中工作的用户，Google Cloud Machine Learning 提供 TensorFlow 作为托管服务。

去年11月，我们庆祝了 TensorFlow 开源周年，并在 OSDI 上——一个主要的计算机系统研究会议——发表了关于TensorFlow的计算机系统方面的论文。在与Google编译器团队同事的协作下，我们还一直在努力打造 TensorFlow 的后端编译器 XLA ，alpha 版本最近开源。

【拓展阅读】TensorFlow 实用技巧：模型盘点，使用情况及代码样例

本文将介绍当前 TensorFlow 上的所有抽象模型，描述每个模型的使用情况以及简单的代码样例。详细的示例请访问这里：https://github.com/c0cky/TensorFlow-in-a-Nutshell

建立和维护机器学习社区

我们也致力于推动机器学习教育。去年1月，Vincent Vanhoucke 作为 Brain 团队的研究主管之一 与 Udacity 合作开发并提供免费的深度学习在线课程。我们还整合了 TensorFlow Playground，一个有趣的交互系统，以帮助人们更好地可视化理解神经网络是如何学习完成任务的。

2016 年 6月，我们迎来了第一批27名谷歌大脑的常驻实习生（Residents），他们是2200名申请者中的佼佼者。7个月的时间里，他们进行了大量的原创研究，参与撰写了21篇研究论文。

2016 年 8月，许多大脑团队成员在 r/MachineLearning 社区上参与了Google Brain team Reddit AMA（Ask Me Anything）活动，回答了社区对机器学习、对我们的团队的许多问题。

这一年里，我们还接收了46名实习生（主要是博士生）与我们的团队成员进行合作研究。

在谷歌内部推广机器学习

除了上文列举的已向公众公布的活动外，我们还继续在谷歌内部众多产品团队中推广机器学习专业知识和认识，确保公司作为一个整体能够充分利用最新的机器学习研究成果。例如，我们与我们的平台团队紧密合作，为谷歌的张量处理单元（TPU）提供规范和高级目标，TPU是在 Google I/O 上公布的定制机器学习加速器 ASIC。这种定制芯片为机器学习的工作负载提供了指数级的提升，并已经广泛使用与我们的产品中，包括 RankBrain，最近推出的神经翻译系统，以及去年3月份在围棋对弈中打败李世石的 AlphaGo。

总结而言，2016年对于 Google Brain 团队以及谷歌内外的许多合作者和同事来说都是令人兴奋的一年，我们期待2017年我们的机器学习研究将产生更大的影响。

https://research.googleblog.com/2017/01/the-google-brain-team-looking-back-on.html?m=1