【新智元导读】谷歌大脑实习项目(Google Brain Residency Program)一周年,硕果累累,在 ICML、ICLR、CVPR 等顶会上发文 30 多篇,还有十几篇正在 NIPS,ICCV 审核中。从机器学习理论到机器人技术到音乐生成,本文摘选介绍首届谷歌大脑实习的10个研究。
2015 年 10 月,谷歌大脑宣布推出“谷歌大脑实习计划”(Google Brain Residency Program),为期一年,为关注机器学习和深度学习的人开始职业生涯做准备。实习生能够利用谷歌得天独厚的基础设施,与领域里最顶尖的研究人员一起工作。
2016 年 6 月,第一届谷歌大脑实习计划正式开始。从计算机科学到物理、数学、生物和神经科学,成员背景不一。有的人博士刚毕业,也有人已经有多年的工作经验。他们研究的课题也从自然语言理解,机器人,到神经科学再到遗传学,覆盖广泛。
据悉,迄今为止,第一批谷歌大脑实习生已在 ICLR(15),ICML(11),CVPR(3),EMNLP(2),RSS,GECCO,ISMIR,ISMB 和 Cosyne 等领先的机器学习会议及刊物发表了 30 多篇论文(括号里的数字表明在相关会议发表的论文数量)。另外,还有 18 篇论文在 NIPS,ICCV,BMVC 和《自然-方法》审核中。
谷歌大脑实习计划一周年成果摘选
那么,下面我们就来看看这些成果(排名不分先后)。
先来看两篇发表在“交互式期刊” Distill 的工作:
1. “看见”神经网络如何生成手写字符
用交互式的方法探索了神经网络如何生成手写字符。相关论文:《用神经网络生成手写字符的 4 个实验》(Four Experiments in Handwriting with a Neural Network)。作者:Carter, et al., "Experiments in Handwriting with a Neural Network", Distill, 2016. http://doi.org/10.23915/distill.000
2. 探索机器人如何从观察中学习模仿人类运动的系统
论文《时间对比网络:多观察观察中的自监督学习》(Time-Contrastive Networks: Self-Supervised Learning from Multi-View Observation)。作者:Pierre Sermanet, Corey Lynch, Jasmine Hsu, Sergey Levine,CVPR Workshop (2017)
3. 用强化学习训练大规模分布式深度学习系统
通过优化计算到硬件设备分配,这个模型能够使用强化学习对大规模分布式深度学习网络进行训练。论文:《通过强化学习进行设备布局优化》(Device Placement Optimization with Reinforcement Learning)。作者:Azalia Mirhoseini, Hieu Pham, Quoc Le, Mohammad Norouzi, Samy Bengio, Benoit Steiner, Yuefeng Zhou, Naveen Kumar, Rasmus Larsen, Jeff Dean,ICML (2017)
4. 自动发现优化方法
提出了一种将方法优化方法自动化的方法,尤其是自动优化深度学习框架。论文:《用强化学习搜索神经网络优化器》(Neural Optimizer Search with Reinforcement Learning)。作者:Irwan Bello, Barret Zoph, Vijay Vasudevan, Quoc Le,ICML (2017)
5. 使用神经网络生成全新 RNN 架构,在许多任务上超越 LSTM 架构
设计神经网络十分繁琐困难。利用这种新技术,能够自动生成性能卓越的 RNN 架构。上图左边是一个 LSTM 架构,右边是使用神经网络生成的新型 RNN 架构。后者在各种不同任务上优于广泛使用的 LSTM。论文:《用强化学习搜索神经网络架构》(Neural Architecture Search with Reinforcement Learning)。作者:Barret Zoph, Quoc V. Le,ICLR (2017)
6. 理论计算能否取代大规模的超参数搜索?
颜色表示了神经网络的训练准确性,从黑(随机)到红(高精度)以此升高。白色虚线表示可训练和不可训练网络之间的理论边界。在上面的 4 幅图中,(a)表示没有 dropout 的网络,余下 3 个依次表示 dropout 率为 0.01, 0.02, 0.06 的网络。论文:《深度信息传播》(Deep Information Propagation)。作者:Samuel S. Schoenholz, Justin Gilmer, Surya Ganguli, Jascha Sohl-Dickstein,ICLR (2017)
7. 提升 GAN 合成图像的训练效果
上图展示了作者提出的 AC-GAN 与其他几种常用 GAN 的对比,从左到右依次是条件 GAN、半监督 GAN、InfoGAN。论文:《用带有辅助分类器的 GAN 做条件图像合成》(Conditional Image Synthesis With Auxiliary Classifier GANs)。作者:Augustus Odena, Christopher Olah & Jonathon Shlens,ICML(2017)
8. 使用神经网络为其他网络生成超参数
HyperNetwork 是生成另一个网络权重的网络。作者使用 HyperNetwork 生成 RNN 的权重,发现能为 LSTM 生成非共享权重,并在字符级语言建模、手写字符生成和神经机器翻译等序列建模任务上实现最先进的结果。上图显示了 HyperLSTM 模型生成的文本。四色方块是每个生成字符下方的变化范围,代表主 RNN 的 4 个权重矩阵(分别用红、绿、蓝、黄表示)。密度越高,代表主 RNN 权重变化越大。论文:《超网络》(HyperNetworks)。作者:David Ha, Andrew Dai, Quoc V. Le,ICLR (2017)
9. 用神经网络生成不同乐器的声音
提出了一种类似 WaveNet 的自编码器模型,让这个模型学习了一系列嵌入,通过插入元素,让生成在声音听上去像是由不同的乐器发出的。上图展示了这种模型的结构,能从原始音频波形中学习时间码,对自回归解码器进行调节。作者还介绍了一个高质量的大规模音符数据集 NSynth。论文:《WaveNet 自编码器合成音乐》(Neural Audio Synthesis of Musical Notes with WaveNet Autoencoders)。作者:Jesse Engel, Cinjon Resnick, Adam Roberts, Sander Dieleman, Douglas Eck, Karen Simonyan, Mohammad Norouzi,ICML (2017)
10. 有效利用噪音标签,提升分类精度
研究提出了一项利用噪音标签的方法。噪音标签就是那些有很多专家对一幅图像给出了不同标记的标签。作者使用一个神经网络对每个专家的标签都给出一组输出,然后学习平均权重来组合其预测。通过这种方法,知道哪位专家说了什么,对数据有了更好的标记,从而提高分类精度。上图是实验中对糖尿病视网膜病变严重程度的标记。论文:《谁说了什么:为单个标记者建模提升分类质量》(Who Said What: Modeling Individual Labelers Improves Classification)。作者:Melody Y. Guan, Varun Gulshan, Andrew M. Dai, Geoffrey Hinton,CVPR Workshop (2017)
谷歌大脑实习计划:毕业生去向及新一届招生
据悉,本届谷歌大脑实习计划的毕业生,有很多都留在谷歌大脑全职工作。其他人则进入斯坦福、伯克利、康奈尔、多伦多和 CMU 等顶级机器学习博士项目深造。
现在,第二届实习计划即将开始。同时,第三届招生计划 9 月开放。了解更多可以访问:g.co/brainresidency
了解其他研究工作,可以访问:https://research.google.com/pubs/BrainResidency.html