深度学习顶会“无冕之王” ICLR 2017录用结果出炉，精选13篇干货亮点

【新智元导读】素有深度学习届顶会“无冕之王”之称的 ICLR 2017公布了会议录用结果。作者从所有录用论文中精选了十三篇干货以飨读者。今年 ICLR 中涉及 GAN 和 Reinforcement learning 的工作巨多，间接反映了无监督学习和强化学习今后一段时间内在DL领域内的势头。

素有深度学习届顶会“无冕之王”之称的 ICLR 2017 今天公布了会议录用结果。总计490篇投稿，最终录用 oral 15篇（录用率3%），poster 181篇（录用率36.9%）。虽说 ICLR 相比其他同领域顶会录用率奇高，但也从侧面反映了ICLR投稿质量之优。

无法克制心中好奇，趁热撸了一遍录用文章列表，果然发现一众干货！分享给大家。

Oral Paper

1. Towards Principled Methods for Training Generative Adversarial Networks (Martin Arjovsky, Leon Bottou)：本篇是前段时间火热的 WGAN 的前作，在这篇文章中作者从理论上分析了原始 GAN 存在的问题，从而针对性地指出了改进要点。

2. Neural Architecture Search with Reinforcement Learning (Barret Zoph, Quoc Le) ：借助强化学习训练 RNN 来设计神经网络模型的结构，超 fancy。

3. On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima (Nitish Shirish Keskar, Dheevatsa Mudigere, Jorge Nocedal, Mikhail Smelyanskiy, Ping Tak Peter Tang)：在传统神经网络训练时，大的 batch size（如，超过512）会导致网络模型泛化能力下降，本文通过实验证明其原因是收敛到了sharp minima，并提出了一些解决方案。

4. Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data(Nicolas Papernot, Martín Abadi, Úlfar Erlingsson, Ian Goodfellow, Kunal Talwar)：利用半监督条件下的迁移学习解决训练数据涉及隐私的情况，是一种 DL 的新设定。在传统任务被刷到瓶颈期的现在，提出并解决新设定下 DL 问题不失为一种好的方式。

Poster Paper

5. Paying More Attention to Attention: Improving the Performance of Convolutional Neural Networks via Attention Transfer (Sergey Zagoruyko, Nikos Komodakis)：Knowledge transfer 中可以将“teacher”模型的 activation 迁移给“student”模型，但本文别出心裁提出可以将“teacher”模型的 attention 迁移过去。

6. Deep Predictive Coding Networks for Video Prediction and Unsupervised Learning (William Lotter, Gabriel Kreiman, David Cox)：借鉴神经科学“predictive coding”的灵感，基于视频的无监督学习。

7. Designing Neural Network Architectures using Reinforcement Learning (Bowen Baker, Otkrist Gupta, Nikhil Naik, Ramesh Raskar)：无独有偶，另一篇利用强化学习自动构建网络架构。

8. Generative Multi-Adversarial Networks (Ishan Durugkar, Ian Gemp, Sridhar Mahadevan)：含有多个判别器的GAN，加速收敛并得到更鲁邦结果。

9. Visualizing Deep Neural Network Decisions: Prediction Difference Analysis (Luisa M Zintgraf, Taco S Cohen, Tameem Adel, Max Welling)：提出一种可视化方法可以分析输入图像中哪个区域对分类预测结果起了作用。

10. Recurrent Batch Normalization (Tim Cooijmans, Nicolas Ballas, César Laurent, Çağlar Gülçehre, Aaron Courville)：RNN 版本 BN。

11. Adversarial Feature Learning (Jeff Donahue, Philipp Krähenbühl, Trevor Darrell)：传统GAN只能从latent vector到data distribution的映射，但无法找到 data 到 vector 的映射过程。然后，后一过程对表示学习则更有益处。本文提出双向 GAN（Bidirectional GAN）来解决这个问题。

12. Do Deep Convolutional Nets Really Need to be Deep and Convolutional? (Gregor Urban, Krzysztof J. Geras, Samira Ebrahimi Kahou, Ozlem Aslan, Shengjie Wang, Abdelrahman Mohamed, Matthai Philipose, Matt Richardson, Rich Caruana)：答案是“肯定的”。本文是第一篇从实验角度验证深度卷积网络确实需要深度和卷积操作来保障精度。

13. Adversarial Machine Learning at Scale (Alexey Kurakin, Ian J. Goodfellow, Samy Bengio)：将 GAN 应用于复杂模型和大数据场景。

写在最后

撸完 paper list 一个最大的感受就是今年 ICLR 中涉及 GAN 和 Reinforcement learning 的工作巨多，间接反映了无监督学习和强化学习今后一段时间内在 DL 领域内的势头。另外除了上述列举出的文章，还有不少把应用问题（如，VQA）刷到新 SoA 的工作。总的来说，ICLR 发表以及投稿的工作都相当 fancy，可谓“没有做不到只有想不到”。

笔者于阿德莱德。

（本文获作者授权转发，原文地址：https://zhuanlan.zhihu.com/p/25129666）