ICLR 2018最佳论文公布：Adam的收敛性，球面CNN， 连续适应获奖

基础问题的最新解！

AI 科技评论按：ICLR 2018 （International Conference on Learning Representations）于去年 10 月截至投稿后，论文评审已于今年 1 月结束，接收名单可以在 openreview.net 上查询到。3 篇最佳论文的名单今天也于今天公布了。

论文接受概况

此届 ICLR 共收到 935 篇论文投稿，337 篇被接受为会议论文，接受率为 36%；其中 23 篇为 oral（口头报告论文）、314 篇为 poster（海报展示论文）；另外还有 90 篇 workshop 论文。

作为人工智能领域最年轻的会议，ICLR 的成长速度可以说是飞快。ICLR 在 2013 年才举办了第一届，以「表征学习以及在视觉、语音、音频及 NLP 领域的作用」这一重要且热门的课题为主旨，借着 OpenReview 评审机制以及 Yoshua Bengio 和 Yann LeCun 两人的鼎力支持，到 2017 年举办第五届时已经得到了学术研究者们的广泛认可，被看作为「深度学习的顶级会议」。

在人工智能持续火热的背景下，ICLR 的投稿数量也依然在迅猛增长，ICLR 2015、2016、2017 收到的投稿分别为 143 篇、超过 265 篇、490 篇，今年 ICLR 2018 继续翻倍到了 935 篇。华盛顿大学计算机系教授 Pedro Domingos 都在推特上开玩笑说：「这已经成了深度学习界的摩尔定律了，ICLR 的投稿数目每年都要翻一倍。」

最佳论文

ICLR 2018 共评选出三篇最佳论文。

《On the Convergence of Adam and Beyond》

• 关于 Adam 等算法的收敛性的研究
• 作者：Sashank J. Reddi，Satyen Kale，Sanjiv Kumar ( 谷歌纽约 )
• 地址：https://openreview.net/forum?id=ryQu7f-RZ
• 摘要：近期人们提出了许多种随机优化方法，RMSProp、Adam、Adadelta、Nadam 等方法都是以之前步骤中的梯度平方的指数移动平均值的平方根为比例对梯度更新做缩放，然后成功应用在了深度神经网络的训练中。然而在许多应用中，比如具有很大输出空间的学习任务中，研究人员们都已经实证地观察到了这些算法无法收敛到一个最优解（或者无法在非凸场景下收敛到一个极值点）。在这篇论文中，作者们证明了算法出现这些问题的原因之一就是其中使用的指数移动平均值。作者们设置了一个简单的凸优化场景作为例子，其中 Adam 无法收敛到最优解，然后结合以往对 Adam 算法的分析详细描述了这个问题。作者们经过分析后认为，如果给这些算法增加对之前步骤中的梯度的「长期记忆」，就可以解决这个收敛性问题。作者们也一并提出了新的 Adam 算法变体，它不仅解决了收敛性问题，而且也可以在许多任务中提高实证表现。

《Spherical CNNs》

• 球面卷积神经网络
• 作者：（三位并列一作）Taco S. Cohen ( 阿姆斯特丹大学 )，Mario Geiger ( 瑞士联邦理工学院 )，Jonas Köhler ( 阿姆斯特丹大学 )，Max Welling ( 阿姆斯特丹大学 & CIFAR )
• 地址：https://openreview.net/forum?id=Hkbd5xZRb
• 摘要：对于涉及到 2D 平面图像的学习问题，卷积神经网络（CNN）已经成为了默认选择的方法。不过最近也有一些研究课题对于能够处理球面图像的模型产生了需求，比如无人机、机器人、自动驾驶汽车的全方位视觉问题，分子回归问题，以及地球的天气和气候建模问题。简单地把球面分布的信号投影到平面上，然后在上面应用卷积神经网络的做法是肯定会失败的，因为这种投影带来的空间变化扭曲失真会让共享变换权重不再有效。

在这篇论文中作者们介绍了构建球面 CNN 所需的基础理论。作者们提出了一种球面互相关的定义，它不仅有良好的表达性，而且具有旋转不变性。这种球面相关性可以满足一般性的 Fourier 定理，也就使得我们可以使用一般性的（非交换的）快速 Fourier 变换（FFT）算法对其进行高效的计算。作者们也展现了把球面 CNN 用于 3D 模型识别和雾化能量回归问题中的计算效率、数值精度以及有效性。

《Continuous Adaptation via Meta-Learning in Nonstationary and Competitive Environments》

• 在非稳态和竞争性环境中通过元学习方法实现连续适应
• 作者：Maruan Al-Shedivat ( CMU )，Trapit Bansal ( 马萨诸塞大学阿默斯特分校 )，Yura Burda、Ilya Sutskever、Igor Mordatch ( OpenAI )，Pieter Abbeel ( UC 伯克利 )
• 地址：https://openreview.net/forum?id=Sk2u1g-0-
• 摘要：达成通用智能的其中一个重要里程碑，是掌握在非稳态环境中根据有限的经验连续学习和适应的能力。在这篇论文中，作者们把持续适应的问题放在了「学习如何学习」（learning-to-learn）框架中进行研究。作者们开发了一个简单的基于梯度的元学习算法，它适用于在动态变化以及对抗性的场景中进行适应。除此之外，作者们还设计了一个新的多智能体竞争环境 RoboSumo，并且定义了多种迭代适应游戏，用于测试连续适应的各个方面。作者们表明，基于元学习的方法要比基于小样本学习思路设计的响应式基准模型的适应效率高得多。作者们对大批智能体进行的一系列学习、竞争实验结果也显现出基于元学习的学习者是适应能力最强的。

ICLR 2017 的三篇最佳论文如下，AI 科技评论也编译了其中两篇的作者现场演讲，感兴趣的读者可以点击链接回顾。

《用半监督知识迁移解决深度学习中训练隐私数据的问题》（Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data），演讲者/论文一作：Nicolas Papernot

《通过递归实现神经编程架构通用化》（Making Neural Programming Architectures Generalize via Recursion）

《泛化——一个理解深度学习需要重新思考的问题》（Understanding deep learning requires rethinking generalization），演讲者/论文一作：张驰原

ICLR 2018 正会将于 4 月 30 日到 5 月 3 日在加拿大温哥华举行，到时 AI 科技评论也将继续带来即时报道。