人工智能顶会 ICLR 2019 中优化与AI领域新动向概览

文章作者：疑疑，霍华德，王源

责任编辑：疑疑

编者按：第七届人工智能顶级会议 ICLR 2019（The International Conference on Learning Representations，简称 ICLR）论文评审结果已经公布，今年会议共接收1591篇论文投稿，较上一届981篇的投稿量增长了约60%，创下历史新高。 ICLR 2019将于明年5 月 6 日-9 日在美国路易斯安那州新奥尔良举行，逾4000人将参加此次会议。

此次会议中，强化学习、GAN、无监督学习、生成模型、优化以及表征学习仍然是最受关注的研究领域。本文在对此次会议做简单梳理的同时，也为读者提供了一个优化理论与人工智能/深度学习交叉领域论文索引式的介绍和导览。

一、ICLR会议简介

ICLR由「深度学习三驾马车」中的Yann LeCun 与 Yoshua Bengio于2013年联手发起，以发表和刊载深度学习相关的前沿研究闻名于世，会议聚集了致力于深度学习研究的业内顶尖牛人，是全球发展最快的人工智能会议之一。

二、2019审投稿概况

此次会议共接收1591篇论文投稿，相较去年981篇，增长近60%，审稿结果如下：24篇（1.5%）oral paper及476篇（29.9%）post paper被收录。

收录论文列表请参考：https://openreview.net/group?id=ICLR.cc/2019/Conference

ICLR2019论文统计显示，强化学习、GAN、无监督学习、生成模型、优化以及表征学习仍然是最受关注的研究领域。

来源：机器之心

排名前六的论文如下：

更多排名情况请参考：https://chillee.github.io/OpenReviewExplorer/index.html?conf=iclr2019

三、运筹学与AI研究动向

1.深度学习求解组合优化、整数规划、0/1优化

小编尝试搜索了combinatorial、integer和binary这三个关键词，共得到33个搜索结果（以下显示其中部分）：

2.人工智能底层优化问题的进展

关键词optimization共得到250个搜索结果，部分文章如下：

3.GAN

关键词GAN共得到124个搜索结果，不得不说GAN的文章是真的多啊，部分展示如下：

4.强化学习

关键词reinforcement learning共得到411个搜索结果，部分展示如下：

四、精选文章导读

文章题目：Attention, Learn to Solve Routing Problems

文章要点：用一个贪婪算法作为baseline来指导Pointer Network（一种神经网络）学习求解组合优化问题的过程。用贪婪算法作为baseline比传统增强学习的值函数能够更加有效。本文所提方法能够对节点数目在100以下的TSP（旅行商问题）问题有着较好的效果，同时本文还在相同超参数的情况下验证了该算法在两类VRP（车辆路径规划问题）问题上的求解效果。本文给如何用AI求解组合优化问题提供了新思路。

小编点评：最近将AI（人工智能）用于传统的组合优化问题求解的文章比较流行，刚结束的NIPS2018就有一篇用增强学习求解VRP问题的文章，小编看了之后深受启发。我们知道组合优化问题有很多都属于NP-hard问题，传统的基于纯运筹学的求解思路很难高效准确的得到这类问题的最优解，自然而然就想到如何让AI助力运筹学是一个很好的研究思路。本次ICRL2019的这篇文章还特意采用了这样的题目来吸睛“Attention, Learn to Solve Routing Problems”，作者可谓是“费尽心机”啊。

文章题目：Large Scale GAN Training for High Fidelity Natural Image Synthesis

文章要点：尽管最近有很多图像生成方面的进展，但是从ImageNet等复杂数据集中成功生成高分辨率、丰富多样的图像仍然是一个难以实现的目标。为此，文章作者训练了迄今为止规模最大的生成对抗网络，并研究了这种规模特有的不稳定性。他们发现使用正交正则化（orthogonal regularization）来训练生成器，可以使其具有简单的截断特性（truncation trick），可以通过截断潜在空间的调节，在样本保真度和多样性之间精细调节。这种调节方法可以让模型在图像生成中达到当前的最佳性能。当在 128x128 分辨率的 ImageNet 上训练时，本文提出的模型 -BigGAN - 可以达到 166.3 的 Inception Score（IS），以及 9.6 的 Frechet Inception Distance（FID），而之前的最佳 IS 和 FID 仅为 52.52 和 18.65。

小编点评：BigGAN是2018年在生成对抗网络方面的重大进展。很多学者都不敢相信这样高质量的图像竟是 AI 生成出来的。其中生成图像的目标和背景都高度逼真、边界自然，并且图像插值每一帧都相当真实。这是里程碑式的进步，deepmind又一次在人类面前展示了算力进步带来的无限潜力。由 DeepMind 带来的 BigGAN 可谓是小编见过最好的 GAN 模型。文章的创新点是将正交正则化的思想引入 GAN，通过对输入先验分布 z 的适时截断大大提升了 GAN 的生成性能。在 ImageNet 数据集下，Inception Score被提高了一百多分，是之前最好结果的三倍。

各位小伙伴一定有不少参会--『运筹OR帷幄』特此推出『ICLR 2019交流群』。『ICLR 2019交流群』入群方式：公众号后台回复“加微信群”。

在公众号后台回复“ICLR2019”即可获得文章Attention, Learn to Solve Routing Problems,Large Scale GAN Training for High Fidelity Natural Image Synthesis的下载链接

首发于微信公众号『运筹OR帷幄』

原文链接：https://mp.weixin.qq.com/s/ZEcUTOChFFYWLMvBuXaENQ

版权说明：本文由『运筹OR帷幄』编译整理，不作为商业用途，如有内容侵权，我们将随时删除。

欢迎查看原文，获取更多讯息！