ICLR 2019 |一文尽览 ICLR 2019 Facebook & Google 入选论文

AI 科技评论按，近日，ICLR 2019 论文入选结果公布，各大公司和研究院纷纷在博客上公布了今年入选的论文。

其中，Facebook 战果满满，一共有 23 篇论文入选。值得注意的是，2018 年图灵奖得主 Yann LeCun 是其中两篇入选论文的共同作者之一。Facebook 人工智能研究院研究员、围棋项目负责人田渊栋博士也参与了其中两篇论文的写作。

而一直备受关注的 Google 在今年也有 57 篇论文入选了 ICLR 2019，其中，oral 论文有三篇。

雷锋网 AI 科技评论整理了今年 ICLR 2019中，Facebook 和 Google 入选论文的全名单。在查看全名单之前，让我们先来看看 Yann LeCun、田渊栋参与的 4 篇论文和 Google 的3 篇 oral 论文吧~

Facebook Yann LeCun、田渊栋参与的入选论文：

• Model-Predictive Policy Learning with Uncertainty Regularization for Driving in Dense Traffic

标题：基于不确定性正则化的密集交通驾驶模型预测策略学习

作者：Mikael Henaff, Alfredo Canziani, Yann LeCun

摘要：学习仅使用观察数据的策略是具有挑战性的事情，因为它在执行时产生的状态分布可能与训练期间观察到的分布不同。在这项工作中，我们计划训练一个策略，同时明确惩罚这两个分布之间在固定时间范围内的不匹配。我们通过使用一个已学习的环境动力学模型来实现这一点，该模型展开了多个时间步骤，并训练了一个策略网络，以最大限度地降低在这个展开的轨迹上的可区分成本。这一成本包含两种形式：代表策略寻求优化目标的策略成本，以及代表其与受训状态的差异的不确定性成本。我们建议使用有关其自身预测的动力学模型的不确定性，利用深度网络不确定性估计的最新思想来测量第二种成本。我们使用交通摄像头记录的驾驶行为的大规模观测数据集评估我们的方法，结果表明我们能够从纯粹的观测数据中学习有效的驾驶策略，而无需与环境交互。

• The role of over-parametrization in generalization of neural networks

标题：超参数化在神经网络泛化中的作用

作者：Behnam Neyshabur, Zhiyuan Li, Srinadh Bhojanapalli, Yann LeCun, Nathan Srebro

摘要：尽管现有的工作是确保神经网络在尺度敏感的复杂性度量方面的泛化，如规范、边缘和锐度，但这些复杂性度量并不能解释为什么神经网络在过参数化的情况下泛化得更好。在这项工作中，我们提出了一种新的基于单位容量的复杂度度量方法，从而使两层 ReLU 网络具有更严格的泛化边界。我们与误差行为相关的的容量边界与不断增加的网络规模相关（在实验报告的范围内），并且可以部分解释过度参数化在泛化方面的改进。我们进一步提出了一个匹配的 Rademacher 复杂度下限，相比以前的神经网络容量下限，它是有所改善的。

• Mind-aware Multi-agent Management Reinforcement Learning

标题：多智能体管理强化学习

作者：Tianmin Shu, Yuandong Tian

摘要：先前，大多数关于多代理强化学习（MARL）的工作都是通过直接学习每个代理的策略来实现最佳协作，从而最大限度地提高公共奖励。在本文中，我们的目标是从另一个角度来解决这个问题。特别是，我们考虑的场景是，有一些自我意识的人（工人代理），他们有自己的想法（偏好、意图、技能等），并且不能听命去执行他们不想做的任务。为了实现这些代理之间的最佳协调，我们训练一个超级代理（经理），通过根据当前和过去的观察推断他们的想法来管理他们，然后发起契约，将合适的任务分配给工人，并承诺给他们相应的奖金，以便让他们同意一起工作。管理者的目标是最大限度地提高整体生产力，同时最大限度地减少向临时团队支付的费用。为了对管理者进行训练，我们提出了由智能体建模和策略学习组成的多智能体管理强化学习。我们已经在两个环境中评估了我们的方法：资源收集和制作，以通过各种任务设置和工人代理的多种设计来模拟多代理管理问题。实验结果验证了我们的方法在在线模拟工人——代理人的思维以及实现具有良好通用性和快速适应性的最佳临时团队中的有效性。

• Algorithmic Framework for Model-based Deep Reinforcement Learning with TheoreticalGuarantees

标题：基于模型的深层强化学习理论保证算法框架

作者：Yuping Luo, Huazhe Xu, Yuanzhi Li, Yuandong Tian, Trevor Darrell, Tengyu Ma

摘要：基于模型的强化学习（RL）被认为是减少阻碍无模型 RL 的样本复杂性的一种有前途的方法。然而，对这些方法的思想的理论理解却相当有限。本文介绍了一种新的算法框架，用于设计和分析具有理论保证的基于模型的 RL 算法。我们设计了一个元算法，在理论上保证局部改进到期望反馈的局部最大值，该元算法根据估计的动力学模型和样本轨迹迭代地建立期望反馈的下界，然后在策略和模型上共同最大化下界。该框架将面对不确定性行为的优先探索扩展到非线性动力学模型，不需要显式地量化不确定性。通过对我们的框架进行简化，我们给出了一种基于模型的随机下界优化（SLBO） RL 算法的变体。实验证明，当一系列连续控制基准任务中允许至少一百万个样本时，SLBO 达到了世界领先水平的性能。

Google 的 3 篇 oral 入选论文：

• ENABLING FACTORIZED PIANO MUSIC MODELINGAND GENERATION WITH THE MAESTRO DATASET

标题：使用 Maestro 数据集实现钢琴音乐分解的建模和生成

作者：Curtis Hawthorne，Andriy Stasyuk，Adam Roberts，Ian Simon，Cheng-Zhi Anna Huang，Sander Dieleman， Erich Elsen，Jesse Engel & Douglas Eck

摘要：众所周知，用神经网络直接生成音乐音频是非常困难的，因为它有时需要在许多不同的时间尺度上连贯地建模。幸运的是，大多数音乐也是高度结构化的，可以表示为乐器上演奏的离散音符事件。在本文中，我们证明了通过使用 Notes 作为中间表示，可以训练一组能够在六个数量级（0.1 ms～_10 s）的时间尺度上转录、构建和合成具有连贯音乐结构的音频波形，我们称之为 Wave2Midi2Wave。我们发布了新的 MAESTRO （为同步音轨和组织编辑的 MIDI 和音频）数据集，实现了这一大进步。该数据集由超过 172 小时的虚拟钢琴表演组成，在音符标签和音频波形之间进行了精确校准（误差不超过 3 ms）。网络和数据集一起为创造新的音乐表达和可解释的神经模型提供了一种有前景的方法。

• GENERATING HIGH FIDELITY IMAGESWITH SUBSCALE PIXEL NETWORKSAND MULTIDIMENSIONAL UPSCALING

标题：利用子尺度像素网络和多维上尺度生成高保真图像

作者：Jacob Menick，Nal Kalchbrenner

摘要：无条件生成高保真图像是测试图像解码器性能的一个长期的基准。用于测试图像解码器的性能。自回归图像模型能够无条件地生成小图像，但将这些方法推广到更容易评估逼真度的大图像，仍然是一个开放性问题。其中的主要挑战是对大量的上下文进行编码的能力，并且，学习保持全局语义一致性和细节精确性的分布也很困难。为了解决前一个挑战，我们提出了一种条件解码器——子尺度像素网络（SPN），它生成的图像是一系列大小相等的子图像。该方法可以捕获图像的空间相关性，并要求对内存进行细分。为了解决后一个挑战，我们建议使用多维上向缩放，通过使用不同的 SPNs，扩大图像的大小和深度。我们评估了无条件生成尺寸为 256 的 CelebAHQ 和尺寸为 32 到 256 的 ImageNet 的 SPN。我们在多个设置中实现了最先进的可能的结果，在以前未探索的设置中建立了新的基准结果，并且能够在两个数据集的基础上生成非常高保真的大规模样本。

• META-LEARNING UPDATE RULES FOR UNSUPER[1]VISED REPRESENTATION LEARNING

标题：无监督表示学习的元学习更新规则

作者：Luke Metz，Niru Maheswaranathan，Brian Cheung，Jascha Sohl-Dickstein

摘要：无监督学习的一个主要目标是发现对后续任务有用的数据表示，从而不需要在训练期间访问受监督的标签。通常，这涉及到最小化替代目标，例如生成模型的负对数概率，以期对后续任务有用的表示将会产生影响。在这项工作中，我们建议通过元学习（meta-learning）直接把以后需要的任务当做目标。这是一个无监督的学习规则，它会导致对这些任务有用的表示。具体来说，我们以半监督分类性能为目标，元学习了一个算法，一个无监督的权重更新规则——它生成了对这项任务有用的表示。此外，我们将无监督更新规则约束为生物动机的神经元局部函数，使其能够推广到不同的神经网络体系结构、数据集和数据模式。我们展示了元学习更新规则产生有用的功能，它有时优于现有的无监督学习技术。进一步证明了元学习无监督更新规则推广到具有不同宽度、深度和非线性的训练网络。它还推广到随机置换输入维度的数据的训练，甚至将图像数据集类推到文本任务。

Facebook & Google ICLR 2019 入选论文全名单

Facebook 今年入选的全部论文如下：

1. A Universal Music Translation Network
2. A Variational Inequality Perspective on GANs
3. Adaptive Input Representations for Neural Language Modeling
4. Algorithmic Framework for Model-based Deep Reinforcement Learning with Theoretical Guarantees
5. Code2seq: Generating Sequences from Structured Representations of Code
6. Efficient Lifelong Learning with A-GEM
7. Environment Probing Interaction Policies
8. Equi-normalization of Neural Networks
9. Fluctuation-Dissipation Relations for Stochastic Gradient Descent
10. Generative Question Answering: Learning to Answer the Whole Question
11. Hierarchical Proprioceptive Controllers for Locomotion in Mazes
12. Learning Dynamics Model in Reinforcement Learning by Incorporating the Long Term Future
13. Learning Exploration Policies for Navigation
14. Learning When to Communicate at Scale in Multi-agent Cooperative and Competitive Tasks
15. M3RL: Mind-aware Multi-agent Management Reinforcement Learning
16. Multiple-Attribute Text Rewriting
17. No Training Required: Exploring Random Encoders for Sentence Classification
18. Pay Less Attention with Lightweight and Dynamic Convolutions
19. Quasi-Hyperbolic Momentum and Adam for Deep Learning
20. Selfless Sequential Learning
21. Spreading Vectors for Similarity Search
22. Unsupervised Hyper-Alignment for Multilingual Word Embeddings
23. Value Propagation Networks

Google 今年入选的全部论文如下：

• oral：

1. Generating High Fidelity Images with Subscale Pixel Networks and Multidimensional Upscaling
2. Enabling Factorized Piano Music Modeling and Generation with the MAESTRO Dataset
3. Meta-Learning Update Rules for Unsupervised Representation Learning

• posters：

1. A Data-Driven and Distributed Approach to Sparse Signal Representation and Recovery
2. Bayesian Deep Convolutional Networks with Many Channels are Gaussian Processes
3. Diversity-Sensitive Conditional Generative Adversarial Networks
4. Diversity and Depth in Per-Example Routing Models
5. Eidetic 3D LSTM: A Model for Video Prediction and Beyond
6. GANSynth: Adversarial Neural Audio Synthesis
7. K for the Price of 1: Parameter-efficient Multi-task and Transfer Learning
8. Learning to Describe Scenes with Programs
9. Learning to Infer and Execute 3D Shape Programs
10. The Singular Values of Convolutional Layers
11. Unsupervised Discovery of Parts, Structure, and Dynamics
12. Adversarial Reprogramming of Neural Networks
13. Discriminator Rejection Sampling
14. On Self Modulation for Generative Adversarial Networks
15. Towards GAN Benchmarks Which Require Generalization
16. Understanding and Improving Interpolation in Autoencoders via an Adversarial Regularizer
17. A new dog learns old tricks: RL finds classic optimization algorithms
18. Contingency-Aware Exploration in Reinforcement Learning
19. Discriminator-Actor-Critic: Addressing Sample Inefficiency and Reward Bias in Adversarial Imitation Learning
20. Diversity is All You Need: Learning Skills without a Reward Function
21. Episodic Curiosity through Reachability
22. Learning to Navigate the Web
23. Meta-Learning Probabilistic Inference for Prediction
24. Multi-step Retriever-Reader Interaction for Scalable Open-domain Question Answering
25. Near-Optimal Representation Learning for Hierarchical Reinforcement Learning
26. Neural Logic Machines
27. Neural Program Repair by Jointly Learning to Localize and Repair
28. Optimal Completion Distillation for Sequence Learning
29. Recall Traces: Backtracking Models for Efficient Reinforcement Learning
30. Sample Efficient Adaptive Text-to-Speech
31. Synthetic Datasets for Neural Program Synthesis
32. The Laplacian in RL: Learning Representations with Efficient Approximations
33. A Mean Field Theory of Batch Normalization
34. Efficient Training on Very Large Corpora via Gramian Estimation
35. Predicting the Generalization Gap in Deep Networks with Margin Distributions
36. InfoBot: Transfer and Exploration via the Information Bottleneck
37. AntisymmetricRNN: A Dynamical System View on Recurrent Neural Networks
38. Complement Objective Training
39. DOM-Q-NET: Grounded RL on Structured Language
40. From Language to Goals: Inverse Reinforcement Learning for Vision-Based Instruction Following
41. Harmonic Unpaired Image-to-image Translation
42. Hierarchical Generative Modeling for Controllable Speech Synthesis
43. Learning Finite State Representations of Recurrent Policy Networks
44. Learning to Screen for Fast Softmax Inference on Large Vocabulary Neural Networks
45. Music Transformer: Generating Music with Long-Term Structure
46. Universal Transformers
47. What do you learn from context? Probing for sentence structure in contextualized word representations
48. Doubly Reparameterized Gradient Estimators for Monte Carlo Objectives
49. How Important Is a Neuron?
50. Integer Networks for Data Compression with Latent-Variable Models
51. Modeling Uncertainty with Hedged Instance Embeddings
52. Preventing Posterior Collapse with delta-VAEs
53. Spectral Inference Networks: Unifying Deep and Spectral Learning
54. Stochastic Prediction of Multi-Agent Interactions from Partial Observations

Via：

• https://ai.facebook.com/blog/facebook-research-at-iclr-2019/
• https://ai.googleblog.com/2019/05/google-at-iclr-2019.html

2019 全球人工智能与机器人峰会

由中国计算机学会主办、雷锋网和中国香港中文大学（深圳）联合承办的 2019 全球人工智能与机器人峰会（ CCF-GAIR 2019），将于 2019 年 7 月 12 日至 14 日在深圳举行。

届时，诺贝尔奖得主JamesJ. Heckman、中外院士、世界顶会主席、知名Fellow，多位重磅嘉宾将亲自坐阵，一起探讨人工智能和机器人领域学、产、投等复杂的生存态势。

点击阅读原文，查看 ICLR 2019 最佳论文