AI专家们推荐的13篇“必读”论文

以下所有的论文都是免费的，涵盖了从超梯度到CNN的产量响应建模等一系列主题。每位专家还附上了论文被选中的原因以及简短的个人简历。

本文解读了两个关键的讨论点，即稀疏训练数据的局限性，以及循环网络是否能在完全监督的情况下支持元学习。这些要点在七个概念验证实验中得到了解决，每个实验都研究了深度元RL的一个关键方面。我们考虑了扩展和扩大该方法的前景，同时也指出了一些对神经科学的潜在重要影响。点击这里阅读更多内容。

Jeff推荐的第二篇论文通过在整个训练过程中倒链导数，计算出所有超参数的交叉验证性能的精确梯度。这些梯度允许对数千个超参数进行优化，包括步长和动量计划、权重初始化分布、丰富的参数化正则化方案和神经网络架构。你可以在这里阅读更多关于这篇论文的内容。

这篇1997年的开创性论文的思想是超前于那个时代的。直到最近（即过去6年左右），硬件加速器才有能力运行LSTM的训练/服务操作，从而使得LSTM成功用于许多应用（如语言建模，手势预测，用户建模）。 LSTM基于记忆的序列建模架构非常有影响力——它启发了许多最新的改进方法，例如Transformers。这篇论文对我的工作影响很大。

本文讨论了近期流行的对象检测模型RetinaNet的创新变体，并介绍了增量学习的范例，该范例的此应用和其他对于多模式学习应用是很有效的。本文中使用的关键思想和增量学习公式对从事CV工作的任何人都有用，并且可以为对移动设备有效的高效增量算法铺平未来创新的道路。

Emergent Tool Use From Multi-Agent Autocurricula (2019)

--Bowen Baker等人。

Ken之所以选择这篇论文，是因为它给出了一个独特的例子，说明了新兴行为，并暗示了开放性的开始。论文本身找到了明确的证据，证明在我们的环境中，代理策略有六个涌现阶段，每一个阶段都会给对方团队带来新的压力，让他们去适应；例如，代理学会了使用可移动的盒子来建造多物体掩体，这又导致代理发现他们可以使用坡道来克服障碍。点击这里阅读本文的更多内容。

我们允许Ken也加入了他自己和他的同事们的一篇论文，他的建议是 "关于开放式挑战的非技术性介绍"。这篇论文在描述中解释了这个挑战到底是什么，如果解决了它的惊人意义，以及如果我们激发了你的兴趣，如何加入这个探索。在这里阅读更多关于这篇论文的内容。

Andriy推荐了2017年的这篇论文，因为用他自己的话说，"它将NLP与BERT等预训练的Transformer模型带到了一个全新的高度"。论文提出了一种新的简单网络架构--Transformer，完全基于注意力机制，完全免除了递归和卷积。在两个机器翻译任务上的实验表明，这些模型在质量上更胜一筹，同时更可并行化，所需的训练时间也大大减少。你可以在这里阅读这篇论文。

当我们联系Andrew时，脑海中并没有具体的论文，然而，我们被引导到他最近的一篇帖子，其中突出了他认为可能感兴趣的两篇论文。下面引用了这两篇论文。

在这项工作中，Andre等人提出了一种卷积神经网络(CNN)来捕捉不同属性的相关空间结构，并将它们结合起来建模产量对养分和种子率管理的响应。利用九个农场实验构建了一个合适的数据集，对CNN模型进行训练和检验。评估了四种组合了网络中不同阶段的输入属性的体系结构，并将其与最常用的预测模型进行了比较,在这里阅读更多关于文章的内容。

A comparison of deep learning performance against health-care professionals in detecting diseases from medical imaging: a systematic review and meta-analysis (2019)

医学影像诊断疾病的深度学习绩效与医护人员的比较：系统回顾与meta-analysis(2019)--刘晓轩等.