13篇人工智能专家的必读论文

业内顶尖人工智能专家推荐哪些研究文章？找出具体文章以及原因，然后一定要把每一篇都加入到阅读清单中去。

以下所有的论文都可以免费访问，涵盖的主题从超梯度（Hypergradients）到卷积神经网络的模拟产量响应。每位专家还表述了论文被选中的原因并附有简介。

Jeff Clune，OpenAI研究团队负责人

我们在一月份和Jeff进行过对话，当时他认为不能只挑一篇论文作为必读，所以我们让他挑了两篇。清单如下:

1. 《从学习到强化学习》（2016） ——Jane X Wang等。

本文揭示了两个关键问题：稀疏训练数据（sparse training data）的局限性，以及递归网络是否能够支持完全监督环境下的元学习。这些观点在七个概念验证实验中得到了解决，每一个实验都考察了深度元语言的一个关键方面。我们考虑了扩展该方法的前景，也指出了一些神经科学的潜在重要意义。

2. 《通过可逆学习进行基于梯度的超参数优化》（2015）——Dougal Maclaurin，David Duvenaud与Ryan P. Adams。

Jeff推荐的第二篇论文通过在整个训练过程中向后链接导数，计算相对于所有超参数的交叉验证性能的精确梯度。这些梯度可以对数千个超参数进行优化，包括步长和动量调度、权重初始化分布、丰富的参数化正则化方案、以及神经网络架构。

Shalini Ghosh，美国三星研究院智能电视事业部首席科学家（全球）兼机器学习研究团队负责人

3. 《长短时记忆》（1997） ——Sepp Hochreiter与Jürgen Schmidhuber（免费版）

这篇论文是1997年的一篇开创性论文，其思想超前于其时代。只是在最近（例如，过去6年左右），硬件加速器才能够运行LSTM的训练/服务操作，使得LSTM成功地参与到许多应用中（例如，语言建模、手势预测、用户建模）。LSTM的基于内存的序列建模体系结构非常有影响力，它启发了许多最近的改进，例如转换器（Transformers）。这篇论文对我的工作影响很大。

4. 《移动目标检测的高效增量学习》（2019） ——Dawei Li等。

本文讨论了流行的目标检测模型RetinaNet的一种新变体，并介绍了一种增量学习的范例，该范例对于该模型以及多模态学习的其他应用十分有效。本文中使用的关键概念和增量学习公式对任何从事计算机视觉工作的人都是有用的，并且可以为未来可用于移动设备的高效增量算法的创新铺路。

Kenneth Stanley，Charles Millican教授（UCF）以及优步高级研究经理

5. 《多智能体自动课程应急工具的使用》（2019） ——Bowen Baker等。

Ken选择这篇论文是因为其中一个独特的例子，说明了暗示无限开放性开始的应急行为。本文发现，在我们所处的环境中，智能体策略出现了六个应急阶段，每一个阶段都对对方团队产生了新的适应压力；例如，智能体学习使用可移动的箱子来建造多目标的掩体，这反过来又促使智能体发现它们可以使用坡道来克服障碍。

6. 《无限开放性：最后一个前所未有的大挑战》（2017）——Kenneth Stanley等人。

我们允许Ken加入他自己和他同事的一篇论文，他的建议是“对无限开放性挑战的非技术介绍”。这篇文章在描述中解释了这个挑战是什么、其惊人含义、以及如何加入探索。

Andriy Burkov，Gartner数据科学总监

7. 《注意（attention）是最重要的》（2017） ——Ashish Vaswani等人。

Andriy推荐这篇2017年的论文，用他自己的话说，“它用Bert这样的预训练Transformer模型把自然语言处理带到了一个全新的高度。”本文提出了一种新的简单网络结构——Transformer，它完全基于注意机制，完全省去了递推和卷积。在两个机器翻译任务上的实验表明，这些模型质量更佳，同时具有更好的并行化能力，所需的训练时间也明显减少。

Andrew NG，Landing AI创始人兼CEO；deeplearning.ai创始人

当我们联系Andrew时，他并没有想出任何具体的文章。然而，我们看到了他最近的一个帖子，其中强调了两篇他认为有趣的论文。下面就是这两篇论文：

8. 《利用卷积神经网络模拟作物管理的产量响应》（2020）——Andre Barbosa等人。

Andre等人在本文中提出一种卷积神经网络来捕获不同属性的相关空间结构，并将它们组合起来模拟产量对养分和种子率管理的响应。利用九个玉米地田间试验构建合适的数据集来训练和检验卷积神经网络模型。对网络中不同阶段结合输入属性的四种架构进行了评估，并与最常用的预测模型进行了比较。

9. 《深度学习与医疗保健专业人员在从医学影像中检测疾病方面的能力比较：系统性的回顾与元分析》（2019）——Xiaoxuan Liu等。

本文评估了深度学习算法与医疗保健专业人员在使用医学成像进行疾病分类时的诊断准确性。采用统一的分层模型，在元分析中进行样本外外部验证的研究。

Gregory Piatetsky-Shapiro，数据科学家，KDnuggets总裁

当我们联系到Gregory，他的论文选择建议是基于试图理解人工智能和机器学习的大趋势。最近的两篇论文也印证了这一点。“下面是我最近读到的两篇重要论文，来自Gary&Francois。对于前者，我也建议了解Yoshua Bengio和Gary Marcus在蒙特利尔市的辩论。”

10. 《人工智能领域的下一个十年：稳健人工智能的四步走》（2020）——Gary Marcus

本文介绍了人工智能和机器学习领域的最新研究成果，主要强调了通用学习（general-purpose learning）以及越来越大的训练集和越来越多的计算量。与此相反，Gary提出了一种以认知模型为中心的混合体，混合了知识驱动、基于推理的方法，该方法可以为比目前更丰富，更稳健的人工智能提供基础。

11. 《论智能的衡量》（2019）——François Chollet

Gregory的第二个建议是François Chollet的《论智能的衡量》。本文总结并批判性地评价了智能测量的定义和评估方法，同时阐明了指导它们的隐含的两个智能历史概念。然后，François以算法信息论为基础，提出了一个新的智能形式化定义，将智能描述为技能习得效率，并强调了范围、总结难度、先验和经验等概念。

Myriam Cote，咨询师

12. 《用机器学习应对气候变化》（2019）——David Rolnick，Priya L Donti，Yoshua Bengio等。

Myriam的建议涵盖了机器学习及其对环境的影响。气候变化是人类面临的最大挑战之一，机器学习专家们正在探究他们如何帮助人类。在这篇论文中，作者描述了机器学习如何在减少温室气体排放和帮助社会适应不断变化的气候方面成为一个强有力的工具。从智能电网到灾害管理，它们确定了影响较大的问题，在这些问题上，现有的空白可以通过机器学习与其他领域合作来填补。

Kirk Borne，首席数据科学家和数据科学研究员，Booz Allen Hamilton公司执行顾问

13. 《Netflix推荐系统：算法、商业价值和创新》（2015）——Carlos Gomez-Uribe 与Neil Hunt。

“这篇论文发表于几年前的，并不是特别具有技术性，但它涵盖了一个人在运营环境中部署一个人工智能算法之前、期间和之后必须思考的、测试和验证的大量基础问题、商业决策、算法特性、度量和数据特征。我喜欢这篇论文还有一个原因是推荐器引擎很流行，在许多不同的行业中使用，并且得到了所有人（甚至非专家）的认可。因此，这篇论文可以迅速地将学生（和其他人）带入到更深入、更丰富的理解中---无论是对算法本身及其乐趣还是盈利机会。