AI专家们推荐的“必读”论文【Part 2】

译者：AI研习社（季一帆）

我们之前写了一篇文章，向大家推荐了一些AI必读论文，引起很好的反响。现在，我们推出了第二篇文章。这次推荐的论文依然是分量十足、诚意满满，各位推荐者都认为自己推荐的论文是AI人员必读的经典之作，不知各位读者怎么看。现在，我们来看看这次入选的是哪些论文吧！

不过在这之前，我还是向您推荐我们之前的那一篇文章，那篇文章也绝对值得一读。

推荐人：MILA博士研究员，Alexia Jolicoeur-Martineau

推荐论文1：f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization（f-GAN: 使用变分散度最小化训练生成神经采样器）- Sebastian Nowozin et al.

推荐论文2：Sobolev GAN- Youssef Mroueh et al.

推荐人：DeepMind高级研究员，Jane Wang

老实说，我并不会觉得有哪篇论文要比其他论文更重要，因为我认为所有论文都是相互依存的，而科学是协作的成果。但还是要说，就我个人而言，还是会更加偏爱一些论文的，从这些论文中我受益匪浅，但这并不是说其他论文不好。这只意味着，我个人比较喜欢以下两篇论文。

推荐论文1：Where Do Rewards Come From?（奖励从何而来？）- Satinder Singh et al.

推荐论文2：Building machines that learn and think like people（让机器向人类一样学习与思考）- Brenden Lake et al

推荐人：WinterLight Labs机器学习负责人，Jekaterina Novikova

推荐论文1：Attention Is All You Need（“笨蛋”，根本问题是注意力）- Ashish Vaswani et al.

推荐论文2：Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data（迈向NLU：关于数据时代的意义，形式和理解）- Emily M. Bender et al.

推荐人：加拿大国家银行，AI科学首席顾问，Eric Charton

推荐论文1：The Computational Limits of Deep Learning（深度学习中的计算极限）- Johnson et al

推荐人：NASA，机器学习主管，Anirudh Koul

也许几年后回头看，人们会发现2020年似乎是自我监督元年。自监督学习就是用非标注数据进行预训练，然后在有限标注的下游任务进行微调。仅在2020年6月之前，众多SOTA被先后打破，包括但不限于PIRL，SimCLR，InfoMin，MOCO，MOCOv2，BYOL，SwAV，SimCLRv2等众多自监督学习方法引起广泛关注。通过以下这个例子来感受一下这些方法究竟多么让人称奇吧。仅仅使用不带标签的ImageNet，然后用1％的标签进行微调，SimCLRv2模型就可以在ImageNet数据集上实现92.3％的Top-5准确性。很神奇吧，仅仅1％的标注就可以取得这样令人满意的结果。对于缺少标注数据的领域如医学、卫星等来说，自监督学习就是这些领域应用的福音。

推荐论文：A Simple Framework for Contrastive Learning of Visual Representations（一个简单的图像表示对比学习框架）- Ting Chen et al

优秀的论文不仅实验严密、结果出色，而且还能简介明了的向读者清晰的表达自己的关键思想。SimCLR就是如此，简洁明了，效果出色，这使其成为对比学习领域最值得阅读论文之一。研究表明，在特定数据集中，通过数据增强策略获得更好的图像表示，对于对比学习至关重要。希望更多研究者关注到SimCLR，在X射线、MRI、音频、卫星图等领域推动该方法进一步的研究与发展。

推荐人：摩根士丹利副总裁，NLP/ML研究员，Oana Frunza

BERT Transformer结构极大推进了机器对文本数据的表示和理解能力，对于NLP的研究发展具有革命性的意义，可以说这就是NLP的“ImageNet”。Transformer架构的关键在于自我注意机制，“BERT揭秘”一文便对注意力的背后原理进行了探讨。

更准确地说，这项研究量化了注意力头捕获的语言信息，包括句法和语义关系等。此外，论文还进一步研究了自我注意模式的多样性及其对各种任务的影响。

该论文的研究聚焦于深层次理解强大的transformer架构，不仅利于推动该领域的进一步发展，而且有利于研究人员做出更明智的决策。也就是说，如果知道某些精简的小型体系结构会产生相似的性能，这就意味着在架构设计和空间占用方面有了更好的选择。