20篇顶级深度学习论文（附链接）

作者：Pedro Lopez

译者：李海明

校对：梁傅淇

本文约2832字，建议阅读8分钟。

本文讲述了深度学习正值快速发展进化阶段，新技术，新工具以及新的应用实现正在深刻改变着机器学习领域并不断获得累累硕果。

关键词：算法，深度学习，机器学习，神经网络，TenorsFlow，文本分析，发展趋势

深度学习正值快速发展进化阶段，新技术，新工具以及新的应用实现正在深刻改变着机器学习领域并不断获得累累硕果。

深度学习作为机器学习和统计学习的子领域，在最近几年取得了长足的发展进步。云计算，强大的开源工具以及大量可用数据已经成为这些关键突破的杠杆。本文以（academic.microsoft.com）网站的深度学习论文被引次数统计为依据，选取了20篇顶级深度学习论文。值得注意的是，由于论文被引次数一直处于快速更新中，因此以被引次数作为文章价值体现的判断必须要考虑论文的发表时间。

这20篇论文有75%以上进行的是深度学习和神经网络方面的研究，特别是卷积神经网络技术。有将近50%的论文进行的是机器视觉领域的模式识别应用研究。我相信，像TensorFlow，Theano这样的工具以及GPU的进一步使用为数据科学家以及机器学习工程师们拓展研究领域铺平了道路。

1.Deep Learning, by Yann L., Yoshua B. & Geoffrey H. (2015) (Cited: 5,716)

链接： https://www.cs.toronto.edu/~hinton/absps/NatureDeepReview.pdf

深度学习使得包含多处理层的计算模型能够学到如何表示经过多层抽象的数据。这些方法显著提升了最先进的语言识别，视觉图像识别，物体探测以及其他诸如药物发现和基因组学的效果。

2.TensorFlow: Large-Scale Machine Learning on Heterogeneous Distributed Systems, by Martín A., Ashish A. B., Eugene B. C., et al. (2015) (Cited: 2,423)

链接：http://download.tensorflow.org/paper/whitepaper2015.pdf

该系统非常灵活，可以用来表达包括深度神经网络模型的训练和推理算法在内的各种算法，并已用于十几个计算机科学及其他领域，包括语音识别，计算机视觉，机器人技术，信息检索，自然语言处理，地理信息提取和计算药物发现，以进行研究和部署机器学习系统到生产环境。

3.TensorFlow: a system for large-scale machine learning, by Martín A., Paul B., Jianmin C., Zhifeng C., Andy D. et al. (2016) (Cited: 2,227)

链接：https://www.usenix.org/system/files/conference/osdi16/osdi16-abadi.pdf%20rel=

TensorFlow支持大量应用程序，重点是深度神经网络的训练和推理。一些Google服务在生产中使用了TensorFlow，我们已经将其作为开源项目发布，并且它已经在机器学习研究中予以广泛应用。

4.Deep learning in neural networks, by Juergen Schmidhuber (2015) (Cited: 2,196)

链接：https://arxiv.org/pdf/1404.7828.pdf

这一历史调查简明扼要地总结了相关工作，其中大部分来自于上一个千年。浅层和深层的学习器被其信用分配路径的深度所区分，这些路径是行为和效果之间可学习的、随机关系链，我回顾了深度监督学习（也包括反向传播的简史），无监督学习，强化学习，进化计算，并间接调研了大型深度网络的编码程序。

5.Human-level control through deep reinforcement learning, by Volodymyr M., Koray K., David S., Andrei A. R., Joel V et al (2015) (Cited: 2,086)

链接：https://web.stanford.edu/class/psych209/Readings/MnihEtAlHassibis15NatureControlDeepRL.pdf

这里我们使用最近在训练深度神经网络方面的进展来开发一种称为深度Q网络的新型人工代理。它可以使用端到端强化学习直接从高维感官输入中学习成功策略。我们在经典Atari 2600游戏挑战中测试了该代理。

6.Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks, by Shaoqing R., Kaiming H., Ross B. G. & Jian S. (2015) (Cited: 1,421)

链接：https://arxiv.org/pdf/1506.01497.pdf

在这项工作中，我们引入了一个区域提议网络（RPN），该网络与检测网络共享全图像卷积特征，从而实现了几乎免费的区域提案。 RPN是一个完全卷积网络，可同时预测每个位置的对象边界和对象评分。

7.Long-term recurrent convolutional networks for visual recognition and description, by Jeff D., Lisa Anne H., Sergio G., Marcus R., Subhashini V. et al. (2015) (Cited: 1,285)

链接：https://arxiv.org/pdf/1411.4389.pdf

当前模型假设了固定时空感受域或简单的时间平均，并将其用于顺序处理，反复卷积模型具有“双重深度”，因为它们可以在空间和时间“层”中组合。

8.MatConvNet: Convolutional Neural Networks for MATLAB, by Andrea Vedaldi & Karel Lenc (2015) (Cited: 1,148)

链接：https://arxiv.org/pdf/1412.4564.pdf

它将CNN的模块实现为易于使用的MATLAB函数，并提供了带滤波器组、特征池等等的程序用于计算线性卷积。文档概述了CNN及其在MatConvNet中的实现方式，同时给出了工具箱中每个运算块的技术细节。

9.Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks, by Alec R., Luke M. & Soumith C. (2015) (Cited: 1,054)

链接：https://arxiv.org/pdf/1511.06434.pdf

本文希望缩小无监督学习与有监督学习的CNN成功之间的差距。我们引入了被称作深卷积生成对抗网络的一类CNN，其拥有一定的架构约束，并证明他们是无监督学习的有力候选。

10.U-Net: Convolutional Networks for Biomedical Image Segmentation, by Olaf R., Philipp F. &Thomas B. (2015) (Cited: 975)

链接：https://arxiv.org/pdf/1505.04597.pdf

深度网络的训练效果需要数以千计的注释训练样本作为支撑已是共识。本文提出了一个依赖于数据增强的网络和训练策略以便更有效地使用可用的注释样本。

11.Conditional Random Fields as Recurrent Neural Networks, by Shuai Z., Sadeep J., Bernardino R., Vibhav V. et al (2015) (Cited: 760)

链接：http://www.robots.ox.ac.uk/~szheng/papers/CRFasRNN.pdf

本文引入了一种同时包含卷积神经网络（Convolutional Neural Networks）与基于条件随机场（Conditional Random Fields）的概率图像模型的新型卷积神经网络。为此，我们将带有高斯对势的条件随机场的平均场近似推断作为循环神经网络。

12.Image Super-Resolution Using Deep Convolutional Networks, by Chao D., Chen C., Kaiming H. & Xiaoou T. (2014) (Cited: 591)

链接：https://arxiv.org/pdf/1501.00092.pdf

本文使用直接学习高/低分辨率图像之间的端到端映射。该映射使用卷积神经网络，将低分辨率图像作为输入并输出高分辨率图像。

13.Beyond short snippets: Deep networks for video classification, by Joe Y. Ng, Matthew J. H., Sudheendra V., Oriol V., Rajat M. & George T. (2015) (Cited: 533)

链接：https://arxiv.org/pdf/1503.08909.pdf

本文建立并评估了几种深度神经网络架构，以整合比以前尝试的更长时间的视频图像信息。

14.Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning, by Christian S., Sergey I., Vincent V. & Alexander A A. (2017) (Cited: 520)

链接：https://arxiv.org/pdf/1602.07261.pdf

深度卷积神经网络在近年来图像识别性能提升方面起到了核心作用。通过三个残差和一个inception-v4的集合，我们在ImageNet 分类挑战赛中获得了测试集上Top-5 错误率3.08%的成绩。

15.Salient Object Detection: A Discriminative Regional Feature Integration Approach, by Huaizu J., Jingdong W., Zejian Y., Yang W., Nanning Z. & Shipeng Li. (2013) (Cited: 518)

链接：https://arxiv.org/pdf/1410.5926.pdf

本文将显着图计算看作是一个回归问题。我们的方法基于多层级图像分割，最优化监督学习方法，以将地区特征向量映射为显着性分数。

16.Visual Madlibs: Fill in the Blank Description Generation and Question Answering, by Licheng Y., Eunbyung P., Alexander C. B. & Tamara L. B. (2015) (Cited: 510)

链接：https://www.cvfoundation.org/openaccess/content_iccv_2015/papers/Yu_Visual_Madlibs_Fill_ICCV_2015_paper.pdf

本文引入了一个新的数据集，包含有360，001个关于10，738个图像的自然语言描述，即Visual Madlibs 数据集。该数据集使用已自动生成的空白填充模板收集一些目标描述，包括：人和对象，外观，活动和交互，也包括整个场景或具有更广泛背景的内容。

17.Asynchronous methods for deep reinforcement learning, by Volodymyr M., Adrià P. B., Mehdi M., Alex G., Tim H. et al. (2016) (Cited: 472)

链接：http://proceedings.mlr.press/v48/mniha16.pdf

性能最佳的方法、 actor-critic的异步变体、超越了Atari领域的当前最佳表现，在单个多核CPU而非GPU上只需要一半的训练时间。 此外，我们展示了actor-critic的异步变体可以成功处理各种连续的电机控制问题，以及使用视觉输入以在随机的3D迷宫中导航的新任务。

18.Theano: A Python framework for fast computation of mathematical expressions., by by Rami A., Guillaume A., Amjad A., Christof A. et al (2016) (Cited: 451)

链接：https://arxiv.org/pdf/1605.02688.pdf

Theano是一个Python库，允许高效地定义、优化和评估涉及多维数组的数学表达式。 自推出以来，它一直是机器学习领域使用最多的CPU和GPU数学编译器之一，并且性能稳步提高。

19.Deep Learning Face Attributes in the Wild, by Ziwei L., Ping L., Xiaogang W. & Xiaoou T. (2015) (Cited: 401)

链接：https://www.cvfoundation.org/openaccess/content_iccv_2015/papers/Liu_Deep_Learning_Face_ICCV_2015_paper.pdf

这个框架不仅比现有技术表现好得多，而且还揭示了有关学习脸部表征的有价值的事实：

• 说明了不同的预训练策略如何提高人脸定位（LNet）和属性预测（ANet）的性能；
• 虽然LNet的滤波器仅用图像级属性标签进行微调，但它们在整个图像上的响应映射具有强烈的脸部位置指示。

20.Character-level convolutional networks for text classification, by Xiang Z., Junbo Jake Z. & Yann L. (2015) (Cited: 401)

链接： http://papers.nips.cc/paper/5782-character-level-convolutional-networks-for-text-classification.pdf

本文提供了一个关于使用字符级卷积网络（ConvNets）进行文本分类的经验性探索。 我们构建了几个大规模数据集，以表明字符级卷积网络可以实现最先进或最具竞争力的结果。

译者简介

李海明 中国科学院大学在读研究生，铁人三项业余运动员，热爱音乐、艺术、生活。喜欢结交各路神仙～一起坐驰神游，一起南辕北辙。

转载须知

如需转载，请在开篇显著位置注明作者和出处（转自：数据派THU ID：DatapiTHU），并在文章结尾放置数据派醒目二维码。有原创标识文章，请发送【文章名称-待授权公众号名称及ID】至联系邮箱，申请白名单授权并按要求编辑。

发布后请将链接反馈至联系邮箱（见下方）。未经许可的转载以及改编者，我们将依法追究其法律责任。

为保证发文质量、树立口碑，数据派现设立“错别字基金”，鼓励读者积极纠错。 若您在阅读文章过程中发现任何错误，请在文末留言，经小编确认后，数据派将向检举读者发8.8元红包。 同一位读者指出同一篇文章多处错误，奖金不变。不同读者指出同一处错误，奖励第一位读者。 感谢一直以来您的关注和支持，希望您能够监督数据派产出更加高质的内容。