Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >告别2019:属于深度学习的十年,那些我们必须知道的经典

告别2019:属于深度学习的十年,那些我们必须知道的经典

作者头像
Datawhale
发布于 2020-02-11 14:30:17
发布于 2020-02-11 14:30:17
8600
举报
文章被收录于专栏:Datawhale专栏Datawhale专栏

当今天的太阳升起时,我们正式告别了上一个十年。

在这十年中,伴随着计算能力和大数据方面的发展,深度学习已经攻克了许多曾经让我们感到棘手的问题,尤其是计算机视觉自然语言处理方面。此外,深度学习技术也越来越多地走进我们的生活,变得无处不在。

这篇文章总结了过去十年中在深度学习领域具有影响力的论文,从 ReLU、AlexNet、GAN 到 Transformer、BERT 等。每一年还有很多荣誉提名,包括了众多名声在外的研究成果。

2011 年:激活函数 ReLU

《Deep Sparse Rectifier Neural Networks(ReLU)》

论文链接:http://proceedings.mlr.press/v15/glorot11a/glorot11a.pdf(被引用量 4071)

早期的神经网络大多使用 sigmoid 激活函数。虽然它具有很好的效果,但是,随着层数的增加,这种激活函数使得梯度很容易出现衰减。在 2011 年的这篇论文中,ReLU 被正式提出。它能够帮助解决梯度消失的问题,为神经网络增加深度铺路。

Sigmoid 及其导数。

当然,ReLU 也有一些缺点。在函数为 0 的时候不可微,而神经元可能会「死亡」。在 2011 年之后,很多针对 ReLU 的改进也被提了出来。

年度荣誉提名:(这一年的大部分研究集中于对激活函数的改进)

1、《Rectifier Nonlinearities Improve Neural Network Acoustic Models(Leaky ReLU)》

基于对 ReLU 进行了改进的激活函数,在 x 为负时不取 0。

论文链接:https://ai.stanford.edu/~amaas/papers/relu_hybrid_icml2013_final.pdf

2、《Fast and Accurate Deep Network Learning by Exponential Linear Units (ELUs)》

论文链接:https://arxiv.org/abs/1511.07289

3、《Self-Normalizing Neural Networks(SELUs)》

论文链接:https://arxiv.org/abs/1706.02515

4、《Gaussian Error Linear Units (GELUs)》

这一激活函数已证明比 ReLU 效果更好,BERT 等模型已使用。

论文链接:https://arxiv.org/abs/1606.08415

2012 年:掀起深度学习浪潮的 AlexNet

《ImageNet Classification with Deep Convolutional Neural Networks(AlexNet)》

论文链接:https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks(被引用量 52025)

AlexNet 架构。

AlexNet 经常被认为是这一波人工智能浪潮的起点,该网络在 ImageNet 挑战赛中的错误率与前一届冠军相比减小了 10% 以上,比亚军高出 10.8 个百分点。AlexNet 是由多伦多大学 SuperVision 组设计的,由 Alex Krizhevsky, Geoffrey Hinton 和 Ilya Sutskever 组成。

AlexNet 是一个 8 层的卷积神经网络,使用 ReLU 激活函数,总共有 6 千万参数量。AlexNet 的最大贡献在于证明了深度学习的能力。它也是第一个使用并行计算和 GPU 进行加速的网络。

在 ImageNet 上,AlexNet 取得了很好的表现。它将识别错误率从 26.2% 降到了 15.3%。显著的性能提升吸引了业界关注深度学习,使得 AlexNet 成为了现在这一领域引用最多的论文。

年度荣誉提名:

1、《ImageNet: A Large-Scale Hierarchical Image Database(ImageNet)》

ImageNet 是斯坦福大学李飞飞等人完成的一个用于图像识别的数据集,是计算机视觉领域检验模型性能的基准数据集。

论文链接:http://www.image-net.org/papers/imagenet_cvpr09.pdf

ImageNet

2、《Flexible, High Performance Convolutional Neural Networks for Image Classification(Jurgen Schmidhuber 为通讯作者)》

论文链接:http://people.idsia.ch/~juergen/ijcai2011.pdf

3、《Gradient-Based Learning Applied to Document Recognition》

论文链接:http://vision.stanford.edu/cs598_spring07/papers/Lecun98.pdf

2013 年:NLP 的经典 word2vec;开启深度强化学习时代

《Distributed Representations of Words and Phrases and their Compositionality(word2vec)》

论文链接:https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf(被引用量 16923)

Word2vec 是由谷歌研究团队里 Thomas Mikolov 等人提出的模型,该模型能从非常大的数据集中计算出用以表示词的连续型向量。word2vec 成为了 NLP 领域的深度学习主要的文本编码方式。它基于在相同语境中同时出现词具有相似含义的思路,使文本可以被嵌入为向量,并用于其他下游任务。

年度荣誉提名:

1、《GloVe: Global Vectors for Word Representation》

论文链接:https://nlp.stanford.edu/pubs/glove.pdf

2、《Playing Atari with Deep Reinforcement Learning》

论文链接:https://www.cs.toronto.edu/~vmnih/docs/dqn.pdf(被引用量 3251)

DeepMind 的 DQN 模型玩雅达利游戏

DeepMind 在这一年提出的用 DQN 玩雅达利游戏开启了深度强化学习研究的大门。强化学习过去大多数情况下用在低维环境中,很难在更复杂的环境中使用。雅达利游戏是第一个强化学习在高维环境中的应用。这一研究提出了 Deep Q-learning 算法,使用了一个基于价值的奖励函数。

年度荣誉提名:

1、《Learning from Delayed Rewards(Q-Learning)》

论文链接:http://www.cs.rhul.ac.uk/~chrisw/new_thesis.pdf

2014 年:GAN;Adam;Attention 机制

《Generative Adversarial Networks》

论文链接:https://papers.nips.cc/paper/5423-generative-adversarial-nets(被引用量 13917)

生成对抗网络(Generative Adversarial Network,简称 GAN)是 Ian Goodefellow 等人提出的非监督式学习方法,通过让两个神经网络相互博弈的方式进行学习。自 2014 年 GAN 网络提出以来,其在 Computer Vision(计算机视觉)等领域获得了广泛的关注

生成对抗网络(GAN)的成功在于它能够生成逼真图片。这一网络通过使用生成器和判别器之间的最小最大(minimax)博弈,GAN 能够建模高纬度、复杂的数据分布。在 GAN 中,生成器用于生成假的样本,而判别器进行判断(是否为生成数据)。

年度荣誉提名:

1、《Wasserstein GAN & Improved Training of Wasserstein GANs(WGAN)》

WGAN 是 GAN 的改进版本,取得了更好的效果。

论文链接:https://arxiv.org/abs/1701.07875

2、《StyleGAN》

StyleGAN 生成的图像

论文链接:https://arxiv.org/abs/1812.04948

3、《Neural Machine Translation by Jointly Learning to Align and Translate(attention 机制)》

论文链接:https://arxiv.org/abs/1409.0473(被引用量 9882)

注意力的可视化结果

这篇论文介绍了注意力机制的思路。与其将所有信息压缩到一个 RNN 的隐层中,不如将整个语境保存在内存中。这使得所有的输出都能和输入对应。除了在机器翻译中使用外,attention 机制还被用于 GAN 等模型中。

《Adam: A Method for Stochastic Optimization》

论文链接:https://arxiv.org/abs/1412.6980(被引用量 34082)

Adam 由于其易微调的特性而被广泛使用。它基于对每个参数的不同学习率进行适应这种思想。虽然近来有对 Adam 性能提出质疑的论文出现,但它依然是深度学习中最受欢迎的目标函数优化器。

年度荣誉提名:

1、《Decoupled Weight Decay Regularization》

论文地址:https://arxiv.org/abs/1711.05101

2、《RMSProp》

和 Adam 一样出名的目标函数优化器。

论文地址 https://www.cs.toronto.edu/~tijmen/csc321/slides/lecture_slides_lec6.pdf*

2015:超越人类的 ResNet;神奇的批归一化

《Deep Residual Learning for Image Recognition》

论文链接:https://arxiv.org/abs/1512.03385(被引用量 34635)

Residual Block 结构。

大名鼎鼎的 ResNet,从 ResNet 开始,神经网络在视觉分类任务上的性能第一次超越了人类。这一方法赢得了 ImageNet 2015、以及 COCO 竞赛的冠军,也获得了 CVPR2016 的最佳论文奖:该研究的作者是何恺明、张祥雨、任少卿和孙剑。

最初 ResNet 的设计是用来处理深层 CNN 结构中梯度消失和梯度爆炸的问题,如今 Residual Block 已经成为了几乎所有 CNN 结构中的基本构造。

这个想法很简单:将输入(input)从卷积层的每个块添加到输出(output)。残差网络之后的启示是,神经网络不应分解为更多的层数,在最不理想的情况下,其他层可以简单设置为恒等映射(identity mapping)。但在实际情况中,更深层的网络常常在训练上遇到困难。残差网络让每一层更容易学习恒等映射,并且还减少了梯度消失的问题。

尽管并不复杂,但残差网络很大程度上优于常规的 CNN 架构,尤其在应用于更深层的网络上时。

几种 CNN 之间的对比。

众多 CNN 架构都在争夺「头把交椅」,以下是一部分具有代表意义的样本:

Inceptionv1 结构。

年度荣誉提名:

1、《Going Deeper with Convolutions》

论文链接: https://arxiv.org/abs/1409.4842

2、《Very Deep Convolutional Networks for Large-Scale Image Recognition》

论文链接: https://arxiv.org/abs/1409.1556

3、《Neural Ordinary Differential Equations》

论文链接: https://arxiv.org/abs/1806.07366(NIPS 2018 最佳论文奖)

《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift(批归一化)》

论文链接:https://arxiv.org/abs/1502.03167(14384 次引用)

批归一化(Batch normalization)是如今几乎所有神经网络的主流趋势。批归一基于另外一个简单但是很棒的想法:在训练过程中保持均值和方差统计,借此将 activation 的范围变换为零均值和单位方差。

关于批归一化效果的确切原因还未有定论,但从实践上说确实有效的。

年度荣誉提名:

不同归一化技术的可视化呈现。

1、《层归一化(Layer Normalization)》

论文链接:https://arxiv.org/abs/1607.06450

2、《实例归一化(Instance Normalization)》

论文链接:https://arxiv.org/abs/1607.08022

3、《组归一化(Group Normalization)》

论文链接:https://arxiv.org/abs/1803.08494

2016 年:攻陷最复杂的游戏——AlphaGo

登上 Nature 的 AlphaGo 论文《Mastering the game of Go with deep neural networks and tree search》

论文链接:https://www.nature.com/articles/nature16961(被引用量 6310)

很多人对于现代 AI 的理解始于 DeepMind 的围棋程序 AlphaGo。AlphaGo 研究项目始于 2014 年,目的是为了测试一个使用深度学习的神经网络如何在 Go 上竞争。

AlphaGo 比以前的 Go 程序有了显着的改进,在与其他可用围棋程序(包括 Crazy Stone 和 Zen)的 500 场比赛中,在单台计算机上运行的 AlphaGo 赢得了除一个之外的所有胜利,而运行在多台计算机上的 AlphaGo 赢得了与其他 Go 程序对战的所有 500 场比赛,在与单台计算机上运行的 AlphaGo 比赛中赢下了 77%的对阵。2015 年 10 月的分布式版本使用了 1,202 个 CPU 和 176 个 GPU,当时它以 5: 0 的比分击败了欧洲围棋冠军樊麾(职业 2 段选手),轰动一时。

这是计算机围棋程序第一次在全局棋盘(19 × 19)且无让子的情况下击败了人类职业棋手。2016 年 3 月,通过自我对弈进行练习的加强版 AlphaGo 在比赛中以 4: 1 击败了世界围棋冠军李世石,成为第一个在无让子情况下击败围棋职业九段棋手的计算机程序,载入史册。赛后,AlphaGo 被韩国棋院授予名誉职业九段的称号。

年度荣誉提名:

1、DeepMind 的另一篇 AlphaGo Nature 论文《Mastering the game of Go without human knowledge》

论文链接:https://www.nature.com/articles/nature24270

作为 AlphaGo 的后继版本,2017 年 10 月,DeepMind 发布最新强化版的 AlphaGo Zero,这是一个无需用到人类专业棋谱的版本,比之前的版本都强大。通过自我对弈,AlphaGo Zero 经过三天的学习就超越了 AlphaGo Lee 版本的水平,21 天后达到 AlphaGo Maseter 的实力,40 天内超越之前所有版本。

2017 年:几乎人人都用的 Transformer

《Attention Is All You Need》

论文链接:https://papers.nips.cc/paper/7181-attention-is-all-you-need.pdf(被引用量 5059)

著名的 Transformer 架构出现了。2017 年 6 月,谷歌宣布又在机器翻译上更进了一步,实现了完全基于 attention 的 Transformer 机器翻译网络架构,并且还在 WMT 2014 的多种语言对的翻译任务上超越了之前 Facebook 的成绩,实现了新的最佳水平。

在编码器-解码器配置中,显性序列显性转导模型(dominant sequence transduction model)基于复杂的 RNN 或 CNN。表现最佳的模型也需通过注意力机制(attention mechanism)连接编码器和解码器。

谷歌提出了一种新型的简单网络架构——Transformer,它完全基于注意力机制,彻底放弃了循环和卷积。两项机器翻译任务的实验表明,这些模型的翻译质量更优,同时更并行,所需训练时间也大大减少。新的模型在 WMT 2014 英语转德语的翻译任务中取得了 BLEU 得分 28.4 的成绩,领先当前现有的最佳结果(包括集成模型)超过 2 个 BLEU 分值。在 WMT 2014 英语转法语翻译任务上,在 8 块 GPU 上训练了 3.5 天之后,新模型获得了新的单模型顶级 BLEU 得分 41.0,只是目前文献中最佳模型训练成本的一小部分。

Transformer 在其他任务上也泛化很好,把它成功应用到了有大量训练数据和有限训练数据的英语组别分析上。

《Neural Architecture Search with Reinforcement Learning》

论文链接:https://openreview.net/forum?id=r1Ue8Hcxg(被引用量 1186)

神经结构搜索(NAS)表示自动设计人工神经网络(ANN)的过程,人工神经网络是机器学习领域中广泛使用的模型。NAS 的各种方法设计出的神经网络,其性能与手工设计的架构相当甚至更优越。可以根据搜索空间,搜索策略和性能评估策略三个方面对 NAS 的方法进行分类。其他方法,如《Regularized Evolution for Image Classifier Architecture Search》(即 AmoebaNet)使用了进化算法。

2018 年:预训练模型大热

当然是谷歌的 NLP 预训练模型 BERT:《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》,这篇论文现在已经有 3025 次引用量了。

论文链接:https://arxiv.org/abs/1810.04805

本文介绍了一种新的语言表征模型 BERT——来自 Transformer 的双向编码器表征。与最近的语言表征模型不同,BERT 旨在基于所有层的左、右语境来预训练深度双向表征。BERT 是首个在大批句子层面和 token 层面任务中取得当前最优性能的基于微调的表征模型,其性能超越许多使用任务特定架构的系统,刷新了 11 项 NLP 任务的当前最优性能记录。

BERT 与 GPT-2 和 ELMo 的模型结构对比。

年度荣誉提名:

自 BERT 被提出以来,基于 Transformer 的语言模型呈井喷之势。这些论文尚需时间考验,还很难说哪一个最具影响力。

1、《Deep contextualized word representations》

论文链接:https://arxiv.org/abs/1802.05365

2、《Improving Language Understanding by Generative Pre-Training》

论文链接:https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf

3、《Language Models are Unsupervised Multitask Learners》——即 OpenAI 在 2 月份推出的,参数量高达 15 亿的预训练模型 GPT-2。

论文链接:https://d4mucfpksywv.cloudfront.net/better-language-models/language_models_are_unsupervised_multitask_learners.pdf

4、《Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context》

以往的 Transformer 网络由于受到上下文长度固定的限制,学习长期以来关系的潜力有限。本文提出的新神经架构 Transformer-XL 可以在不引起时间混乱的前提下,可以超越固定长度去学习依赖性,同时还能解决上下文碎片化问题。

论文链接:https://arxiv.org/abs/1901.02860

5、《XLNet: Generalized Autoregressive Pretraining for Language Understanding》

BERT 带来的影响还未平复,CMU 与谷歌大脑 6 月份提出的 XLNet 在 20 个任务上超过了 BERT 的表现,并在 18 个任务上取得了 SOTA。

论文链接:https://arxiv.org/abs/1906.08237

6、《Neural Machine Translation of Rare Words with Subword Units》

论文链接:https://arxiv.org/abs/1508.07909

2019 年:深度学习的原理改进

论文《Deep Double Descent: Where Bigger Models and More Data Hurt》,本文讨论的 Double Descent 现象与经典机器学习和现代深度学习中的流行观点背道而驰。

论文链接:https://arxiv.org/abs/1912.02292

在本文中研究者证明,各种现代深度学习任务都表现出「双重下降」现象,并且随着模型尺寸的增加,性能首先变差,然后变好。此外,他们表明双重下降不仅作为模型大小的函数出现,而且还可以作为训练时间点数量的函数。研究者通过定义一个新的复杂性度量(称为有效模型复杂性,Effective Model Complexity)来统一上述现象,并针对该度量推测一个广义的双重下降。此外,他们对模型复杂性的概念使其能够确定某些方案,在这些方案中,增加(甚至四倍)训练样本的数量实际上会损害测试性能。

来自 MIT CSAIL 研究者的论文《The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks》,它也获得了 ICLR 2019 的最佳论文奖。

论文链接:https://arxiv.org/abs/1803.03635

研究者们发现,标准的神经网络剪枝技术会自然地发现子网络,这些子网络经过初始化后能够有效进行训练。基于这些结果,研究者提出了「彩票假设」(lottery ticket hypothesis):密集、随机初始化的前馈网络包含子网络(「中奖彩票」),当独立训练时,这些子网络能够在相似的迭代次数内达到与原始网络相当的测试准确率。

未来?

因为深度学习和基于梯度的神经网络出现技术突破,过去十年是人工智能高速发展的一段时期。这很大程度上是因为芯片算力的显著提高,神经网络正在变得越来越大,性能也越来越强。从计算机视觉到自然语言处理,新的方法已经大面积取代了传统的 AI 技术。

但是神经网络也有其缺点:它们需要大量已标注数据进行续联,无法解释自身的推断机制,难以推广到单个任务之外。不过因为深度学习的推动,AI 领域快速发展,越来越多的研究者正在致力于应对这些挑战。

在未来的几年里,人们对于神经网络的理解还会不断增加。人工智能的前景还是一片光明:深度学习是 AI 领域里最有力的工具,它会使我们进一步接近真正的智能。

让我们期待 2020 年的新成果吧。

参考链接:https://leogao.dev/2019/12/31/The-Decade-of-Deep-Learning/

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-01-04,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Datawhale 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
深度学习十年发展回顾:里程碑论文汇编
这篇文章概述了过去十年来最有影响力的一些论文。我希望通过简洁明了的摘要来提供深度学习领域不同方向的起点,并且提供了相当多的参考资料。
大数据文摘
2020/02/12
9160
干货分享 | 深度学习零基础进阶第二弹
图片来自wiki 昨天,雷锋网编译了《干货分享 | 深度学习零基础进阶大法!》,相信读者一定对深度学习的历史有了一个基本了解,其基本的模型架构(CNN/RNN/LSTM)与深度学习如何应用在图片和语音识别上肯定也不在话下了。今天这一部分,我们将通过新一批论文,让你对深度学习的方式与深度学习在不同领域的运用有个清晰的了解。由于第二部分的论文开始向细化方向延展,因此你可以根据自己的研究方向酌情进行选择。本文对每篇论文都增加了补充介绍,分上下两篇,由老吕IO及奕欣编译整理,未经雷锋网许可不得转载。 1.深度学
AI科技评论
2018/03/08
9300
干货分享 | 深度学习零基础进阶第二弹
重读十年经典论文,我在b站竟磕起“大神”李沐的深度学习“系列剧”
每周两更!李沐老师已在GitHub 开源了《深度学习论文精读》,挑选了近10 年来深度学习必须文章!
AI科技评论
2021/11/05
8260
重读十年经典论文,我在b站竟磕起“大神”李沐的深度学习“系列剧”
深度学习领域,你心目中 idea 最惊艳的论文是哪篇?
科研路上我们往往会读到让自己觉得想法很惊艳的论文,心中对不同的论文也会有一个排名。希望本问题下大家能分享自己心目中的排名,同时相互学习。
墨明棋妙27
2022/09/23
4930
​2018深度学习引用数最高的十大论文
译者 | 林椿眄 出品 | 人工智能头条(公众号ID:AI_Thinker) 在过去的几年里,作为机器学习和统计学习的子领域,深度学习已经在诸多领域取得了令人印象深刻的突破。鲁棒性的开源工具、云计算以及大量可用的数据是深度学习能够取得成功的重要基石。下面,我们列出2018年度十大深度学习论文: ▌1.Deep Learning, by Yann L., Yoshua B. & Geoffrey H. (2015) (Cited: 5,716): 深度学习是一种由多个处理层组成的计算模型,它能够学习数据的多
用户1737318
2018/06/05
8710
MIT课程全面解读2019深度学习最前沿 | 附视频+PPT
人类公元纪年2019年伊始,深度学习技术也同样处在一个新的“开端”,宜review、宜展望。
量子位
2019/04/24
7330
MIT课程全面解读2019深度学习最前沿 | 附视频+PPT
从AlexNet到BERT:深度学习中那些最重要idea的最简单回顾
本文作者Denny Britz按时间总结的深度学习比较重要的idea集锦,推荐新人看,几乎给自12年以来最重要的idea 都列了出来,这些 idea 可以说得上是养活了无数人,大家都基于这些发了无数的论文,它们依次是:
大数据文摘
2020/08/10
9180
从AlexNet到BERT:深度学习中那些最重要idea的最简单回顾
126篇殿堂级深度学习论文分类整理 从入门到应用(上)
█ 如果你有非常大的决心从事深度学习,又不想在这一行打酱油,那么研读大牛论文将是不可避免的一步。而作为新人,你的第一个问题或许是:“论文那么多,从哪一篇读起?” 本文将试图解决这个问题——文章标题本来是:“从入门到绝望,无止境的深度学习论文”。请诸位备好道具,开启头悬梁锥刺股的学霸姿势。 开个玩笑。 但对非科班出身的开发者而言,读论文的确可以成为一件很痛苦的事。但好消息来了——为避免初学者陷入迷途苦海,昵称为 songrotek 的学霸在 GitHub 发布了他整理的深度学习路线图,分门别类梳理了新入门者最
AI研习社
2018/03/29
7850
【深度学习】2022年最值得关注的十篇论文,你都看了吗?来卷来学习
2022 年 1 月,扩散模型第一次吸引了我的眼球。当时我判断到将会有某些大事发生,然而却未曾预料到几个月后会出现什么:DALLE-2、Imagen、Stable Diffusion 以及其它许多模型。
黄博的机器学习圈子
2023/01/10
6550
【深度学习】2022年最值得关注的十篇论文,你都看了吗?来卷来学习
深度学习论文资源(截至2016年)
从全局到枝干、从经典到前沿、从理论到应用、还有最新的研究…,所有你不需要的需要的,现在不需要的未来需要的,你不需要的周边小伙伴需要的…反正全都在这了。拿走不谢,就在AI科技大本营。
GavinZhou
2019/05/26
8390
2019年 10 大精彩论文,哪篇论文打动了你?
AI 科技评论按:2019 年马上就要结束了,这一年里我们又一同见证了雪片般密集(越来越密集)的论文,见证了全世界研究人员在各种问题上的新探索。
AI科技评论
2019/12/30
9280
10大深度学习架构:计算机视觉优秀从业者必备(附代码实现)
来源:机器之心 作者:FAIZAN SHAIKH 本文长度为3000字,建议阅读5分钟 本文包括深度学习领域的最新进展、keras 库中的代码实现以及论文链接。 近日,Faizan Shaikh 在
数据派THU
2018/01/29
1.2K0
10大深度学习架构:计算机视觉优秀从业者必备(附代码实现)
2012年至今,细数深度学习领域这些年取得的经典成果
2006年,Hinton 发表了一篇论文《A Fast Learning Algorithm for Deep Belief Nets》,提出了降维和逐层预训练方法,该方法可成功运用于训练多层神经网络,使深度网络的实用化成为可能。该论文也被视作深度学习领域的经典之作。
AI科技评论
2020/08/10
6290
2012年至今,细数深度学习领域这些年取得的经典成果
2020年arXiv十大热门论文来了!不止GPT-3、SimCLR、YOLOv4...
近日,有位外国网友在Reddit上发帖称利用metacurate.io持续读取了2020年度arxiv上有关AI、机器学习、NLP和数据科学的大量论文资源。到2020年末,metacurate.io总共检索了94,000多个论文链接。
AI科技评论
2021/01/08
9960
2020年arXiv十大热门论文来了!不止GPT-3、SimCLR、YOLOv4...
深度学习,经典论文盘点!
科研路上我们往往会读到让自己觉得想法很惊艳的论文,心中对不同的论文也会有一个排名,以下介绍了一些知乎作者心中白月光般存在的深度学习领域论文,看看是否你们拥有同样心目中的The one。
Ai学习的老章
2023/02/06
4140
深度学习,经典论文盘点!
【深度学习】你有哪些深度学习(RNN、CNN)调参的经验?
总结一下在旷视实习两年来的炼丹经验,我主要做了一些 RL,图像质量,图像分类,GAN 相关的任务,日常大概占用 5 - 10 张卡。
黄博的机器学习圈子
2022/04/08
5310
一文概述 2018 年深度学习 NLP 十大创新思路
AI 科技评论按:Sebastian Ruder 是一位 NLP 方向的博士生、研究科学家,目前供职于一家做 NLP 相关服务的爱尔兰公司 AYLIEN,同时,他也是一位活跃的博客作者,发表了多篇机器学习、NLP 和深度学习相关的文章。最近,他基于十几篇经典论文盘点了 2018 年 NLP 领域十个令人激动并具有影响力的想法,并将文章发布在 Facebook 上。AI 科技评论编译如下:
AI研习社
2019/01/09
4290
猫头虎推荐:人类通向AGI之路 史上最重磅的20篇论文你值得学习
👋 大家好,我是猫头虎,今天我们为大家带来一篇穿越时空的AI研究大作!这篇文章将带你领略过去15年推动人工智能(AI)发展的20篇经典论文,这些论文不仅在学术界激起千层浪,更启发了无数创业者和科技公司,推动了今天AI技术的蓬勃发展。
猫头虎
2024/08/14
3130
猫头虎推荐:人类通向AGI之路 史上最重磅的20篇论文你值得学习
深度学习简史(二)
自 2017 年以来,深度学习算法、应用和技术突飞猛进。为了清楚起见,之后的发展是按类别划分的。在每个类别中,我们都会回顾主要趋势和一些最重要的突破。
老齐
2022/07/06
5860
深度学习简史(二)
2019年5项深度学习研究论文
对于整个深度学习和机器学习来说,今年是重要的一年。事情正在迅速发生,这些技术的应用数量正在增加。克服了鸿沟,深度学习处于早期多数阶段。在这个疯狂的世界中保持最新状态的最佳方法是阅读有关该主题的重要论文。在本文中,将重点介绍今年产生重大影响的5篇论文。
代码医生工作室
2019/12/19
7430
2019年5项深度学习研究论文
推荐阅读
相关推荐
深度学习十年发展回顾:里程碑论文汇编
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档