CNN和RNN几乎占据着深度学习的半壁江山，所以本文将着重讲解CNN+RNN的各种组合方式，以及CNN和RNN的对比。
在辞旧迎新的时刻，大家都在忙着回顾过去一年的成绩（或者在灶台前含泪数锅），并对 2019 做着规划，当然也有不少朋友执行力和工作效率比较高，直接把 2018 年初制定的计划拷贝一下，就能在 3 秒钟内完成 2019 年计划的制定，在此表示祝贺。2018 年从经济角度讲，对于所有人可能都是比较难过的一年，而对于自然语言处理领域来说，2018 年无疑是个收获颇丰的年头，而诸多技术进展如果只能选择一项来讲的话，那么当之无愧的应该就是 BERT 模型了。
在辞旧迎新的时刻，大家都在忙着回顾过去一年的成绩（或者在灶台前含泪数锅），并对 2019 做着规划，当然也有不少朋友执行力和工作效率比较高，直接把 2018 年初制定的计划拷贝一下，就能在 3 秒钟内完成 2019 年计划的制定，在此表示祝贺。2018 年从经济角度讲，对于所有人可能都是比较难过的一年，而对于自然语言处理领域来说，2018 年无疑是个收获颇丰的年头，而诸多技术进展如果只能选择一项来讲的话，那么当之无愧的应该就是BERT模型了。
1. CNN+RNN 相同点 都是传统神经网络的扩展； 前向计算产生结果，反向计算进行模型的更新； 每层神经网络横向可以多个神经元共存，纵向可以有多层神经网络连接。 不同点 CNN进行空间扩展，神经元
在辞旧迎新的时刻，大家都在忙着回顾过去一年的成绩（或者在灶台前含泪数锅），并对2019做着规划，当然也有不少朋友执行力和工作效率比较高，直接把2018年初制定的计划拷贝一下，就能在3秒钟内完成2019年计划的制定，在此表示祝贺。2018年从经济角度讲，对于所有人可能都是比较难过的一年，而对于自然语言处理领域来说，2018年无疑是个收获颇丰的年头，而诸多技术进展如果只能选择一项来讲的话，那么当之无愧的应该就是Bert模型了。在知乎上一篇介绍Bert的文章“从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史”里，我曾大言不惭地宣称如下两个个人判断：一个是Bert这种两阶段的模式（预训练+Finetuning）必将成为NLP领域研究和工业应用的流行方法；第二个是从NLP领域的特征抽取器角度来说，Transformer会逐步取代RNN成为最主流的的特征抽取器。关于特征抽取器方面的判断，上面文章限于篇幅，只是给了一个结论，并未给出具备诱惑力的说明，看过我文章的人都知道我不是一个随便下结论的人（那位正在补充下一句：“你随便起来不是……”的同学请住口，请不要泄露国家机密，你可以继续睡觉，吵到其它同学也没有关系，哈哈），但是为什么当时我会下这个结论呢？本文可以看做是上文的一个外传，会给出比较详实的证据来支撑之前给出的结论。
【AI100 导读】本文系统地对比了 CNN 和 RNN 在 NLP 各大任务上的表现，包括：情感分类、关系分类、文本蕴含、答案选择、问题关系匹配、PQA、词性标注等。RNN 在大部分任务上都表现的更好，除了在关键词匹配和识别这类任务不如 CNN。这篇文章有很多不错的结论，值得一读！ 摘 要 深度神经网络（DNNs）的出现使得自然语言处理领域（NLP）发生了翻天覆地的变化。卷积神经网络（CNN）和循环神经网络（RNN）是深度神经网路（DNN）的两种主要的架构类型，目前正在大范围的研究当中，用于处理各种各
LSTM 和 Transformer 都是当下主流的特征抽取结构，被应用到非常多的领域，各有它的擅长和优缺点。关于 LSTM 与 Transformer 结构的强弱争论，笔者认为还是要根据具体的研究领域进行讨论才有意义，毕竟目前很多模型改进的方向，其实就是改造使得它更匹配领域问题的特性。
从有一些有趣的用例看，我们似乎完全可以将 CNN 和 RNN/LSTM 结合使用。许多研究者目前正致力于此项研究。但是，CNN 的最新研究进展趋势可能会令这一想法不合时宜。
此论文出自google Brain并发表与ICLR2017，看这篇论文主要是google Brain在cvpr2017上发表了一篇NASnet论文。
雷锋网 AI 科技评论按：本文的作者是张俊林老师，他是中国中文信息学会理事，中科院软件所博士，目前在新浪微博 AI Lab 担任资深算法专家。在此之前，张俊林老师曾在阿里巴巴任资深技术专家并负责新技术团队，也曾在百度和用友担任技术经理及技术总监等职务。同时他是技术书籍《这就是搜索引擎：核心技术详解》（该书荣获全国第十二届优秀图书奖）、《大数据日知录：架构与算法》的作者。本文首发于知乎（https://zhuanlan.zhihu.com/p/54743941），经作者许可，雷锋网 AI 科技评论进行转载。
本文搜集整理了Jupyter Notebook中TensorFlow和PyTorch的各种深度学习架构，模型和技巧，内容非常丰富，适用于Python 3.7，适合当做工具书。
深度学习的概念源于人工神经网络的研究，含有多个隐藏层的多层感知器是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示，以表征数据的类别或特征。它能够发现数据的分布式特征表示。深度学习是机器学习的一种，而机器学习是实现人工智能的必经之路。
个人主页--> https://xiaosongshine.github.io/
严格来说，softmax回归应该不算深度学习，不过这是我用Tensorflow搭建的第一个模型，所以如果你之前没接触过Tensorflow，我觉得softmax作为入门的第一个项目是一个不错的选择。
作者：Gongbo Tang、Mathias Muller、Annette Rios、Rico Sennrich
有这么一份干货，汇集了机器学习架构和模型的经典知识点，还有各种TensorFlow和PyTorch的Jupyter Notebook笔记资源，地址都在，无需等待即可取用。
http://www.wildml.com/2015/12/implementing-a-cnn-for-text-classification-in-tensorflow/
在深度学习领域，选择合适的模型架构对于任务的成功至关重要。卷积神经网络（CNN）、循环神经网络（RNN）和Transformer是三种经典的深度学习模型，本文将深入比较它们的优缺点，并为读者提供在不同场景下的选择建议。
CNN 是一种前馈神经网络，通常由一个或多个卷积层（Convolutional Layer）和全连接层（Fully Connected Layer，对应经典的 NN）组成，此外也会包括池化层（Pooling Layer）。
本文是我之前写过的一篇基于推特数据进行情感分析的文章（https://ahmedbesbes.com/sentiment-analysis-on-twitter-using-word2vec-and-keras.html）的延伸内容。那时我建立了一个简单的模型：基于 keras 训练的两层前馈神经网络。用组成推文的词嵌入的加权平均值作为文档向量来表示输入推文。
摘要：本篇从理论到实践分享了机器学习是如何解决看图说话任务的。首先介绍了看图说话任务的背景，主要包括什么是看图说话任务和为啥要学习看图说话任务；然后详细讲解了看图说话任务，介绍了看图说话任务、机器翻译以及Encoder-Decoder三者之间的关系，重点介绍了一些有代表性的看图说话模型比如百度的m-RNN、谷歌的NIC、基于视觉Attention的NIC以及使用高等级语义特征的V2L等模型；最后实战了看图说话模型开源项目NeuralTalk2。对CV和NLP交叉领域的看图说话任务感兴趣的小伙伴可能会有帮助。
这是一个在UCF101上使用3D RNN/CNN+RNN 进行视频分类的教程，基于Pytorch实现。
为了解决任务，深度神经网络（DNN）逐步将输入数据转换为一系列复杂表征（即跨越单个神经元的激活模式）。理解这些表征非常重要，不仅是为了解释，也是为了我们可以更智能地设计机器学习系统。但是，理解这些表征方式非常困难，特别是在比较网络中的表征。在之前的文章中，研究者概述了典型相关分析（CCA）作为理解和比较卷积神经网络（CNN）表征工具的好处，表明了它们在自下而上的模式中会聚，在训练过程中，早期层会逐渐融合到最终层中。
随着语音识别技术越来越热，声学模型的训练方法也越来越多，各种组合和变化也是层出不穷，而随着深度学习的兴起，使用了接近30年的语音识别声学模型HMM（隐马尔科夫模型）逐渐被DNN（深度神经网络）所替代，模型精度也有了突飞猛进的变化，其中声学模型模型结构经历了从经典的GMM-HMM，到DNN-HMM，再到DNN+CTC的转变，本文列出了其中的常见模型，权当是一篇导读性质的文章，供大家学习时参考。
前几天在学习花书的时候，和小伙伴们讨论了“CNN如何处理可变大小的输入”这个问题。进一步引申到“对于大小可变的输入，深度学习模型如何处理？”这个更大的问题。因为这里面涉及到一些概念，我们经常搞混淆，比如RNN单元明明可以接受不同长度的输入，但我们却在实际训练时习惯于使用padding来补齐；再比如CNN无法直接处理大小不同的输入，但是去掉全连接层之后又可以；再比如Transformer这种结构，为何也可以接受长度不同的输入。因此，这里我想总结一下这个问题：
这个问题很有意义。机器学习算法并没有什么不足之处，那么为什么数据科学家要选择深度学习算法呢？神经网路能够提供给我们哪些传统机器学习提供不了的功能呢？
常见的seq2seq问题，比如摘要提取，机器翻译等大部分采用的都是encoder-decoder模型。而实现encoder-decoder模型主要有RNN和CNN两种实现；
你的预测建模问题适合选择何种神经网络？对于初学者而言，深度学习领域很难知道要使用什么类型的网络。因为有许多类型的网络可供选择，每天都会有新的方法被发布和讨论。
深度学习在计算机视觉领域取得的巨大的发展，最近几年CNN一直是目前主流模型所采取的架构。最近半年RNN/LSTM应用在识别领域逐渐成为一种潮流，RNN在获取目标的上下文中较CNN有独特的优势。以下我们分析最近有关RNN做目标识别的相关文章。 1、Inside-Outside Net: Detecting Objects in Context with Skip Pooling and Recurrent Neural Networks CVPR2016（论文笔记） 本文的主要贡献是用skip pooli
这是一个值得思考的问题。机器学习算法并不缺乏，那么为什么数据科学家会倾向于深度学习算法呢？神经网络提供了传统机器学习算法不具备的功能吗？
之前介绍的循环神经⽹络模型都是假设当前时间步是由前⾯的较早时间步的序列决定的，因此它 们都将信息通过隐藏状态从前往后传递。有时候，当前时间步也可能由后⾯时间步决定。例如， 当我们写下⼀个句⼦时，可能会根据句⼦后⾯的词来修改句⼦前⾯的⽤词。**双向循环神经⽹络通过增加从后往前传递信息的隐藏层来更灵活地处理这类信息。**下图演⽰了⼀个含单隐藏层的双向循环神经⽹络的架构。
深度学习在计算机视觉领域取得的巨大的发展，最近几年CNN一直是目前主流模型所采取的架构。最近半年RNN/LSTM应用在识别领域逐渐成为一种潮流，RNN在获取目标的上下文中较CNN有独特的优势。以下我们分析最近有关RNN做目标识别的相关文章。 1、Inside-Outside Net: Detecting Objects in Context with Skip Pooling and Recurrent Neural Networks CVPR2016（论文笔记） 本文的主要贡献是用skip poolin
事物、概念之间的关系是人类知识中非常重要的一个部分，但是他们通常隐藏在海量的非结构文本中。为了从文本中抽取这些关系事实，从早期的模式匹配到近年的神经网络，大量的研究在多年前就已经展开。
美国证券交易委员会（SEC）的文件长期以来一直被用作出投资决策的宝贵信息来源。一些论文和项目已经演示了如何使用自然语言处理技术从SEC文件和新闻中提取信息，以预测股票波动。本文在其他工作的基础上，通过使用GloVE嵌入技术、MLP、CNN和RNN深度学习体系结构，预测8-K文件发布后的股票价格变化。
Transformer架构在机器学习领域（尤其是NLP里）是一项热门研究，为我们带来了许多重要成果，比如：GPT-2、GPT-3等写稿机器人；第一代GPT及其性能更优越的“继任者”BERT模型，在众多语言理解任务中以前所未有的数据利用效率获得了最准确的结果，而且几乎不需要调整任何参数，也就是在过去花费一个月做的事情、现在只需要花费30分钟，还达到了更好的效果；以及AlphaStar等。
LSTM(Long Short-Term Memory长短时记忆网络)虽然在MNIST手写数字识别方面不擅长，但是也可以进行使用，效果比CNN略显逊色
info: A. Vaswani et al., “Attention Is All You Need,” 2017, doi: 10.48550/ARXIV.1706.03762.
这是专栏《图像分割模型》的第9篇文章。在这里，我们将共同探索解决分割问题的主流网络结构和设计思想。
自然语言理解就是希望机器像人一样，具备正常人的语言理解能力，由于自然语言在理解上有很多难点(下面详细说明)，所以 NLU 是至今还远不如人类的表现。
卷积神经网络（CNN）、循环神经网络（RNN）与Transformer作为深度学习中三大代表性模型，其理解和应用能力是面试官评价候选者深度学习技术实力的重要标准。本篇博客将深入浅出地探讨Python深度学习面试中与CNN、RNN、Transformer相关的常见问题、易错点，以及如何避免这些问题，同时附上代码示例以供参考。
什么是循环神经网络（RNN）？它们如何运行？可以用在哪里呢？本文试图回答上述这些问题，还展示了一个 RNN 实现 demo，你可以根据自己的需要进行扩展。
前言 文本分类任务是一个经久不衰的课题，其应用包括垃圾邮件检测、情感分析等。 传统机器学习的做法是先进行特征工程，构建出特征向量后，再将特征向量输入各种分类模型（贝叶斯、SVM、神经网络等）进行分类。 随着深度学习的发展以及RNN、CNN的陆续出现，特征向量的构建将会由网络自动完成，因此我们只要将文本的向量表示输入到网络中就能够完成自动完成特征的构建与分类过程。 就分类任务而言，CNN比RNN更为合适。CNN目前在图像处理方向应用最为广泛，在文本处理上也有一些的应用。本文将参考 Denny Brit
教程地址：http://www.showmeai.tech/tutorials/36
国际顶级会议WWW2020将于4月20日至24日举行。始于1994年的WWW会议，主要讨论有关Web的发展，其相关技术的标准化以及这些技术对社会和文化的影响，每年有大批的学者、研究人员、技术专家、政策制定者等参与。以下是蚂蚁金服的技术专家对入选论文《Enhanced-RCNN: 一种高效的比较句子相似性的方法》做出的深度解读。
背景是机器翻译、encoder-decoder框架，而且一般都会在中间使用Attention机制。
地址：https://github.com/rasbt/deeplearning-models
AI 研习社按，近期，AWS 表示 MXNet 支持 Keras 2，开发者可以使用 Keras-MXNet 更加方便快捷地实现 CNN 及 RNN 分布式训练。AI 研习社将 AWS 官方博文编译如下。
前段时间，一直在项目中玩CNN，学到了不少，也理解了不少，包括各种经典的CNN网络框架以及改进，然而，RNN的学习并没有项目驱动，这也是为什么搁置了一段时间的原因，但是RNN作为深度学习知识系统的一个重要组成部分，肯定是要学习的。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
