长短时记忆网络（Long Short-Term Memory，LSTM）是一种循环神经网络（Recurrent Neural Network，RNN）的变体，专门用于处理序列数据。相比传统的RNN结构，LSTM引入了门控机制，可以更好地捕捉序列数据中的长期依赖关系。本文将详细分析LSTM在序列数据处理中的优点和缺点。
这篇文章，阐述了RNN的方方面面，包括模型结构，优缺点，RNN模型的几种应用，RNN常使用的激活函数，RNN的缺陷，以及GRU，LSTM是如何试图解决这些问题，RNN变体等。
RNN 面临的较大问题是无法解决长跨度依赖问题，即后面节点相对于跨度很大的前面时间节点的信息感知能力太弱。如下图中的两句话：左上角的句子中 sky 可以由较短跨度的词预测出来，而右下角句子中的 French 与较长跨度之前的 France 有关系，即长跨度依赖，比较难预测。
随着语音识别技术越来越热，声学模型的训练方法也越来越多，各种组合和变化也是层出不穷，而随着深度学习的兴起，使用了接近30年的语音识别声学模型HMM（隐马尔科夫模型）逐渐被DNN（深度神经网络）所替代，模型精度也有了突飞猛进的变化，其中声学模型模型结构经历了从经典的GMM-HMM，到DNN-HMM，再到DNN+CTC的转变，本文列出了其中的常见模型，权当是一篇导读性质的文章，供大家学习时参考。
昨天的周日讨论班讲的是TreeLSTM Sentiment Classification，主讲人：王铭涛 今天我来做一下总结。 下面的图片来自于 王铭涛的ppt 导读 我们一步一步来。先说最基础的RN
今天主要和大家分享一篇关于中文命名实体识别的文章，本文分析Lattice-LSTM模型，并针对该方法的弊端提出将字符符号信息合并到字符向量表示中，提高了模型的性能（计算量、效果）。
在上一篇文章中简单介绍了经典RNN模型，并提到了RNN的一些缺点。LSTM（Long Short-Term Memory）解决了经典RNN不能很好地保存长时序信息的缺点，得到了更加广泛地应用。下面简单说说LSTM的流程。
LSTM（Long Short-Term Memory）也称长短时记忆结构, 它是传统RNN的变体, 与经典RNN相比能够有效捕捉长序列之间的语义关联, 缓解梯度消失或爆炸现象。
序列建模是许多领域的一个重要问题，包括自然语言处理 (NLP)、语音识别和语音合成、时间序列预测、音乐生成和「生物信息学」。所有这些任务的共同点是它们需要坚持。接下来的事情的预测是基于历史的。例如，在“哈桑以前踢足球，而且他踢得非常好”的序列中。只有将“哈桑”的信息推进到该特定点，才能对“他”进行预测。因此，您需要某种历史记录块来存储以前的信息并将其用于进一步的预测。传统的人工神经网络在这方面失败了，因为它们无法携带先前的信息。这就催生了一种名为“循环神经网络（RNN）”的新架构。
工业界的很多应用都有在语义上衡量本文相似度的需求，直接目标就是判断两句话是否表达了相同或相似意思，我们将这类需求统称为“语义匹配”，nlp中的许多任务都可以抽象为语义匹配任务。语义匹配的相关应用场景主要有搜索引擎、问答系统、推荐系统、文本去重等，主要是为了找到与目标文本最相关的文本，比如在问答系统中找到和问题最相关的答案，在搜索引擎中找到与搜索框中关键词最相关的网页等。
循环神经网络（二） ——GRU、LSTM、BRNN、deep RNN （原创内容，转载请注明来源，谢谢） 一、概述 本文主要讲述RNN的其他结构，这些结构比RNN更常用，而且对于自然语言处理，有更高效
本文介绍了基于多模态融合、多任务学习、模型架构搜索等技术，实现了广告CTR/CVR预测的精排模型。同时，通过对比多种指标，对精排模型进行了细致的分析，并设计了实验进行验证。最终，在多组实验结果中，都取得了很好的效果，证明本文所提出的广告CTR/CVR预测精排模型及其实现方法的有效性。
前段时间看了一些关于LSTM方面的论文，一直准备记录一下学习过程的，因为其他事儿，一直拖到了现在，记忆又快模糊了。现在赶紧补上，本文的组织安排是这样的：先介绍rnn的BPTT所存在的问题，然后介绍最初的LSTM结构，在介绍加了遗忘控制门的，然后是加了peephole connections结构的LSTM，都是按照真实提出的时间顺序来写的。本文相当于把各个论文核心部分简要汇集一下而做的笔记，已提供快速的了解。
本文回顾了 Shaojie Bai、J. Zico Kolter 和 Vladlen Koltun 撰写的论文：An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling。
上个博客里阐述了梯度消失的原因，同时梯度消失会造成RNN的长时记忆失效。所以在本博客中，会阐述梯度消失的解决方案：①梯度裁剪（Clipping Gradient）②LSTM（Long Short-Term Memory）。
长短期记忆网络，通常称为“LSTM”(Long Short Term Memory network,由Schmidhuber和Hochreiterfa提出)。它已经被广泛用于语音识别，语言建模，情感分
In-Order Transition-based Constituent Parsinggodweiyang.com
导语 在NLP领域，语义相似度的计算一直是个难题：搜索场景下Query和Doc的语义相似度、feeds场景下Doc和Doc的语义相似度、机器翻译场景下A句子和B句子的语义相似度等等。本文通过介绍DSSM、CNN-DSSM、LSTM-DSSM等深度学习模型在计算语义相似度上的应用，希望给读者带来帮助。 1. 背景 以搜索引擎和搜索广告为例，最重要的也最难解决的问题是语义相似度，这里主要体现在两个方面：召回和排序。 在召回时，传统的文本相似性如 BM25，无法有效发现语义类 Query-Doc 结果对，如"从北
接下来保持住节奏，每周起码一篇paper reading，要时刻了解研究的前沿，是一个不管是工程岗位还是研究岗位AIer必备的工作，共勉！
使用句子中出现单词的Vector加权平均进行文本相似度分析虽然简单，但也有比较明显的缺点：没有考虑词序且词向量区别不明确。如下面两个句子：
有些问题，输入数据 X 和 输出数据 Y 都是序列，X 和 Y 有时也会不一样长。在另一些问题里，只有 X 或 只有 Y 是序列
LSTM（The Long Short-Term Memory，长短期记忆网络）已成为深度学习的主流之一，并作为循环神经网络（RNN，recurrent neural networks）的一种更好的变体而被广泛应用。但是随着机器学习研究的加速，各种方法的更迭越来越快，LSTM似乎已经开始变得落伍。
平时很少写总结性的文章，感觉还是需要阶段性总结一些可以串在一起的知识点，所以这次写了下。因为我写的内容主要在时序、时空预测这个方向，所以主要还是把rnn，lstm，gru，convlstm，convgru以及ST-LSTM
1、在另外一个公司实习相关，大概问了 20分钟，还是讲了很多东西的。从产品形态问到日活、每天的点击展示量，再到工作的具体内容，还有工程上的问题。
翻译 | 张涛 出品 | 人工智能头条（公众号ID：AI_Thinker） 2014 年 RNN/LSTM 起死回生。自此，RNN/LSTM 及其变种逐渐被广大用户接受和认可。起初，LSTM 和 RNN 只是一种解决序列学习和序列翻译问题的方法（seq2seq），随后被用于语音识别并有很好的效果，比如 Siri，Cortana，Alexa 等；此外，这种技术在机器翻译领域也有应用，比如 Google Translate。 2015-2016 年，新的 ResNet 和 Attention 技术出现。实际上
有些句子即使把词的顺序打乱，还是可以看懂这句话在说什么，有时候词的顺序打乱，句子意思就变得面目全非
近一两年，注意力模型（Attention Model）是深度学习领域最受瞩目的新星，用来处理与序列相关的数据，特别是2017年Google提出后，模型成效、复杂度又取得了更大的进展。以金融业为例，客户的行为代表一连串的序列，但要从串行化的客户历程数据去萃取信息是非常困难的，如果能够将self-attention的概念应用在客户历程并拆解分析，就能探索客户潜在行为背后无限的商机。然而，笔者从Attention model读到self attention时，遇到不少障碍，其中很大部分是后者在论文提出的概念，鲜少有文章解释如何和前者做关联，笔者希望藉由这系列文，解释在机器翻译的领域中，是如何从Seq2seq演进至Attention model再至self attention，使读者在理解Attention机制不再这么困难。
长短期记忆（Long Short-Term Memory，LSTM）是一种时间循环神经网络（RNN），论文首次发表于1997年。由于独特的设计结构，LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。 在过去几十年里，LSTM发展如何了？ 密切关注机器学习的研究者，最近几年他们见证了科学领域前所未有的革命性进步。这种进步就像20世纪初，爱因斯坦的论文成为量子力学的基础一样。只是这一次，奇迹发生在AlexNet论文的推出，该论文一作为Alex Krizhevsky，是大名鼎鼎Hinton的优秀学生代表之一。AlexNet参加了2012年9月30日举行的ImageNet大规模视觉识别挑战赛，达到最低的15.3%的Top-5错误率，比第二名低10.8个百分点。这一结果重新燃起了人们对机器学习（后来转变为深度学习）的兴趣。 我们很难评估每次技术突破：在一项新技术被引入并开始普及之前，另一项技术可能变得更强大、更快或更便宜。技术的突破创造了如此多的炒作，吸引了许多新人，他们往往热情很高，但经验很少。 深度学习领域中一个被误解的突破就是循环神经网络（Recurrent neural network：RNN）家族。如果你用谷歌搜索诸如「LSTMs are dead」「RNNs have died」短语你会发现，搜索出来的结果大部分是不正确的或者结果太片面。 本文中数据科学家Nikos Kafritsas撰文《Deep Learning: No, LSTMs Are Not Dead!》，文中强调循环网络仍然是非常有用的，可应用于许多实际场景。此外，本文不只是讨论LSTM和Transformer，文中还介绍了数据科学中无偏评估这一概念。 以下是原文内容，全篇以第一人称讲述。
LSTM 和 Transformer 都是当下主流的特征抽取结构，被应用到非常多的领域，各有它的擅长和优缺点。关于 LSTM 与 Transformer 结构的强弱争论，笔者认为还是要根据具体的研究领域进行讨论才有意义，毕竟目前很多模型改进的方向，其实就是改造使得它更匹配领域问题的特性。
点击 机器学习算法与Python学习 ，选择加星标 精彩内容不迷路 选自towardsdatascience 机器之心编译 如果说「LSTM」已死，它为何依然能够在Kaggle竞赛中成为赢家呢？ 长短期记忆（Long Short-Term Memory，LSTM）是一种时间循环神经网络（RNN），论文首次发表于1997年。由于独特的设计结构，LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。 在过去几十年里，LSTM发展如何了？ 密切关注机器学习的研究者，最近几年他们见证了科学领域前所
选自towardsdatascience 作者：Nikos Kafritsas 机器之心编译 编辑：杜伟、陈萍 如果说「LSTM」已死，它为何依然能够在Kaggle竞赛中成为赢家呢？ 长短期记忆（Long Short-Term Memory，LSTM）是一种时间循环神经网络（RNN），论文首次发表于1997年。由于独特的设计结构，LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。 在过去几十年里，LSTM发展如何了？ 密切关注机器学习的研究者，最近几年他们见证了科学领域前所未有的革命
就像 20 世纪初，爱因斯坦的 Annus mirabilis 论文成为了量子力学的基础。只是这一次，是 AlexNet 论文 [1]，这是一种挑战计算机视觉的架构，并重新唤起了人们对机器学习（后来转变为深度学习）的兴趣。在过去的十年里，人们见证了机器学习领域革命性的进步，这是无可否认的。
Straight to the Tree：Constituency Parsing with Neural Syntactic Distancegodweiyang.com
由图可知，比如第二个节点的输入不仅依赖于本身的输入U1，而且依赖上一个节点的输入W0,U0，同样第三个节点依赖于前两个节点的输入，
通常我们说到语音识别技术的时候，指的是整个语音对话系统，如图所示，语音对话系统通常包括四个主要组成部分的一个或多个：语音识别系统将语音转化为文本、语义理解系统提取用户说话的语义信息、文字转语音系统将内容转化为语音、对话管理系统连接其他三个系统并完成与实际应用场景的沟通。所有这些部分对建立一个成功的语音对话系统都是很关键的。
我们知道人类并不是从零开始思考东西，就像你读这篇文章的时候，你对每个字的理解都是建立在前几个字上面。你读完每个字后并不是直接丢弃然后又从零开始读下一个字，因为你的思想是具有持续性的，很多东西你要通过上下文才能理解。
作者：谢志宁 https://www.zhihu.com/question/46688107/answer/117448674
前 言 截至 11 月 22 日，比特币的价格再创历史新高（约 1 比特币兑 8120 美元），在惊讶于虚拟货币「不可战胜」的同时，我们或许能可以从这一波热潮中学到些什么。本文中，博士毕业于伦敦大学学院（UCL）的 David Sheehan 为我们介绍了使用 Keras 基于 LSTM 预测比特币价格走势的详细方法。在测试中，这个机器学习预测法似乎有着不错的准确度。 如果要列出 2017 年最为荒谬的三样事物，则一定是指尖陀螺、人工智能，当然，还有加密虚拟货币（cryptocurrency）。以上是玩笑
论文标题：Evolution of Transfer Learning in Natural Language Processing
其实，本文到这里，"核心内容"就已经讲完啦...当然如果你还不困的话，可以继续往下看，应该会有助于睡眠的
人类不会每时每刻都开始思考。 当你阅读这篇文章时，你会根据你对之前单词的理解来理解每个单词。 你不会忘掉掉所有东西，然后再从头开始思考。 你的想法有持久性。
选自GitHub 作者：David Sheehan 机器之心编译 截至 11 月 22 日，比特币的价格再创历史新高（约 1 比特币兑 8120 美元），在惊讶于虚拟货币「不可战胜」的同时，我们或许能可以从这一波热潮中学到些什么。本文中，博士毕业于伦敦大学学院（UCL）的 David Sheehan 为我们介绍了使用 Keras 基于 LSTM 预测比特币价格走势的详细方法。在测试中，这个机器学习预测法似乎有着不错的准确度。 如果要列出 2017 年最为荒谬的三样事物，则一定是指尖陀螺、人工智能，当然，还
ARIMA模型于1982年提出，是时间序列预测分析方法之一。ARIMA（p，d，q）中，AR是"自回归"，p为自回归项数；MA为"滑动平均"，q为滑动平均项数，d为使之成为平稳序列所做的差分次数（阶数）。后面ARIMA模型我是用R语言来实现的。
在本文中，长短期记忆网络——通常称为“LSTM”——是一种特殊的RNN递归神经网络，能够学习长期依赖关系 。 最近我们被客户要求撰写关于LSTM的研究报告，包括一些图形和统计输出。
w的更新方向由 决定，而 对所有的w_i是常数，所以实际上w的更新方向由 决定。
在本文中，长短期记忆网络——通常称为“LSTM”——是一种特殊的RNN递归神经网络，能够学习长期依赖关系
深度学习的概念源于人工神经网络的研究，含有多个隐藏层的多层感知器是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示，以表征数据的类别或特征。它能够发现数据的分布式特征表示。深度学习是机器学习的一种，而机器学习是实现人工智能的必经之路。
RNN (Recurrent Neural Network), 中文称作循环神经网络, 它一般以序列数据为输入, 通过网络内部的结构设计有效捕捉序列之间的关系特征, 一般也是以序列形式进行输出.
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
