有关自然语言处理的一些算法

卷积神经网络

卷积神经网络是人工神经网络的一种，它的最厉害的地方在于权值共享网络结构，降低了网络模型的复杂度，减少了权值数量。优点是图像可直接作为网络的输入，避免了传统算法中复杂的特征提取和数据重建的过程。

卷积神经网络的优点：卷积神经网络最厉害的地方在于权值共享网络结构，所以卷积网络的核心思想是将：局部感受野、权值共享以及空间亚采样这三种结构思想结合起来获得了某种程度的位移、尺度、形变不变性。

因为CNN的特征检测层是通过训练数据进行学习，所以在使用CNN的时候，避免了显式的特征抽取，而隐式地从训练数据中进行学习， 卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性。

循环神经网络

人们思考问题往往不是从零开始的，你对每个词的理解都会基于前面你所看到的，而不是全部都忘记之后再去理解这个词。所以说人们的思维往往是有延续的。但是传统的神经网络有较大的缺陷做不到这样的延续性。循环神经网络却有一个循环的操作，使它们能够保留之前学习到的内容。

从 RNNs 链状的结构很容易理解到它是和序列信息相关的。这种结构似乎生来就是为了解决序列相关问题的。

而且，它们的的确非常管用，在最近的几年中，人们利用 RNNs 不可思议地解决了各种各样的问题：语音识别，语言模型，翻译，图像（添加）字幕，等等。但是很长很长之前提到的信息，随着预测信息和相关信息间的间隔增大，循环神经网络就很难正确预测。而长短期记忆网络则可以解决这个问题。

长短期记忆网络

短期记忆人工神经网络是一种时间递归神经网络，LSTMs 主要是为了避免前面提到的 长时期依赖 （long-term dependency ）的问题。它们的本质就是能够记住很长时期内的信息，而且非常轻松就能做到。

所有的RNN都具有一种重复神经网络模块的链式形式。在标准RNN中，这个重复的结构模块只有一个非常简单的结构。

文章来源：www.xixi.ai（息息人工智能）