理解LSTM中的各种阀

理解LSTM中的各种阀

但是当你看一个神经网络时，它的功能就像一个黑盒子。从一侧输入一些输入，从另一侧接收一些输出。它做出的决定主要基于当前的输入。

乍一看，这看起来令人生畏。让我们忽略内部结构，只看一下单元的输入和输出。网络需要三个输入。X_t是当前时间步的输入。h_t-1是前一个LSTM单元的输出，C_t-1是前一个单元的"存储器"，我认为这是最重要的输入。至于输出，h_t是当前网络的输出。C_t是当前单位的内存（记忆）。

它的内部记忆C_t改变的方式非常类似于通过管道输送水。假设记忆是水，它会流入管道。我们希望沿途更改此内存流量，此更改由两个阀门控制。

第一个阀叫做忘记阀。如果你关闭它，将不会保留旧的记忆。如果你完全打开这个阀门，所有旧的记忆都会通过。

第二个阀门是新的记忆阀。新记忆将通过如上所述的T形关节进入管道并与旧记忆合并。管道需要控制多少新记忆应该由第二个阀门控制。

关于记忆的两个步骤：

现在来看忘记阀是怎么实现的。它由简单的单层神经网络控制。

汇合阀，同样，它是一个单层简单的神经网络，它与忘记阀门具有相同的输入。

图中标出的红色是忘记阀，紫色是汇合阀（新的记忆阀）。

输出阀，我们需要为此LSTM单元生成输出。其由新记忆、先前输出h_t-1，、输入X_t和偏置矢量控制。

在这里，使用第一个图表中相同的符号和颜色来重绘上面的图表：