Transformer模型注意力机制；层归一化（Layer Normalization）

​

目录

Transformer模型注意力机制

注意力机制（Attention Mechanism）

层归一化（Layer Normalization）

层归一化的作用

Transformer模型注意力机制

中，有几个关键的公式和概念需要解释，包括注意力机制（Attention Mechanism）和层归一化（Layer Normalization）。以下是详细的解释：

注意力机制（Attention Mechanism）

注意力机制是Transformer模型的核心部分，它允许模型在处理输入序列时，对不同位置的信息给予不同的关注度。在Transformer中，通常使用的是自注意力机制（Self-Attention），它允许序列中的每个元素都与其他元素进行交互。

层归一化（Layer Normalization）

层归一化是Transformer模型中用于加速训练和提高稳定性的一个关键技术。它通过在每个样本内部的不同神经元之间进行归一化，来消除特征之间的尺度差

层归一化的作用

1. 加速训练：通过归一化，不同特征之间的尺度差异被消除，这有助于梯度下降算法更快地收敛。
2. 提高稳定性：归一化可以减少内部协变量偏移（Internal Covariate Shift），即网络层之间输入分布的变化，从而提高训练的稳定性。
3. 适应NLP任务：在NLP任务中，句子长度可能不同，导致不同样本的输入特征数量不一致。层归一化在每个样本内部进行，因此能够更好地处理这种差异。

​