阅读笔记｜Attention Is All You Need

info: A. Vaswani et al., “Attention Is All You Need,” 2017, doi: 10.48550/ARXIV.1706.03762.

1.1 背景

• Transformer一开始主要针对NLP中的翻译任务
• 主流序列到序列模型通常基于复杂的RNN或CNN
• RNN由于结构特性存在并行性差的问题，且长记忆差
• CNN一次按一个窗口进行卷积，相距远的信息需要多重卷积才能融合
• 目前表现最好的模型包含编码器和解码器结构，并用注意力机制连接两者

1.2 主要贡献

• 提出Transformer，一个完全基于自注意力的新模型结构，区别于RNN或CNN
• 创新发展了注意力机制，提出多头注意力机制用于取代传统seq2seq中的递归层，兼具并行性同时有效建模了长距离依赖
• 将建模长距离依赖关系的操作的复杂度从RNN的线性和CNN的对数降至常数级别

1.3 模型结构

整体架构

• 采用编码器-解码器结构
• 编码器和解码器都是N个相同的层叠加

编码器

• N=6个相同的层叠加
• 每层包含两部分
• 多头自注意力
• 全连接的前馈网络
• 每层后都有残差连接和层规范化

解码器

• 与编码器结构类似
• 在每个编码器层后面，添加一个多头自注意力用于编码器输出
• 自回归（前面的输出作为输入）
• 增加掩码机制，防止训练时由于自回归而提前看到后面的位置

Normalization

• BatchNorm：对于二维输入来说，对每列的同一特征进行normalization；三维输入中，依然是对于同一特征，不同batch和不同seq的数据进行normalization
• LayerNorm：对于二维输入来说，对每行的样本进行normalization；三维输入中，则是对于同一个batch，不同feature和不同seq的数据进行normalizationBatchNorm：对于二维输入来说，对每列的同一特征进行normalization；三维输入中，依然是对于同一特征，不同batch和不同seq的数据进行normalization

位置编码

• 因为没有RNN自带的时序结构，故输入添加正弦和余弦函数编码位置信息

自注意力

• Scaled Dot-Product Attention
• 将查询、键、值打包成矩阵，做缩放点积注意力
• 用参数dk控制缩放
• Multi-Head Attention
• 将输入进行多次线性映射，得到多个头部
• 在每个头部单独做点积注意力
• 将所有头部连接起来做线性映射
• 允许注意不同的子空间

1.4 实验

训练

• 标准机器翻译数据集
• Adam优化器
• 标签平滑、残差dropout等正则化策略

结果

• 英德和英法翻译任务表现再创新高
• 英语短语结构分析也取得良好结果

1.5 个人思考

• Transformer并不是只要attention就行，MLP和残差连接等缺一不可，只是相对以前的seq2seq没有了CNN或RNN。
• Transformer的注意力机制没有像RNN那样在结构上去对序列做顺序上的建模，能处理更一般化的信息，能比CNN取得更好的效果，代价是需要更多数据和训练，模型越来越大。