自注意力机制，反向传播

自注意力机制中的自的意思，是自己去分配注意力。

词元是什么？unhappy会被分配成un 和happy。就是最小单元，不能再分了。

特殊词元 |endoftext| 标记文本的结尾

未知词 模型训练数据里未出现过的词。

BPE 就是字节对合并算法，happy 解决词表太大。让模型学习词语的表示

张量 多维度向量空间。

权重矩阵 权重可以理解为重要程度。

嵌入向量 将数据转换成向量的方式，每个单词变成向量。向量包含单词的语义信息。语言的结构或语义信息。

独热编码

反向传播 当你有一个预测公众号文章符合平台推广的模型，用实际结果来调整反向传播模型。

相对嵌入 比如你想让人工智能帮你记忆单词，apple，banan，相对嵌入是一个全局概念。

位置嵌入 给每一个单词的位置信息进行编码。