transformer pytorch 是什么？

归一注意力，在翻译句子的时候，模型能更关注某个句子的关注度，翻译更准确。

查询向量，比如你要查苹果是红的,这个需求就是查询向量，apple这个单词,键向量 this apple is red,值向量相当于对这个句子的翻译

pytorch,支持GPU，能让你方便搭建循环层，网络层，卷积层，各种神经网络模型。

transformer 是一种特定神经网络架构，不用循环层，和卷积层，是应用了注意力机制。

softmax函数 把分类问题转换成概率。图像属于不同类别的概率是多少，通过输入数据转换我们理解的概率分布。

预测序列 根据已有的数据预测未来的

线性层的自注意力机制是什么 台风的风向，降雨量输入层线性层，线性层注意力机制 相当于一个聚光灯。模型更关注这些参数。

掩码注意力 你要预测台风什么时候到？过滤器，掩码注意力能让有些观测站不太准的，掩码注意力就能让模型别太依赖这些数据

注意力权重矩阵 温度，气压，给这些数据标记不同的数字

掩码矩阵 给数据加了保护罩

训练神经网络 过去的台风数据，风向都给它，慢慢就能预测台风的。

随机屏障 随机让神经元不工作，好比让学生不要死记硬背来学习知识一样。增加泛化能力

归一化 把数据放到一个固定范围内。