↑↑↑关注后"星标"炼丹笔记
炼丹笔记干货
作者:时晴
众所周知,self-attention是不考虑输入序列的位置的,要解决这个问题就得靠Position Encoding了,在attention...,d_model表示输入的维度,pos表示单词的索引,i表示向量中索引,用sin,cos计算出对应值,但是为什么可以这样加到input上达到位置编码的效果呢?...这时候我们看看bert就是非常直观的绝对位置动态编码,就直观很多,每个位置就是固定的embedding:
让我们看看原文作者是怎么解释的:
对于任何偏移量k,对pos+k的编码都可以是pos编码线形变换....先来看看可视化结果:
值得注意的是,每个向量第0和第1的位置,第0的位置对应于PE公式的sin式,第1的位置对应于PE公式的cos式子,但是他们的2i都是0,所以会有下式:
所以每个输入向量的第0...个和第1个位置的位置编码只和向量所处的pos有关.但是第3个位置后就受d_model影响了,一旦d_model变小,sin/cos函数就会有“拉伸”感,如下图所示:
对于长度为20的input,维度是