问伯特是否只对蒙面的代币进行预训练？

EN

简而言之，他们只预测蒙面记号。

根据第3.1节中的纸：

为了训练深度双向表示，我们只需随机地掩蔽一定百分比的输入标记，然后预测这些掩蔽标记。我们将这一程序称为“蒙面LM”(MLM)，尽管它在文献中经常被称为完形任务(Taylor，1953)。在这种情况下，与掩码令牌对应的最终隐藏向量被输入到词汇表上的输出softmax中，就像标准LM中的那样。在我们所有的实验中，我们在每个序列中随机掩蔽了15%的WordPiece标记。相对于去噪自动编码器(文森特等人，2008年)，我们只预测蒙面词，而不是重建整个输入。