对原始文本的每个标记都是整数。...一个特殊的标记表示被屏蔽的单词(在BERT中,这个标记是103)。这个特殊的标记根据所使用的语言模型而变化,因此不同的标记器将返回注意掩码的不同标识符。...48052, 636, 230, 3450, 35315, 11, 5, 8217, 24276, 10596,
4, 2])
"""
每个输入标记都标记着与之对应的标记...这是因为与分类模型不同,模型必须能够基于给定给模型的序列生成文本序列。在BART的情况下,表示屏蔽的标记的ID是50264。...我们将使用Numpy库和特定于我们的语言模型(在本例中是BART)的标记器来实现文本填充。