1回答
具有填充和掩码令牌预测的Bert
、、、、
我正在尝试使用Bert预训练模型(bert-large-uncased with word-masking)我使用Huggingface来尝试它我第一次使用这段代码 m = TFBertLMHeadModel.from_pretrained当我使用max_length = 100的填充时，模型开始进行错误预测，并且不能很好地工作，并且所有预测的令牌都是相同的，即119-令牌ID 我在Argmax中使用的</e
浏览 20提问于2021-08-24得票数 2
回答已采纳
我正在读BERT模型论文。在预训练BERT模型的掩蔽语言模型任务中，本文表示模型将随机选择15%的令牌。在选择的标记( Ti )中，80%将被替换为掩码标记，10%的Ti保持不变，10%的Ti将替换为另一个单词。我认为模型只需要替换为掩码或其他单词就足够了。为什么模型必须随机选择一个单词并保持不变？预训练过程是只预测掩码令牌，还是预测15%<em
浏览 151提问于2020-09-23得票数 2
回答已采纳
1回答
我引用了论文“BERT:为语言理解而对深度双向变压器进行的预培训”中的话，“我们只是随机地掩盖了一些输入标记，然后预测那些蒙面标记”。
这到底是什么意思？是否仅为掩码令牌计算损失，而忽略其他令牌的预测。如果是这样的话，那么做这件事的正确方法是向模型传递权重，以忽略除“掩码”以外的令牌的预测。如果有人能提供一个关于相同的链接，这将
浏览 12提问于2021-06-19得票数 0
1回答
快速和慢速标记器产生不同的结果
、、、、
具体地说，当我运行填充掩码管道时，分配给填充掩码的单词的概率对于快速和慢速记号赋予器是不同的。此外，尽管快速标记器的预测保持不变，而与输入的句子数量和长度无关，但对于慢速标记器则不是如此。='bert-base-cased', \
tokenizer=('bert-base-cased
浏览 27提问于2020-04-12得票数 3
给定一个情感分类数据集，我想对Bert进行微调。 正如你所知道的，BERT创造了预测下一个句子的方法，给定当前句子。因此，为了让网络意识到这一点，他们在第一句话的开头插入了一个[CLS]令牌，然后添加了[SEP]令牌来分隔第一句话和第二句话，最后在第二句话的末尾添加了另一个[SEP] (我不明白他们为什么要在末尾附加另一个令牌无论如何，对于文本分类，我在一些在线示例(参见BERT
浏览 190提问于2020-01-13得票数 6
对于转换器模型，特别是对于BERT，以编程方式禁止以特殊令牌作为预测结果的模型是否有意义(并且在统计上是正确的)？这在最初的实现中是怎样的呢？在趋同过程中，模型必须学会不去预测这些，但这种干预是否会有所帮助(或相反)？
PAD令牌也可能有一些意义(但并不是在所有情况下)。
浏览 6提问于2021-02-13得票数 3
我有基于BERT的模型检查点，这是我在Tensorflow中从头开始训练的。我如何使用这些检查点来预测给定句子中的掩蔽词？例如，假设句子是，"CLS abc pqr MASK xyz SEP“，我想预测掩码位置的单词。 我该怎么做呢？我在网上搜索了很多，但每个人都在使用BERT来完成特定于任务的分类任务。而不是使用BERT来预测被屏蔽的单词。 请帮我解决
浏览 24提问于2019-09-11得票数 0
我试图使用BERTforMaskedLM来获取文本中特定标记的概率。George came home late last night"tokeniser = BertTokenizerFast.from_pretrained('bert-base-uncased')
tokens = tokeniser(text,
浏览 11提问于2022-06-15得票数 0
1回答
我正在寻找关于使用伯特和伯特的蒙面语言模型来预测多个标记的建议。我的数据看起来是：问题：rainy days lead to @placeholder，这个@placeholder的答案是wet在模型中，wet environment是预测的答案。我知道蒙面LM在单个令牌预测上工作得很好，您认为蒙面LM可以很好地处理多个令牌
浏览 4提问于2020-04-24得票数 5
回答已采纳
我读了很多文章，人们都说BERT对NLU有好处，而GPT对NLG有好处。但它们在结构上的关键区别在于是否在自我注意中添加了掩膜，并以不同的方式训练了模型。从下面的代码中，如果我理解正确的话，我们可以自由选择是否添加注意掩码。
那么我能否得出这样的结论：“BERT的预训练参数对NLU有好处”，“GPT2的预训练参数对NLG有好处”？或者，这两者之间还有什么其他关键的区别，使人们得出我在开始时提到的结论？
浏览 8提问于2021-03-29得票数 0
1回答
我正在试图弄清楚BERT预处理是干什么的。我是说，它是怎么做的。但我找不到一个很好的解释。如果有人知道的话，我会很感激能找到一个更好和解释更深刻的解决方案的链接。我的问题是，BERT如何在数学上将字符串输入转换为固定大小的数字向量？下面的逻辑步骤是哪些？
浏览 7提问于2021-10-03得票数 1
回答已采纳
7回答
我看不出伯特是如何在不使用解码器的情况下做出预测的，这是之前所有模型的一部分，包括变压器和标准RNN。如何在不使用解码器的情况下在BERT体系结构中进行输出预测？怎么才能完全消除解码器呢？换句话说，我可以用什么解码器和伯特一起生成输出文本？如果BERT只编码，我可以使用什么库/工具从嵌入解码？
浏览 0提问于2019-12-21得票数 22
回答已采纳
1回答
当BERT被用于蒙面语言建模时，它掩盖了一个标记，然后尝试预测它。
伯特可以从中选择哪些候选令牌？它只是预测一个整数(就像一个回归问题)，然后使用这个令牌吗？或者它会对所有可能的单词标记执行softmax吗？对于后者，不是只有大量的可能的令牌吗？我很难想象BERT把它当作一个分类问题，其中# classes =#所有可能的单词标记。伯特从哪里得到它预测的标记？
浏览 0提问于2020-11-16得票数 2
回答已采纳
1回答
我不明白变压器中的推理/预测过程是如何工作的。然后，一旦训练了权重，推理/预测就可以通过放置或用填充开始语句标记来实现。然后将预测的单词连接起来，直到是预测</em
浏览 0提问于2022-09-19得票数 0
回答已采纳
据我所知，在伯特的操作逻辑中，他把他所接受的句子的50%改为输入。它不碰其他的。在此之后，每个句子都放置cls标记。Sep标记放在句子的末尾。
( 2-) input_mask是否在此过程中发生？
浏览 2提问于2021-01-26得票数 0
回答已采纳
我想用预先训练过的俄罗斯伯特来解决压力预测任务。граммовсверху=000100000001000
所以它就像-> 1сверху-> 1bert_tokenizer.encode('граммо
浏览 2提问于2020-05-15得票数 3
1回答
我是DataScience的新手，并试图为我的问题之一实现伯特嵌入。但我在这里有一个疑问。我试着把下面的一句话嵌入伯特--“闪烁的小星星”。BERT令牌程序生成以下令牌- “##克尔”##克尔“、”小“、”星星“为什么令牌的数目是8而不是6？对于任何文本，我观察到，在最后嵌入的标记数量正在增加2。有人能帮助我理解这一点吗？transformers imp
浏览 0提问于2021-01-08得票数 0
回答已采纳
1回答
我已经针对分类任务对BERT模型(使用huggingface库)进行了微调，以预测两种类型的帖子类别(例如，1和0 )。但是，我需要检索被预测为类别1的文档的“相关令牌”(例如)。我知道，一旦我用BERT模型将所有帖子标记为1(例如)，我就可以使用传统的TF-IDF方法。但我有以下问题:有没有可能用经过微调的BERT模型的架构来完成同样的任务？我
浏览 19提问于2021-03-30得票数 0
我试图了解伯特，并在DS StackExchange上找到了这篇文章：广义地说，它说伯特不能用于下一个词的预测。我想下一个词的预测可以被使用，例如，在某种自动校正工具中。mlearning-ai/an-illustration-of-next-word-prediction-with-state-of-the-art-network-architectures-like-bert-gpt-c0af02921f17伯特可以用于文本预测</
浏览 0提问于2023-01-29得票数 0
我一直在努力学习NLTK和NLP，但使用n-gram构建下一个单词预测器似乎相对简单。我还可以用什么其他方法来解决这个问题？
浏览 1提问于2019-12-08得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
