1回答
在bert上训练新数据集
、、、、
我是新来伯特的 我有一个amazon评论数据集，我想要根据评论预测星级 我知道我可以使用预先训练好的bert模型，如here所示 但我想在我自己的数据集上训练bert模型。我是否可以在任何数据集的预训练模型上应用这种“微调”，以获得更准确的结果，或者我是否必须做一些其他事情来从头开始训练模型 如果我确实想从头开始训练一个模型，我
浏览 61提问于2021-10-03得票数 0
1回答
我想知道，当人们说预训练的bert模型时，是否只训练了最终的分类神经网络 或 通过反向传播和分类神经网络，transformer内部是否有任何更新
浏览 121提问于2021-02-04得票数 1
回答已采纳
1回答
重新训练BERT模型
、、、、
我已经使用pytorch为分类任务训练了大约一百万个文本数据的BERT模型。在用新数据测试这个模型后，我得到了假阳性和假阴性。现在我只想用FN和FP重新训练现有的模型。我不想将FN和FP附加到现有的数据集，然后再次训练整个模型。如何仅使用这些FN和Fp重新训练此bert模型，而不是先前训练的模型。
浏览 31提问于2021-11-23得票数 0
BERT对基本模型的预训练是通过一种语言建模方法完成的，在这种方法中，我们在句子中掩蔽了一定百分比的标记，并让模型学习那些缺失的掩码。然后，我认为，为了完成下游任务，我们添加了一个新的初始化层，并对模型进行了微调。
然而，假设我们有一个巨大的句子分类数据集。从理论上讲，我们能否从零开始初始化BERT的基本体系结构，同时训练额外的下游任务特定层+基模型权值，只使用这个句子分类数据集形成scratch，
浏览 2提问于2020-05-15得票数 7
回答已采纳
2回答
用于下一句预测的BERT
、、、
我试图使用我自己的数据集对Bert模型进行微调，以进行下一句预测，但它不起作用。谁能告诉我我的数据集应该是什么结构，以及如何使用拥抱面孔训练器()进行微调？def train(bert_model,bert_tokenizer,path,eval_path=None):
out_dir = "/content/drive/My Drive/next_sentence= BertTokenizer
浏览 6提问于2021-04-04得票数 0
1回答
一开始，我考虑从零开始对语言模型(比如BERT)进行预培训，但不幸的是，我的数据并不能帮助以前的模型学习新的连接，更不用说从头开始学习嵌入式了。现在，我想到的是用我自己的词汇表创建一个转换器模型，它由特定于域的数据中的单词组成(在用空格分隔它们之后，而不是使用转换器令牌器)。这样，词汇量就会更小，位置和关系也会更快、更容易地了解。
浏览 0提问于2021-04-24得票数 1
1回答
我正在训练一个分类模型，在BERT之上使用自定义层。在此期间，该模型的训练性能随着时代的增加而下降(在第一个时代之后)。我不确定在这里要修复什么-是模型还是数据？(对于数据，它是二进制标签，每个标签的数据点数量是平衡的)。编辑:原来我使用的转换器库和tf版本不匹配。一旦我解决了这个问题，训练效果就很好了！
谢谢!
浏览 6提问于2020-07-26得票数 1
通过参考下面的文章，我使用Pytorch框架训练了一个基于Bert的NER模型。在使用这种方法对模型进行培训之后，我使用torch.save()方法保存了该模型。现在，我想用新的数据集重新训练模型。提前谢谢。
浏览 17提问于2022-08-06得票数 1
1回答
我正在尝试使用内部语料库更新预训练的BERT模型。我看过Huggingface的transformer文档，你会发现我有点困惑，below.My的目标是使用余弦距离计算句子之间的简单相似度，但我需要为我的特定用例更新预先训练的模型。我试图“重新训练”或更新模型，我假设special_token_1和special_token_2表示来自我的“内部”数据或语料库的“新句子”。这是正确的吗？总而言之，我喜欢已经预训练的BERT模型，但我想使用另一个内部数据
浏览 53提问于2019-10-30得票数 9
1回答
我正在读一本纸，作者们用中国的伯特模型来评估中国的在线公众情绪，以回应政府在新冠肺炎期间的政策。为了实现这一点，作者在第8页到第9页中进一步指出，“为了训练分类员，我们从每个数据集(总共10,541个帖子)随机抽取了大约5,000个帖子，按创建后的数据进行分层。我的问题是，结合BERT情感分析模型使用人工注释的帖子有什么价值？具体来说，我对伯特作为一种技术的理解是，它消除或至少最小化了为情感分析的目的对文本样本进行预标记的必要性，而且我不清楚为什么即使
浏览 0提问于2022-07-20得票数 0
回答已采纳
我的数据集和自然语言处理任务与作者预先训练的模型(https://github.com/google-research/bert#pre-training-with-bert)的大型语料库有很大的不同有没有什么示例代码/GitHub可以帮助我用自己的数据训练BERT？我希望得到像glove这样的嵌入。 非常感谢!
浏览 48提问于2019-06-13得票数 2
我正在和BERT一起做一个文本分类任务。我基本上是在使用。这段代码使用train.tsv和dev.tsv (有标签)来微调BERT，使用test.tsv (没有标签)来进行预测。但是，我需要使用train-dev-test拆分来训练模型(train set)，计算超参数和损失函数(dev set)，并评估性能(test set)。与常规的训练-开发-测试拆分一样，所有拆分都包括标签。我还有第四个未标记的数据集可以进行预测。你知道有哪个仓库实现了4种模式
浏览 3提问于2020-03-12得票数 0
1回答
因此，我的数据集中的每一行都有1到5个单词(有些单词可以是数字)。是否可以使用该模型来检测字符串(地址、公司或日期)在较大文本中的位置？我认为这种模型被称为NER模型(命名实体识别)。我想使用我的模型从文本中提取特定的实体，在本例中是公司、地址或日期。基本上我需要一些基于Keras模型
浏览 4提问于2021-03-27得票数 3
我计划预先培训和使用BERT，因为我的工作是小数据集和低/下资源语言。那么，是否有可能将伯特提供给seq2Seq编解码器？
浏览 0提问于2020-02-22得票数 0
2回答
因此，官方的伯特英语模型是在维基百科和BookCurpos (来源)(来源)上培训的。我的模型能变得更准确吗，因为我把它训练成电影相关的文本而不是一般的文本？有这种用法的例子吗？要明确的是，问题在于数据集的上下文(而不是大小)的重要性。
浏览 0提问于2021-02-07得票数 1
回答已采纳
2回答
我们对bert-base-uncased( BERT )模型和CoLA数据集进行了精细调整，以完成句子分类任务.数据集是有语法错误和没有语法错误的句子的组合。然后，再训练的模型被用来识别有或没有错误的句子。除了建立分类器外，我们还可以使用BERT的其他方法吗？
浏览 0提问于2021-01-06得票数 3
我们已经与班组QnA发布的列车数据集(https://github.com/google-research/bert，https://rajpurkar.github.io/SQuAD-explorer它产生了新的检查点，伯特对我们在文本文件上提出的大多数问题都给出了很好的答案。然而，有一些问题它回答错了，因此我们正在努力进一步调整我们的问题和我们的文本文件的已知答案。我们在最后生成的检查点基础上进行
浏览 0提问于2019-03-16得票数 2
2回答
我一直在阅读BERT，并使用BERT嵌入进行分类任务。我读过很多文章，但我对它的理解仍然不是100% (我自学了NLP，所以我对资源的访问可能会受到一些限制)。首先，我将描述我的任务。我计划使用BERT嵌入进行分类，因为它是如何封装含义和语言的。不幸的是，在我的语言(爱尔兰语)中没有伯特模型，所以我研究了自己的训练。我知道伯特基本上是变压器编码器的“延伸”。以下是我的问题：
我认为这是相当明显的，但是要检查的是，预先训练过的BERT</em
浏览 17提问于2020-08-18得票数 2
3回答
大家好-我可以使用上面深度巴洛夫的预先训练的模型来进行预先创建的意图分类。然而，我想使用deeppavlov来创建我自己的意图分类模型，使用我自己的意图和文本。总共会有5到7个意向。text,intent
Where is McDonald's?
浏览 7提问于2020-08-07得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
