例如，我想使用现有配置从头开始训练一个BERT模型。下面的代码是正确的方法吗？model = BertModel.from_pretrained('bert-base-cased')
model.init_weights() 因为我认为init_weights方法会重新初始化所有的权重第二个问题，如果我想稍微改变一下配置，比如隐藏层的数量。= BertModel.from_pretrained('bert-base-cased',
浏览 156提问于2020-08-19得票数 4
回答已采纳
我们的目标是将Pytorch nn.Module对象从nn.Sequential转换为Huggingface PreTrainedModel对象，然后运行如下所示：有很多“从头开始”训练模特的方法。使用BertLMHeadModel，而不是 (这也是伯特的微调，而不是划痕)
并不是真正的划伤，使用r
浏览 16提问于2022-10-04得票数 5
我正在从零开始通过训练语言模型来考虑微调模型。我有几个与此有关的基本问题：text=['I am huggingface fan', 'I love huggingface', ....]
data_collator = DataCollatorForLanguageModelingtrainin
浏览 14提问于2022-07-08得票数 0
1回答
我有一个使用BertModel.from_pretrained('test_model')保存的转换器模型然后，我想用BertModel.from_pretrained('test_model/')打开它，但我的本地PC上没有图形处理器。GPU and installed a driver from http://www.nvidia.com/Dow
浏览 2提问于2020-11-21得票数 1
1回答
我使用huggingface transformer在Pytorch中微调了一个预先训练好的BERT模型。所有的训练/验证都在云中的GPU上完成。在训练结束时，我保存了模型和标记器，如下所示： best_model.save_pretrained('./saved_model/')
tokenizer.save_pretrained('.现在，我将saved_model目录下
浏览 19提问于2019-10-16得票数 8
回答已采纳
2回答
我正在使用SentenceTransformers库(这里：)来使用预训练模型bert-base-nli-mean tokens创建句子的嵌入。我有一个应用程序将部署到不能访问互联网的设备上。这里，已经回答了如何保存模型。然而，我被困在从本地保存的路径加载保存的模型。当我尝试使用上面提到的技术保存模型时，输出文件如下：
('/bert-base-nli-mean-tokens/token
浏览 197提问于2020-12-23得票数 5
我一直在尝试使用预训练模型。使用collab模板中默认的所有内容，使用从huggingface/pytorch-transformers到bert-base-uncased的torch.hub.load()作为“模型”model = torch.hub.load('huggingface/pytorch-transformers', 'model&#
浏览 4提问于2020-04-23得票数 1
假设我成功地训练了10个时代的一些训练数据的模型。那么，我如何才能进入相同的模式，并继续训练10个时代呢？huggingface_estimator = HuggingFace(
entry_point='train.pyinstance_type='ml.p3.2
浏览 30提问于2022-04-12得票数 0
回答已采纳
1回答
微调Blenderbot
、、、、
我一直在尝试微调HuggingFace的会话模型:混合体。我尝试了官方拥抱脸网站上给出的传统方法，它要求我们使用trainer.train()方法。我还使用.compile()方法进行了尝试。我尝试过使用PyTorch和TensorFlow对我的数据集进行微调。这两种方法似乎都失败了，并给出了一个错误，说明没有名为Blenderbot模型的编译或训练方法<
浏览 19提问于2022-06-27得票数 3
2回答
这是我们训练NLP的现代深度学习模型的常用方法，例如，在Huggingface库中，输入no有一个固定的长度。指记号/音音单位。我问题的第一部分是关于GPU内存的使用和pad，当我们训练带有填充输入的批数据的模型时，填充的令牌会占用GPU RAM吗？即使模型不计算它们，因为它们将返回零，这仍然是相当浪费的</e
浏览 0提问于2023-04-07得票数 2
我想使用AllenNLP解释(代码+演示)与HuggingFace (electra base鉴别器)训练的PyTorch分类模型。然而，我并不清楚如何转换我的模型，并在本地allen-nlp演示服务器中使用它。提前感谢
浏览 3提问于2021-04-22得票数 0
我尝试使用huggingface transformers的文档进行标记化。tokenizer = AutoTokenizer.from_pretrained('bert-base-cased')'attention_mask': [[],[],[]]
} T
浏览 107提问于2020-08-21得票数 3
1回答
有一些命令序列是合理的，经过专家的验证。如何使用这些“合理的操作命令”来预测新的操作命令序列是否合理？我已经尝试过n-gram分析来找到最频繁的模式，但我正在寻找另一种ML方法(以构建模型)来检测它。 谢谢。
浏览 16提问于2021-07-06得票数 0
当我在线加载BERT预训练模型时，我得到了这个错误OSError: Error no file named ['pytorch_model.bin', 'tf_model.h5', 'model.ckpt.index
浏览 2485提问于2020-07-18得票数 3
回答已采纳
目前，我正在比较各种预先训练过的NMT模型，不禁想知道MarianMT和OpusMT之间有什么区别。根据OpusMT的，它是基于MarianMT的。然而，在中，所有经过预先训练的MarianMT模型都以“赫尔辛基-NLP/opus”开头。所以我认为它们是一样的，但是即使它们的大小大致相同，它们的翻译结果也不一样。
浏览 14提问于2021-12-15得票数 4
回答已采纳
我已经用了相当长一段时间了，用PyTorch实现谷歌的 by 来制作1.0数据集。直到最后一次(11月至2月)，我一直在使用库，并获得了一个F分数 of 0.81为我的命名实体识别任务，通过微调模型。tokenized_texts], maxlen=MAX_LEN, dtype="long", truncating="post", padding="post")
ValueError:令牌索引序列长度大于此BERT模型的指定最
浏览 0提问于2019-02-25得票数 5
2回答
我正在尝试使用我自己的数据集使用HuggingFace库从零开始训练伯特模型。我想训练模型的方式，它有确切的结构，原来的伯特模型。在最初的文章中，它指出：“BERT被训练完成两项任务:预测随机蒙面标记(MLM)和预测两个句子是否相互跟随(NSP)。SCIBERT采用与BERT相同的体系结构，但却接受了科学文本方面的预先培训。“
我正试着理解如何像
浏览 1提问于2021-01-09得票数 9
回答已采纳
1回答
简捷的拥抱转储式变压器
、、、
我有个问题要放弃一个简单的变形模型。我训练了一个模型，而不是用joblib转储它：当我在另一个脚本中加载它时，我使用： "bert", "models/files"甚至尝试过其他<em
浏览 6提问于2021-08-18得票数 0
1回答
我希望对一些文本数据上的GPT-2实现进行微调。然后，我想使用这个模型来完成一个文本提示。使用Max Woolf的gpt-2-simple实现，我可以很容易地完成第一部分。OpenAI的Neil Shepherd's fork允许在新数据上训练GPT-2并完成文本。 然而，我的语料库太小了，不能训练，也不能得到胡言乱语的回复。有没有办法把这两个函数结合起来呢？
浏览 31提问于2020-01-28得票数 2
回答已采纳
我正在Pytorch上测试预训练的inception v3模型。我给它提供了256x256的图像大小，并将它的大小调整到了299x299。在这两种情况下，图像都被正确分类。谁能解释一下为什么PyTorch预训练模型可以接受不是299x299的图像？
浏览 16提问于2019-08-09得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
