我已经学会了在https://medium.com/ai2-blog/tutorial-training-on-larger-batches-with-less-memory-in-allennlp-1cd2047d92ad的训练模型上使用AMP和GA技巧，但在2.4.0版中似乎不支持。 文件密钥第217行，在create_serialization_dir f“训练配置中‘{ "/root/anaconda3/envs/allennlp/lib/python3.6/site-packages/allennlp/training/util.py"，}’的值不匹配”中的值“
浏览 76提问于2021-06-28得票数 0
回答已采纳
有人能帮我解决这个错误吗，我正在尝试使用allennlp模型并得到下面的错误。
from allennlp.training.metrics import Average, BooleanAccuracy,
CategoricalAccuracy
File "/home/administrator/aman/venv-kbs/lib/python3.6/site-
packages/allennlp/training/__init__.py", line 3, in <module>
from allennlp.training.trainer imp
浏览 6提问于2018-04-25得票数 1
回答已采纳
我正在尝试在AllenNLP上训练我自己的自定义AllenNLP模型。
在训练模型时，会出现以下错误RuntimeError: The size of tensor a (5158) must match the size of tensor b (5000) at non-singleton dimension 1。在有些情况下，张量a的大小表示为其他值(例如，5300)。当我在一小部分文件上进行测试时，我能够成功地训练模型。
根据我的直觉，这是处理我的模型中的标记数的东西。更具体地说，具有5000多个令牌的特定文件。但是，在AllenNLP包中没有参数允许我调整这个参数来绕过这个错误。
关
浏览 5提问于2022-03-17得票数 0
回答已采纳
我试图在一个16 GPU的GPU上训练AllenNLP共同参考模型，使用这个配置文件：
我使用以下脚本创建了培训、测试和开发文件：
我几乎立刻就把CUDA从内存中拿出来了，所以我尝试将"spans_per_word“和"max_antecedents”改为更低的值。当spans_per_words设置为0.1而不是0.4时，我可以运行更长的时间，但不是一个完整的时代。16 Is的GPU不够吗？或者还有其他参数我可以尝试改变？
"/home/ubuntu/anaconda3/envs/allennlp/bin/allennlp"，跟踪(最近一次调用)：文件"
浏览 4提问于2021-04-16得票数 0
目前，我能够使用下面的配置文件来训练模型。此配置文件基于，适用于默认的bert-base-uncased模型和GroNLP/bert-base-dutch-cased。
{
"dataset_reader": {
"type": "srl_custom",
"bert_model_name": "GroNLP/bert-base-dutch-cased"
},
"data_loader": {
"batch_sampler": {
&#
浏览 20提问于2022-02-22得票数 2
回答已采纳
目前使用AllenNLP 1.2训练模型： allennlp train -f --include-package custom-exp /usr/training_config/mock_model_config.jsonnet -s test-mock-out 配置非常标准： "dataset_reader" : {
"reader": "params"
},
"data_loader": {
"batch_size": 3,
"nu
浏览 43提问于2021-04-29得票数 0
目前使用AllenNLP 1.2和commands应用编程接口的训练模型：
allennlp train -f --include-package custom-exp /usr/training_config/mock_model_config.jsonnet -s test-mock-out
在训练完成后，我正在尝试对测试数据集执行前向传递。我知道如何添加epoch_callback，但不确定end_callback的语法。
在我的config.json中，我有以下内容：
{
...
"trainer": {
...
"epoch_callbacks": [
浏览 1提问于2021-05-01得票数 0
我正在尝试创建一个敌对的贬低伯特蒙面语言模型使用'AdversarialBiasMitigator‘与AllenNLP预训练的传销(从这里：)。我正在使用的培训数据是WinoBias数据集的一个变体，编辑后的数据集用于蒙面语言建模。这种数据的格式是熊猫df，第一列包含句子(已经包含CLS、SEP和掩码标记)，第二列包含目标(这是一个性别代词)。我编辑了masked_language_model_reader.py以正确阅读我的熊猫df，并编辑了adversarial_bias_mitigator配置文件。剩下的文件(adversarial_bias_mitigator.py和maske
浏览 6提问于2021-10-02得票数 1
1回答
我正在尝试理解如何为我们的体验构建配置文件 让我们以AllenNLP文档中的示例为例 training and prediction 尤其是这段代码 ? 我们从哪弄来的"token_embedders"？文档here?不应该是"basic“ 还是我错过了什么？
浏览 15提问于2020-10-09得票数 3
回答已采纳
我是allenNLP库的新手。为了设置dataset_reader的参数，我想设置求值的配置，比如train (https://github.com/allenai/allennlp-template-config-files/blob/master/training_config/my_model_trained_on_my_dataset.jsonnet) 但我不确定是否有用于评估的配置文件模板，如train，并且下面的配置文件有效(其中删除了train_data_path和trainer部件)。 {
"dataset_reader" : {
//
浏览 31提问于2021-06-18得票数 0
1回答
我将AllenNLP用于组合分类器(它的任务之一是NER标记)，在设计一些测试时，我遇到了这样的疑问:如何访问AllenNLP实例的不同字段的值？我想将它们与引入的值进行比较，以确保在预处理过程中不会丢失任何内容。 我设法使用instance.__getitem__("text")到达了实例的文本字段，但我不知道如何从那里获取值，或者是否有更快的方法直接从instance类获得值。 我正在尝试做的是类似于assert instance.getValueFromField("text) == training_dataset["text"][0]的东西
浏览 7提问于2021-01-20得票数 0
回答已采纳
我们尝试使用由allennlp在页面中提供的评估_rc-lerc预训练模型，使用下面的colab代码。
!pip install allennlp==1.0.0 allennlp-models==1.0.0
!pip install --pre allennlp-models
!pip install -U nltk
from allennlp.predictors.predictor import Predictor
import allennlp_models
# The instance we want to get LERC score for in a JSON format
in
浏览 24提问于2022-01-14得票数 0
我正在尝试使用bidaf问答模型，来源是：
创建此类是为了使用提供的库。
## REQUIRES python3.6
from allennlp.common.util import sanitize
from allennlp.models.archival import load_archive
from allennlp.service.predictors import Predictor
import sys
class BidafQA:
def __init__(self):
# required only first time, is cached
浏览 24提问于2017-12-28得票数 0
这件事已经烦了我好几个小时了。
所以我有一个WordPress页面，它是一个html表单。我目前正试图用这个表格做两件事。( A)让一个JQuery插件工作，它将选择表单转换为多个复选框样式的表单。( B)在提交后保留所有资料。
目前，我使用一个名为retain的插件，为我选择A，但它不是一个复选框，据我所知，不允许我在帖子后保留信息。
multiple="multiple" name="other_qualifications[]">
<option value="">None</option>
<optio
浏览 3提问于2016-10-21得票数 0
回答已采纳
在Google中，我尝试使用以下方法导入BucketIterator：
from allennlp.data.iterators import BucketIterator
但它一次又一次地引起了同样的错误-
ModuleNotFoundError: No module named 'allennlp.data.iterators
在使用导入安装allennlp之后：
from allennlp.data.token_indexers import TokenIndexer, SingleIdTokenIndexer
from allennlp.data.tokenizers.cha
浏览 24提问于2020-09-23得票数 1
我想计算使用allen-nlp训练的分类器的F1分数。我使用的是allen-nlp指南中的工作代码，它计算的是准确性，而不是F1，所以我尝试调整代码中的度量。 根据文档，CategoricalAccuracy和FBetaMultiLabelMeasure采用相同的输入。(预测: shape [batch_size, ..., num_classes]的torch.Tensor，gold_labels: shape [batch_size, ...]的torch.Tensor ) 但由于某些原因，当输入F1多标签度量时，对于准确度工作得很好的输入会导致RuntimeError。 我将问题压缩为
浏览 19提问于2021-02-01得票数 1
回答已采纳
我在导入allennlp时遇到这个错误，
from allennlp.common.util import sanitize
ModuleNotFoundError: No module named 'allennlp.common'
(venv-kbs) administrator@NLR:~/aman/Project$ python
Python 3.6.3 (default, Oct 6 2017, 00:00:00)
[GCC 4.8.4] on linux
Type "help", "copyright", "credits&
浏览 15提问于2018-04-26得票数 0
我不确定为什么，但是下面的查询
.//*[@id='training_modules_list_table']/thead/tr[th[text()='ID']and th[text()='NAME']and th[text()='STATUS']and th[text()='VERSION']and th[text()='PACKAGE']and th[text()='REFERENCE']]
在下面的html中找不到任何内容。
<table class="table
浏览 3提问于2017-07-31得票数 0
从运行训练命令失败，并显示以下错误消息：
OSError: HEAD request failed for url https://raw.githubusercontent.com/allenai/allennlp-models/main/training_config/structured-prediction/srl.jsonnet with status code 404
这是否意味着该文件已被删除？在哪里可以找到替换文件？
在寻找替换文件时，我从allenai repo中找到了，但它似乎缺少诸如"dataset_reader“之类的必填字段。
浏览 10提问于2021-02-27得票数 1
回答已采纳
我试着用allennlp做个回购。在运行它时，我无法在from typing import OrderedDict文件中导入ddp_accelerator.py。
Traceback (most recent call last):
File "train.py", line 10, in <module>
from models.newmodel import model
File "/home/GraphWriter-master/models/newmodel.py", line 4, in <module>
浏览 13提问于2022-05-02得票数 1
我已经在Ubuntu18.04上成功地为python安装了allennlp，但是在升级到20.04之后，我尝试重新安装所有的东西，现在它给了我错误。这是我在终点站得到的。(我在jsonnet上总是遇到错误。)有什么帮助吗？
Collecting allennlp
Using cached allennlp-1.0.0-py3-none-any.whl (473 kB)
Requirement already satisfied: spacy<2.3,>=2.1.0 in ./.local/lib/python3.8/site-packages (from allennlp)
浏览 0提问于2020-08-14得票数 0
当我尝试下载pip install allennlp==1.0.0 allennlp-models==1.0.时
我正面对这个问题：
Microsoft Windows [Version 10.0.22000.469]
(c) Microsoft Corporation. All rights reserved.
C:\Users\Ahmad Sadek>pip install allennlp==1.0.0 allennlp-models==1.0.0
Collecting allennlp==1.0.0
Using cached allennlp-1.0.0-py3-none-
浏览 22提问于2022-02-04得票数 1
google/mt5-small模型( HuggingFace )的配置文件
定义
{
...
"d_model": 512,
...
"num_heads": 6,
...
}
链接到配置文件：
问题：
据我所知，注意头的数目应该是模型维度的一个分隔器。这在这个配置文件中显然不是正确的。
我是否误解了自我注意在mT5中的应用？
当我使用AllenNLP模型()作为序列到序列模型时，我会收到一条错误消息。
摘要：
allennlp.common.checks.ConfigurationError: The hidden size (512) is not
浏览 26提问于2022-01-19得票数 1
回答已采纳
有时，我们可能希望在验证(即，在训练期间对dev集进行验证)和最终评估期间有一些细微的不同行为。我不确定是否有一种简单的方法来通知我们的模型，它是由train命令还是evaluate命令调用的。现在我能做的就是使用self.training来区分它们和训练，但是验证和评估都有self.training == False，这使得我不可能区分它们。我的意思是，如果它是我自己的pytorch框架，那就非常容易做到，因为我可以编写自己的训练和评估方法，但在AllenNLP中，它们都是框架代码的一部分，我并不真正想修改它们。有什么简单的方法可以做到吗？
浏览 7提问于2020-10-03得票数 0
我使用pip install allennlp安装了allennlp包。但是当我尝试使用这个命令from allennlp.commands.elmo import ElmoEmbedder从Jupyter Notebook导入它时，它给了我一个错误ModuleNotFoundError: No module named 'allennlp.commands.elmo'。我想知道我应该如何解决这个问题，我已经安装了Python3.7和Spacy，但由于某些原因，我无法导入ElmoEmbedder
浏览 507提问于2020-07-14得票数 1
1回答
我在我的系统中有一个下拉项，它在单击时构建一个选项表，我想注入一些Jquery，它将删除列表中的一些项。这里是一个名为(training)的创建项的示例。
<td class="ui-crmPopup-trigger" onclick="parent.Setopit_productid('Training','2','/CRM1/CustomPages/Products/ProductsSummary.asp?SID=94266470236396&F=&J=Products/Prod
浏览 1提问于2016-09-08得票数 0
如何从Asos网站提取图像并将其放入数据帧中？我希望标题没问题。 def asos(soup_in):
# Image
image_div = soup_in.find_all('img', class_='_2r9Zh0W', alt=True)
for container1 in image_div:
container1 = container1["src"]
print(container1)
image.append(container1)
url = &#
浏览 21提问于2021-04-09得票数 0
我对allennlp非常陌生，我正在努力构建一个模型，这个模型似乎不完全适合在allennlp中构建模型的标准方式。
我想用NLP建立一个管道模型。管道主要由两个模型组成，我们称它们为A和B。首先A被训练，然后根据A，B的整个列车的预测进行训练。
我看到的是，人们定义了两个独立的模型，在一个类似的shell脚本中使用命令行接口allennlp train ...进行训练
# set a bunch of environment variables
...
allennlp train -s $OUTPUT_BASE_PATH_A --include-package MyModel --forc
浏览 2提问于2021-01-15得票数 0
回答已采纳
我在google colab中使用python3.7和pytorch。我安装了 Pip install alennlp==2.4.0
pip install allennlp-models 在google colab中，但当我运行以下代码时: allennlp培训实验/oie_labeler_crf.json包含包~/Desktop/PHD/NLP/large-scale-oie/results/classic_train_crf -s - large_scale_oie 我得到了这个错误： File "/content/large-scale-oie/large_scale_oie
浏览 93提问于2021-04-30得票数 0
3回答
我有一个疑问：
SELECT DISTINCT
f.CourseEventKey,
(
SELECT f.Title + '; ' AS [text()]
FROM @Facilities
WHERE CourseEventKey = f.CourseEventKey
ORDER BY f.Title
FOR XML PATH(&#
浏览 3提问于2014-04-17得票数 10
回答已采纳
我需要连接AllenNLP模型到微软网络聊天或微软机器人框架。有可能吗？ AllenNLP是否提供了用于连接的API端点？ 如何创建模型以及模型在AllenNLP中存储位置？ 如果任何人有很好的知识，请让我知道你对上述问题的反馈。 提前谢谢。
浏览 25提问于2021-03-31得票数 0
我正在用Alennlp训练一个参考解析模型。但是，在执行命令train_data_path=<train path> validation_data_path=<dev path> test_data_path=<testpath> dataset_reader=<dataset reader> allennlp train <jsonnet file> -s <output dir> --include-package <training module>之后，它不会在<output dir>中生成
浏览 8提问于2022-09-03得票数 0
去年10月(2020)，我们通过语义角色函数运行了一些数据。他说：“约翰想要一张俄亥俄州的综合地图。”综合一词被标记为修饰语。然而，现在我们的数据中似乎没有一个形容词被标记为修饰语。 ? https://demo.allennlp.org/semantic-role-labeling/s/john-would-like-a-ohio/F8U2O6P5I3 有什么改变了？是否会恢复以前的SemRole功能？我们必须求助于依赖关系解析吗？
浏览 25提问于2021-05-06得票数 0
1回答
当有GPU时，我正在运行一些代码。但我想弄清楚如何在本地使用CPU运行它。以下是错误：
2022-07-06 17:58:39,042 - INFO - allennlp.common.plugins - Plugin allennlp_models available
Traceback (most recent call last):
File "/Users/xiaoqingwan/opt/miniconda3/envs/absa/bin/allennlp", line 8, in <module>
sys.exit(run())
File &
浏览 8提问于2022-07-06得票数 1
在Raspbian上已经可以安装AllenNLP了吗？我可以在Windows10Python64位上安装AllenNLP，但还不能在RPi4上安装。
我已经尝试过通过Miniconda、pip和docker安装AllenNLP，但是没有一个适合我。
参考自述的github：()
在这个世界上，我是个新手，所以如果有人想要一个有这些规范的allennlp包的话：
Raspbian 10 Buster
aarch64
Python 3.7
并指定步骤，这将是很棒的！
有现成的车轮套餐吗？
我真的想使用AllenNLP ()的Semantice角色标记模型，但是当我尝试安装pip
浏览 2提问于2021-01-22得票数 1
我已经在SciBERT数据集上细化了SciIE模型。存储库使用AllenNLP来细化模型。培训的执行情况如下：
python -m allennlp.run train $CONFIG_FILE --include-package scibert -s "$@"
经过一次成功的培训，我有一个model.tar.gz文件作为输出，其中包含weights.th、config.json和词汇表文件夹。我尝试将它加载到allenlp预测器中：
from allennlp.predictors.predictor import Predictor
predictor = Predic
浏览 0提问于2020-11-16得票数 5
我是AllenNLP图书馆的新手。我正在使用预先训练的比达夫-埃尔莫模型来完成阅读理解任务。我的密码看上去-
from allennlp.predictors.predictor import Predictor
import allennlp_models.rc
from allennlp_models import pretrained
from allennlp.training.util import evaluate
import allennlp.data.data_loaders.simple_data_loader
archive_file_path = "htt
浏览 1提问于2021-08-20得票数 0
2回答
如何通过Selenium使用xpath定位元素
代码试用：
By.xpath("//*[contains(@class,'a-size-mini a-spacing-none a-color-base s-line-clamp-2') and contains(text(), \"Men's Downshifter 9 Training Shoes\")]"));
HTML：
<h2 class="a-size-mini a-spacing-none a-color-base s-line-clamp-2">
浏览 0提问于2020-01-12得票数 0
我想使用AllenNLP解释(代码+演示)与HuggingFace (electra base鉴别器)训练的PyTorch分类模型。然而，我并不清楚如何转换我的模型，并在本地allen-nlp演示服务器中使用它。
我应该如何继续？
提前感谢
浏览 3提问于2021-04-22得票数 0
安装的可塑性/量级()
尝试运行时出现以下错误：
ModuleNotFoundError: No module named 'spacy.lang.en.tag_map'
我已经使用pip3重新安装了最新版本的spacy。运行python3。
我正在尝试运行的命令：
python3 -m pymagnitude.converter -i /Users/rob/Desktop/videos/glove.6B/glove.6B.300d.txt -o /Users/rob/Desktop/vectors/
完整输出：
Traceback (most recent call las
浏览 23提问于2021-11-30得票数 0
我使用AllenNLP对一个用于语义角色标记的BERT模型进行了精细的调整。这会产生一个模型目录(如果还记得的话，序列化目录？)其中包含以下内容：
best.th
config.json
meta.json
metrics_epoch_0.json
metrics_epoch_10.json
metrics_epoch_11.json
metrics_epoch_12.json
metrics_epoch_13.json
metrics_epoch_14.json
metrics_epoch_1.json
metrics_epoch_2.json
metrics_epoch_3.json
me
浏览 30提问于2022-04-05得票数 0
回答已采纳
我使用allennlp2.0训练了一个多任务模型，现在我想使用allennlp predict命令来预测新的例子。
Problem/Error:我正在使用以下命令：allennlp predict results/model.tar.gz new_instances.jsonl --include-package mtl_sd --predictor mtlsd_predictor --use-dataset-reader --dataset-reader-choice validation
这给了我以下错误：
Traceback (most recent call last):
File &
浏览 5提问于2021-02-11得票数 0
回答已采纳
在我使用Python3.6.9的Conda环境中，我安装了AllenNLP 9.2.0。我尝试按照的说明通过运行pip install --editable .来安装AllenNLP服务器
但是，，例如pip is looking at multiple versions of tqdm to determine which version is compatible with other requirements. This could take a while. Collecting tqdm>=4.19
有人知道这里发生了什么吗？我应该为AllenNLP服务器中的steup.py添
浏览 1提问于2021-02-11得票数 0
我是艾伦普的新手，这是我第一次尝试。我已经安装了所有必需的库!pip install allennlp !pip install --pre allennlp-models，我的代码也应该很好，但是我仍然收到这样的错误消息：ConfigurationError: key "matrix_attention" is required at location "model."，这是我的代码：
import sys
from allennlp.predictors.predictor import Predictor
import allennlp_models
浏览 12提问于2020-07-08得票数 3
回答已采纳
1回答
类中有一个@classmethod，它在导入类时被自动调用。我想知道传递给那个方法的参数。因此，我特意添加了一个代码，使该函数崩溃并打印堆栈跟踪。但是，调用这个load方法的不是打印。
我实际上想知道是谁在发送参数值(特别是cuda_device)。
@classmethod
def load(cls,
config: Params,
serialization_dir: str,
weights_file: str = None,
cuda_device: int = -1) -
浏览 0提问于2019-04-25得票数 0
回答已采纳
A希望在没有互联网的情况下使用AllenNLP和coref-spanbert-large模型来解决相互引用问题。我试着用这里描述的方式来做，
我的代码：
from allennlp.predictors.predictor import Predictor
import allennlp_models.tagging
predictor = Predictor.from_path(r"C:\Users\aap\Desktop\coref-spanbert-large-2021.03.10.tar.gz")
example = 'Paul Allen was born
浏览 496提问于2021-05-13得票数 0
我想为allennlp创建一个新的训练命令。可以用"allennlp my_own_command“来运行吗？
浏览 17提问于2021-05-12得票数 0
如何在XML中编写OR关键字？
例如，我如何用XML编写这行代码？
#if (define A && define B) || (define C && !define D)
我只能找到这些：<表示<小于，>表示>大于，&表示& &符号，'表示'撇号，"表示<代码>D10</代码>引号。我应该如何更改|| OR？
浏览 201提问于2017-03-01得票数 2
1回答
我正在尝试通过pip在最新版本的macOS Catalina上安装allennlp。Python版本为3.9.0。pip版本为20.2.4。 我几周前才能安装，但现在我在运行命令时收到以下错误： pip3 install allennlp allennlp-models ERROR: No matching distribution found for torch<1.8.0,>=1.6.0 (from allennlp) 这真的很糟糕，因为我现在正在做的一个时间敏感的项目完全依赖于allennlp的工作。由于一些git问题，我需要重新安装，并且我的虚拟环境被重置。我能做些什么来
浏览 18提问于2020-11-24得票数 1
回答已采纳
1回答
我试图复制(或接近) 论文在上获得的结果。我打算在此基础上进行一些增强，因此我决定使用。我就是这样初始化和培训模型的：
import torch
from allennlp.common import Params
from allennlp.data import Vocabulary
from allennlp.data.dataset_readers import ConllCorefReader
from allennlp.data.dataset_readers.dataset_utils import Ontonotes
from allennlp.data.iterators i
浏览 0提问于2019-07-30得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
