尝试访问bert.variables时获得BERT模块错误
问题描述： 尝试访问bert.variables时获得BERT模块错误。
回答： BERT（Bidirectional Encoder Representations from Transformers）是一种基于Transformer架构的预训练模型，用于自然语言处理任务，如文本分类、命名实体识别等。在使用BERT模块时，如果尝试访问bert.variables而出现错误，可能是因为未正确加载或初始化BERT模型。
解决该问题的步骤如下：
- 确保已正确导入所需的库和模块：
- 确保已正确导入所需的库和模块：
- 确认BERT模型已正确加载：
- 确认BERT模型已正确加载：
- 确认已正确初始化模型的输入张量：
- 确认已正确初始化模型的输入张量：
- 检查是否使用了正确的模型调用方法：
- 检查是否使用了正确的模型调用方法：
如果仍然出现错误，请参考以下可能原因和解决方法：
- 模型路径错误：检查BertModel.from_pretrained()中的模型路径是否正确，确保已正确下载和保存BERT模型文件。
- 模型版本不匹配：检查所使用的BERT模型版本是否与代码兼容，可能需要更新transformers库或选择适合的BERT模型版本。
- 数据输入格式错误：确保输入的input_ids和attention_mask符合BERT模型的输入要求，如正确的tokenization和padding。
- 硬件和软件环境问题：检查所使用的TensorFlow版本和依赖库是否与BERT模型兼容，并确保正确的GPU驱动和CUDA版本。
总结： 通过正确加载和初始化BERT模型，以及检查模型路径、版本、输入格式和环境等因素，可以解决尝试访问bert.variables时获得BERT模块错误的问题。
腾讯云相关产品和产品介绍链接地址： 腾讯云提供了丰富的云计算产品和服务，适用于各种场景和需求。对于BERT模型的部署和运行，以下腾讯云产品可能会有帮助：
- 云服务器（Elastic Compute Cloud，ECS）：提供可扩展的云计算容量，用于部署和运行BERT模型。 产品链接：https://cloud.tencent.com/product/cvm
- 人工智能（AI）：提供了各种人工智能服务和平台，如自然语言处理（NLP）、图像识别等，可与BERT模型结合使用。 产品链接：https://cloud.tencent.com/product/ai
- 云原生应用服务：提供一站式的云原生应用开发和部署平台，可用于开发和部署基于BERT模型的应用程序。 产品链接：https://cloud.tencent.com/product/tke
请注意，以上链接仅为腾讯云官方产品介绍页面，具体产品选择需根据实际需求和使用情况进行评估。
相关·内容
1回答
我最近刚开始研究huggingface转换库。当我尝试开始使用模型卡代码时，例如community model from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("emilyalsentzer/Bio_ClinicalBERT")
model = AutoModel.from_pretrained("emilyalsentzer/Bio_ClinicalBERT") 但是，我得到了以下错误： Traceback (most re
浏览 110提问于2020-06-18得票数 0
回答已采纳
我对我的bert模型的测试集的评估有疑问。在eval部分中，param.requires_grad应该是真还是假？如果我在训练期间做了一次完全的微调，那将是独立的。我的模型是model.eval()模式，但是当我调用它进行评估时，我希望确保在Model()类中没有任何错误。谢谢！
if freeze_bert == 'True':
for param in self.bert.parameters():
param.requires_grad = False
#logging.info('freeze_
浏览 9提问于2022-06-20得票数 -1
回答已采纳
我正在看这个，它来自于课程。我无法从python环境访问互联网，但是我可以下载文件并将它们保存在python环境中。我从这个复制了所有文件，并将其保存在bert-base-uncased/文件夹中。我重命名了一些文件以匹配上面文件夹中的内容。
我有下面的包裹
tensorflow.__version__
'2.2.0'
keras.__version__
'2.4.3'
然后我安装了变压器
!pip install datasets transformers[sentencepiece]
checkpoint = "bert-base-uncased/
浏览 8提问于2022-01-20得票数 0
尝试运行Bert的记号赋予器，但我一直收到错误。有没有人能帮我解决问题呢？
FullTokenizer = bert.bert_tokenization.FullTokenizer
bert_layer = hub.KerasLayer("https://tfhub.dev/tensorflow/bert_en_uncased_L-12_H-768_A-12/1", trainable=False)
vocab_file = bert_layer.resolved_object.vocab_file.asset_path.numpy()
do_lower_case = bert
浏览 33提问于2020-06-01得票数 0
我在导入我的包的时候遇到了这个错误。我还没能找到解决这个问题的正确方法。任何帮助都是非常感谢的。
据我所知，这可能是Tensorflow的问题？
from sklearn.model_selection import train_test_split
import pandas as pd
import tensorflow as tf
import tensorflow_hub as hub
from datetime import datetime
import bert
from bert import run_classifier
from bert import optimizat
浏览 1提问于2020-03-25得票数 1
我对深入学习和python非常陌生，我正尝试在重新创建这个项目
当我看到在这个项目中有一个名为Bert_QuestionAnswer.ipynb的文件，data.txt是我看到的与原始的Bert存储库唯一的不同之处，我只是将它加载到我的Google驱动器中，并将它作为笔记本打开以查看它的使用情况。当我运行第一部分面团时，我会得到ModuleNotFoundError: No module named 'modeling'错误。它是哪个图书馆的？对某些人来说，这就是问题所在：
，它看起来像是试图从github回购源而不是pip包中导入。
如果您正在包含BERT github re
浏览 2提问于2019-10-09得票数 2
回答已采纳
我将使用此代码将锈菌元组序列化为BERT格式：
extern crate core;
pub struct Serializer;
pub trait Serialize<T> {
fn to_bert(&self, data: T) -> Vec<u8>;
}
impl Serialize<core::tuple> for Serializer {
fn to_bert(&self, data: core::tuple) -> Vec<u8> {
// some implemen
浏览 4提问于2016-08-06得票数 0
回答已采纳
对于大多数人来说，这可能是一个非常奇怪的问题，但在这种情况下，我很感谢你给我一个简单的解释。让我困惑的是以下几点。假设我有一个git存储库，如下所示：
在自述文件中，他们说，我可以用pip安装存储库，也可以从源安装存储库。在回购程序中，有一些我想使用的.py脚本。让我感到困惑的是:当我用pip安装存储库时，我如何访问这些脚本？我指的是这样的剧本：
python3 simple_lm_finetuning.py
--train_corpus my_corpus.txt
--bert_model bert-base-uncased
--do_lower_case
--output_dir
浏览 5提问于2020-11-26得票数 1
回答已采纳
我正在尝试安装FreeSurfer：ftp://surfer.nmr.mgh.harvard.edu/pub/dist/freesurfer/6.0.0/freesurfer-Linux-centos6_x86_64-stable-pub-v6.0.0.tar.gz
我按照以下步骤安装FreeSurfer：https://surfer.nmr.mgh.harvard.edu/fswiki/DownloadAndInstall
当我运行以下命令时：
~/subjects$ freeview -v \
bert/mri/T1.mgz \
bert/mri/wm.mgz \
bert/mri/bra
浏览 0提问于2020-03-16得票数 0
我想用更多的mlm任务对Albert_base进行微调，但我意识到没有为albert-base提供预训练的ckpt文件。因此，我的计划是将saved_model(或从then加载的模型)转换为检查点，然后使用提供的代码()对albert基进行预培训。
在进一步的预培训之前，为了检查对ckpt的转换是否成功，我将ckpt文件重新转换为saved_model格式，并使用bert-for-tf2 ()作为keras层加载它，但是，当我加载重新转换的albert_base时，它的嵌入与从原始albert_base加载的嵌入不同。
下面是我如何将原始的saved_model转换为ckpt，然后返回到sa
浏览 7提问于2019-12-17得票数 0
回答已采纳
我刚开始深造，遇到了伯特。我尝试了small_bert/bert_en_uncased_L-4_H-512_A-8，就像Tensorflow教程所做的那样，结果非常惊人。我想深入挖掘，并想知道相应的bert_en_uncased_preprocess是如何制作的。
据我所知，它完成了所有那些WordPiece标记化工作，因此它应该包含一些编码，而不仅仅是培训。https://tfhub.dev/tensorflow/bert_en_uncased_preprocess/3提供SavedModel。有什么源代码或类似的东西吗？一般情况下是怎么做的？
它与使用无关。它的用法很好，很清楚。目的是为了
浏览 4提问于2021-06-04得票数 1
我一直在关注tensorflow教程https://www.tensorflow.org/official_models/fine_tuning_bert 在第一个代码片段中，我看到了很多来自官方模块的导入 import numpy as np
import matplotlib.pyplot as plt
import tensorflow as tf
import tensorflow_hub as hub
import tensorflow_datasets as tfds
tfds.disable_progress_bar()
from official.modeling im
浏览 39提问于2020-06-30得票数 1
2回答
计数(*)不正常工作
、、、、
我创建触发器A1，这样一篇具有特定类型的文章，即'Bert‘不能被添加超过一次，并且它只能在股票中有一个。但是，虽然我创建了触发器，但我仍然可以添加一篇带有'Bert‘类型的文章。不知何故，计数返回'0‘，但当我运行相同的sql语句时，它返回正确的编号。如果我放下触发器并重新添加它，它也会开始正确的计数。有什么可能出问题了吗？
TRIGGER A1 BEFORE INSERT ON mytable
FOR EACH ROW
DECLARE
l_count NUMBER;
PRAGMA AUTONOMOUS_TRANSACTION;
BEGIN
SELECT CO
浏览 2提问于2015-04-10得票数 0
回答已采纳
1回答
我正在尝试使用tensorflow_hub中的预训练BERT模型实现一个自定义分类器。我正面临着一个问题，我不知道如何解决它。 代码如下： class BERTClassifier(tf.keras.models.Model):
def __init__(self):
super(BERTClassifier, self).__init__()
self.preprocessing_layer = hub.KerasLayer('https://tfhub.dev/tensorflow/bert_en_uncased_preprocess/3', name=&
浏览 46提问于2021-09-07得票数 0
2回答
我正在使用SentenceTransformers库(这里：)来使用预训练模型bert-base-nli-mean tokens创建句子的嵌入。我有一个应用程序将部署到不能访问互联网的设备上。这里，已经回答了如何保存模型。然而，我被困在从本地保存的路径加载保存的模型。
当我尝试使用上面提到的技术保存模型时，输出文件如下：
('/bert-base-nli-mean-tokens/tokenizer_config.json',
'/bert-base-nli-mean-tokens/special_tokens_map.json',
'/bert-ba
浏览 197提问于2020-12-23得票数 5
如何更改： BERT_MODEL = "https://tfhub.dev/google/bert_multi_cased_L-12_H-768_A-12/1"
def create_tokenizer_from_hub_module():
"""Get the vocab file and casing info from the Hub module."""
with tf.Graph().as_default():
bert_module = hub.Module(BERT_MODEL)
toke
浏览 184提问于2020-03-22得票数 0
我正在尝试安装使用BERT的pytorch，但是当按照这里的安装说明操作时：https://pytorch.org/get-started/locally/ I遇到一个错误。 当我尝试初始化BERT模型时，我得到了以下错误： ImportError:
BertForSequenceClassification requires the PyTorch library but it was not found in your environment.
Checkout the instructions on theinstallation page: https://pyt
浏览 277提问于2021-01-27得票数 0
2回答
如何离线使用列车？
、、、、
我训练我的英语模型跟随这个笔记本()。我能够保存我的预先训练的模型，并运行它没有问题。
然而，我需要再次运行它，但是离线运行，而且它不起作用，我知道我需要下载这个文件，并做一些类似于这里所做的事情。
然而，我无法理解我需要在哪里改变火车的设置。
我负责这个：
ktrain.load_predictor('Functions/my_english_nermodel')
这就是我遇到的错误：
Traceback (most recent call last):
File "Z:\Functions\NER.py", line 155, in load_bert
浏览 4提问于2020-06-02得票数 0
回答已采纳
嗨，我从这里下载了伯特预培训模型(https://storage.googleapis.com/bert_模型/2018年_10_18/外壳_L-12_H-768_A-12.zip)，并保存到gogole colab和本地的一个目录中。
当我试图在colab中加载模型时，得到“我们假设”/content/驱动器/My Drive/bert_training/uncased_L-12_H-768_A-12/config.json“。尝试在局部机器上对模型进行laod，得到相同的误差。
我就是这样加载模型的:从变压器导入BertForMaskedLM BertForMaskedLM
这是正确的方式
浏览 0提问于2019-12-06得票数 5
回答已采纳
2回答
我正在尝试连接两个大的数字矩阵，第一个：features是一个np.array形状的1238,72，另一个是从.json文件中加载的，如下面第二行所示，它是1238, 768形状的。我需要加载，连接，重新索引，拆分成文件夹，并将每个文件夹保存在自己的文件夹中。问题是我在第一步就得到了Killed (将.json内容读入bert) with open(bert_dir+"/output4layers.json", "r+") as f:
bert = [json.loads(l)['features'][0]['layers
浏览 49提问于2020-04-27得票数 0
回答已采纳
我在直接下载Bert模型(公司的隐私政策)时遇到连接问题，所以我在https://github.com/huggingface/transformers/blob/master/src/transformers/tokenization_bert.py下载了BertTokenizer 并得到了我的模型令牌器的txt文件。“bert-base-多语言大小写”："https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-multilingual-cased-vocab.txt"， 但是当我导入记号赋予器模型时，得到
浏览 13提问于2020-01-13得票数 0
回答已采纳
(我正在学习关于BERT word嵌入的 author教程，在本教程中，作者访问了BERT模型的中间层。)
我想要的是使用HuggingFace的Transformers库访问TensorFlow2中BERT模型的单个输入令牌的最后4层。因为每个层输出一个长度为768的向量，所以最后4个层的形状为4*768=3072 (对于每个令牌)。
如何在TF/keras/TF2中实现这一点，以获得输入令牌的预训练模型的中间层？(稍后，我将尝试为句子中的每个令牌获取令牌，但现在一个令牌就足够了)。
我正在使用HuggingFace的BERT模型：
!pip install transformers
fro
浏览 8提问于2020-04-27得票数 7
回答已采纳
我正在与TensorFlow和凯拉斯在TPU上工作，我需要加载预先训练的BERT模型并将其转换为TPU模型。我首先加载了模型，它工作得很好。 def _load_bert(self):
logging.info('Loading BERT from %s', self.bert_path)
config_path = os.path.join(self.bert_path, 'bert_config.json')
checkpoint_path = os.path.join(self.bert_path, 'bert_mode
浏览 62提问于2019-07-02得票数 1
回答已采纳
1回答
我正在微调BertForPreTraining模型，它有、mlm、和nsp头。当我运行我的代码时，当它开始为gpu分配第一批时，它就会出现内存不足的错误。我甚至尝试了更小的批次，但都没成功。我的gpu有2Gb Ram，我甚至在gpu上尝试了使用4Gb ram的代码，但仍然得到了相同的错误。我在用电筒和库达11.3编码。这是我的代码：
current_loc = pathlib.Path(__file__).parent.absolute()
tokenizer = AutoTokenizer.from_pretrained('bert-base-uncased')
model
浏览 0提问于2021-11-07得票数 0
我正在尝试使用序列到序列模型进行命名实体识别.我的输出是简单的IOB标记，因此我只想预测每个令牌(IOB)的3个标签的概率。
我正在尝试使用HuggingFace实现EncoderDecoderModel --使用DistilBert作为编码器，以BertForTokenClassification作为解码器。
首先，我导入我的编码器和解码器：
encoder = AutoModelForSequenceClassification.from_pretrained("distilbert-base-uncased")
encoder.save_pretrained("E
浏览 2提问于2021-10-25得票数 1
回答已采纳
1回答
我不确定这是否是提交这类问题的最佳地点，也许CrossValdation会更好。 我正在研究一个文本多类分类问题。我构建了一个基于BERT概念的模型，并在PyTorch (huggingface transformer library)中实现。该模型执行得很好，除非输入句子有OCR错误或等效地拼写错误。 例如，如果输入是"NALIBU DRINK“，Bert标记器会生成'na'，'##lib'，'##u'，'drink‘，模型的预测是完全错误的。另一方面，如果我纠正了第一个字符，所以我的输入是"MALIBU DRINK&
浏览 38提问于2020-04-04得票数 0
我进口：
from bert.model import BertModelLayer
但我发现了一个错误：
类PositionEmbeddingLayer(bert.Layer)：AttributeError:模块'bert‘没有属性'Layer’
我也尝试过：
from bert import BertModelLayer
但它也不管用！
浏览 2提问于2022-04-10得票数 0
1回答
我最近一直在尝试堆叠语言模型，并注意到一些有趣的事情: BERT和XLNet的输出嵌入与输入嵌入不同。例如，下面的代码片段：
bert = transformers.BertForMaskedLM.from_pretrained("bert-base-cased")
tok = transformers.BertTokenizer.from_pretrained("bert-base-cased")
sent = torch.tensor(tok.encode("I went to the store the other day, it was ver
浏览 1提问于2020-04-03得票数 2
我是bert的初学者，我正在尝试使用GitHub上给出的bert文件：
但是，在终端中使用pip install bert安装bert后，我无法从bert导入文件(如run_classifier、优化等)。我尝试在jupiter notebook中运行以下代码：
import bert
from bert import run_classifier
错误是：
ImportError: cannot import name 'run_classifier'
然后我在\anaconda3\lib\python3.6\site-packages中找到了名为'bert‘的文件，
浏览 3提问于2019-06-12得票数 6
回答已采纳
1回答
Bert是一个非常强大的文本分类模型，但bert的实现需要比任何其他模型多得多的代码。bert-text是pypi包，为开发人员提供了一个现成的解决方案。我已经安装了它，我已经尝试导入，它抛出错误ModuleNotFoundError:没有名为‘bert_text’的模块。我已经正确地写入了名称bert_text。我已经在Kaggle，Colab和本地机器上尝试过了，但是错误是一样的。
浏览 24提问于2019-10-14得票数 0
1回答
我在导入AttributeError: 'BertTokenizer' object has no attribute 'encode作为BertTokenizer时获得了BertTokenizer
from pytorch_pretrained_bert import BertTokenizer, BertModel
当我改变到
from transformers import BertTokenizer, BertModel
这个错误已经解决了，但另一个错误是在使用squeeze(0)时出现的
bert_embedding = encoded_layers[11].
浏览 41提问于2022-01-28得票数 0
我正在尝试使用bert-base-德语大小写的modell对一个德国推文数据集进行情感分析，这是我从hugginface导入的transformers。
为了能够计算预测的概率，我想要计算Numpy的Softmax，问题就从这里开始了。
F.softmax(model(input_ids, attention_mask), dim=1)
我得到了错误：
ValueError: not enough values to unpack (expected 2, got 1)
有人知道这里需要哪些值吗？
当我尝试用以下命令运行它时，一切都会正常工作：
self.bert = BertModel.fr
浏览 0提问于2020-06-07得票数 3
1回答
我有以下代码，它从传递的枚举值向量生成一个字节向量：
#[derive(Debug, PartialEq)]
pub enum BertType {
SmallInteger(u8),
Integer(i32),
Float(f64),
String(String),
Boolean(bool),
Tuple(BertTuple),
}
#[derive(Debug, PartialEq)]
pub struct BertTuple {
pub values: Vec<BertType>
}
pub struct Seri
浏览 5提问于2016-08-09得票数 1
回答已采纳
bert_layer = hub.KerasLayer("https://tfhub.dev/tensorflow/bert_en_uncased_L-12_H-768_A-12/1",trainable=False)
vocab_file = bert_layer.resolved_object.vocab_file.asset_path.numpy()
do_lower_case = bert_layer.resolved_object.do_lower_case.numpy()
tokenizer = FullTokenizer(vocab_file, do_lower_
浏览 5提问于2021-04-08得票数 0
我正在尝试使用以下代码冻结我的屏蔽语言模型的一些层：
for param in model.bert.parameters():
param.requires_grad = False
然而，当我执行上面的代码时，我得到了这个错误：
AttributeError: 'RobertaForMaskedLM' object has no attribute 'bert'
在我的代码中，我为我的屏蔽语言模型导入了以下内容，但我不确定是什么导致了上面的错误：
from transformers import AutoModelForMaskedLM
model
浏览 11提问于2021-07-15得票数 0
我试图使用NER为tweets dataset构建一个tweets dataset模型，并最终得到这个错误。请帮帮忙
这就是我所做的
from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline
tokenizer = AutoTokenizer.from_pretrained("dslim/bert-base-NER")
model = AutoModelForTokenClassification.from_pretrain
浏览 10提问于2022-10-25得票数 0
回答已采纳
编织品
我正试图篡改一个简单的烧瓶项目。当我使用docker运行项目时，我一直收到这个错误。另一方面，当我正常使用python3 test-flask.py运行它时，该项目运行得很好。
码头档案
FROM python:3.9.6-slim
# https://www.lifewithpython.com/2021/05/python-docker-env-vars.html
ENV PYTHONDONTWRITEBYTECODE=1 \
PYTHONUNBUFFERED=1 \
PYTHONUTF8=1 \
PIP_DISABLE_PIP_VERSION_CHECK
浏览 6提问于2022-07-11得票数 3
回答已采纳
1回答
拥抱面模型的OSError
、、、、
我正在尝试使用拥抱面模型()，但是在加载令牌程序:代码时会出现错误：
from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("CAMeL-Lab/bert-base-arabic-camelbert-ca")
model = AutoModelForMaskedLM.from_pretrained("CAMeL-Lab/bert-base-arabic-camelbert-ca")
错误：
OSError: Ca
浏览 19提问于2022-03-15得票数 0
我正在使用jupyter中的ktrain包和this notebook提供的代码。我在qa = text.SimpleQA(INDEXDIR)行得到一个错误。这个错误很长，但下面是一个简短的版本： HTTPSConnectionPool(host='huggingface.co', port=443): Max retries exceeded with url: /bert-large-uncased-whole-word-masking-finetuned-squad/resolve/main/config.json (Caused by SSLError(SSLCert
浏览 396提问于2021-07-09得票数 1
回答已采纳
1回答
我正在尝试导入import spacy_sentence_bert并在python中运行以下代码。
我在anaconda提示符上安装了conda install -c conda-forge spacy-transformers。
import spacy_sentence_bert
nlp = spacy_sentence_bert.load_model('en_stsb_bert_large')
我收到的错误如下：
ModuleNotFoundError: No module named 'spacy_sentence_bert'
但是，由于另一个错误，我最
浏览 12提问于2022-10-09得票数 2
1回答
BERT输出不确定
、、、
BERT输出不是确定性的。我希望当我输入相同的输入时，输出值是确定的，但我的bert模型的输出值正在变化。听起来很别扭，相同的值返回两次，一次。也就是说，一旦出现另一个值，同样的值也会出现并重复。如何使输出具有确定性？让我展示一下我的代码片段。我使用下面的模型。 对于BERT实现，我使用huggingface实现的BERT pytorch实现。这是pytorch领域中非常著名的模型ri实现。link tokenizer = BertTokenizer.from_pretrained(self.bert_type, do_lower_case=self.do_lower_cas
浏览 75提问于2019-06-18得票数 6
回答已采纳
我有两个表，并希望使用table1语句更新table2 (映射表)中的数据(原始数据表)。但是，每次尝试时，我都会收到错误消息：
查询错误:更新/合并必须最多匹配每个目标行的一个源行
Table1 (数据表)
textWithFoundItemInIt | foundItem
---------------------------------
hallo Adam |
Bert says hello |
Want to find "Caesar"bdjehg |
Table2 (映射表
浏览 1提问于2021-08-24得票数 1
回答已采纳
2回答
我是个新手！我正在尝试在Kaggle内核上从头开始训练BERT模型。无法使BERT run_pretraining.py脚本在TPU上工作。不过，它在CPU上运行良好。我猜问题出在$TPU_NAME环境变量上。
!python run_pretraining.py \
--input_file='gs://xxxxxxxxxx/*' \
--output_dir=/kaggle/working/model/ \
--do_train=True \
--do_eval=True \
--bert_config_file=/kaggle/input/bert-bangla-test
浏览 6提问于2020-08-05得票数 1
1回答
我正在尝试访问来自预训练的"DistilBERT“模型的几个不同层的输出嵌入。("distilbert-base-uncased") bert_output = model(input_ids, attention_mask=attention_mask) bert_output似乎只返回输入标记的最后一层的嵌入值。
浏览 26提问于2020-03-21得票数 0
回答已采纳
我正在尝试使用tensorflow集线器上提供的预训练BERT来实现一个学习排名模型。我使用的是ListNet损失函数的一个变体，它要求每个训练实例都是与查询相关的几个排序文档的列表。我需要模型能够接受形状(batch_size，list_size，sentence_length)中的数据，其中模型在每个训练实例的'list_size‘轴上循环，返回排名并将它们传递给损失函数。在一个只包含密集层的简单模型中，通过增加输入层的维度很容易做到这一点。例如：
from tensorflow.keras.layers import Dense, Input
from tensorflow.ke
浏览 31提问于2021-05-16得票数 1
1回答
我正在尝试同时运行多个Bert模型的副本。
我有一个python对象，它包含一个池：
self.tokenizer = BertTokenizer.from_pretrained(BERT_LARGE)
self.model = BertForQuestionAnswering.from_pretrained(BERT_LARGE)
self.pool = Pool(processes=max_processes,
initializer=pool_init,
initargs=(self.model, self.token
浏览 0提问于2021-08-18得票数 0
加载BertEmbedding时，我得到以下错误
代码：
name = "microsoft/codebert-base"
from transformers import BertModel
from transformers import BertTokenizer
print("[ Using pretrained BERT embeddings ]")
self.bert_tokenizer = BertTokenizer.from_pretrained(name, do_lower_case=lower_case)
self.bert_model
浏览 19提问于2022-03-30得票数 0
因此，对于在AllenNLP中使用自动调优(如optuna)，建议的做法是在jsonnet脚本中使用对环境变量的引用，然后建立一个研究来修改这些参数。 当值是整数或浮点数时，这很好用。对于整数，使用std.parseInt(std.extVar(varname))；对于浮点数，使用std.parseJson(std.extVar(varname))。 但是如果我想要改变，比如在我的测试中"adam"，"sparseadam"，"adamax"，“adamw”等之间的优化技术，或者改变我正在使用的RNN的类型，似乎没有一个简单的方法来做到这一点。
浏览 27提问于2021-01-23得票数 0
1回答
我正在使用这个代码来训练Bert的土耳其语言模型分类与2个标签。但是当我运行以下代码时：
import numpy as np
import pandas as pd
df = pd.read_excel (r'preparedDataNoId.xlsx')
df = df.sample(frac = 1)
from sklearn.model_selection import train_test_split
train_df, test_df = train_test_split(df, test_size=0.10)
print('train shape:
浏览 0提问于2020-11-30得票数 1
我正在尝试让BERT从这里获得的代码中进行情感分析：https://github.com/strongio/keras-bert 但是当我尝试建立模型时，我得到了一个错误， 'Module' object has no attribute 'variables' 当我试图访问self.bert.variables时，这种情况特别发生在BertLayer类的构建函数中。 我尝试使用dir(self.bert)来获取对象的所有属性，但它确实没有一个名为variables的属性。以下是我获得的属性： ['\__call__', '\__cla
浏览 13提问于2019-06-27得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
