BERT输出不确定
BERT（Bidirectional Encoder Representations from Transformers）是一种基于Transformer模型的预训练语言表示模型。它通过在大规模文本语料上进行无监督训练，学习到了丰富的语义信息，可以用于各种自然语言处理任务。
BERT的输出不确定性主要体现在两个方面：
- 多义性：由于自然语言的多义性，一个词或短语可能有多个不同的含义。BERT模型在处理这种情况时，会根据上下文来进行语义理解和表示，但不同的上下文可能导致不同的解释。因此，BERT的输出在某些情况下可能是不确定的，需要根据具体上下文进行进一步的分析和判断。
- 随机初始化和训练过程中的随机性：BERT模型的训练过程中使用了随机初始化的参数，并且在训练过程中会进行随机采样和随机梯度下降等操作。这些随机性因素会导致模型在不同的训练过程中产生略微不同的结果，从而使得BERT的输出在一定程度上具有不确定性。
尽管BERT的输出存在一定的不确定性，但它在自然语言处理任务中取得了很好的效果，并被广泛应用于文本分类、命名实体识别、问答系统等领域。
对于BERT输出不确定性的处理，可以采取以下策略：
- 上下文分析：根据具体的上下文语境，结合其他信息进行进一步的分析和判断，以确定BERT输出的含义和解释。
- 模型集成：可以使用多个不同的BERT模型进行集成，通过多模型的投票或加权平均等方式来减少不确定性，并提高模型的鲁棒性和准确性。
- 后处理技术：可以使用后处理技术对BERT的输出进行进一步的处理和调整，例如使用规则、过滤器或其他模型来修正不确定性。
腾讯云提供了自然语言处理相关的产品和服务，可以用于BERT模型的应用和部署。例如，腾讯云的自然语言处理平台（https://cloud.tencent.com/product/nlp）提供了文本分类、命名实体识别、情感分析等功能，可以与BERT模型结合使用。此外，腾讯云还提供了弹性计算、对象存储、数据库等基础设施服务，以支持BERT模型的部署和运行。
请注意，以上答案仅供参考，具体的应用和推荐产品需要根据实际需求和情况进行选择。
相关·内容
我跟踪了基于伯特的词汇替代(特别是试图实现等式(2) -如果有人已经实现了整个论文，那将是伟大的) 。因此，我想获得最后两个隐藏层(唯一不确定的是输出中层的顺序:最后一层还是第一层？)和一个基本的伯特模型的注意(伯特-基-未)。
然而，我有点不确定的是否真的输出注意力(我是使用火炬，但开放使用TF代替)的伯特基地？
从，我被期望得到一个元组(logits，hidden_states，关注点)，但是下面的例子(例如在Google中运行)，我得到长度为2。
我是误解了我得到了什么，还是做错了这件事？我做了明显的测试，使用了output_attention=False而不是output_attent
浏览 2提问于2020-02-07得票数 6
回答已采纳
1回答
我只想使用Bert嵌入和使用Bert输出作为一个分类网的输入，我将从零开始构建。
我不确定我是否想为这个模型做修改。
我认为相关的类是BertModel或BertForPreTraining。
头包含两个“动作”：self.predictions是MLM (蒙面语言建模)，它赋予了BERT修正语法错误的能力，self.seq_relationship是NSP (下一句预测)，通常被称为分类头。
class BertPreTrainingHeads(nn.Module):
def __init__(self, config):
super().__init__()
浏览 8提问于2021-03-12得票数 4
回答已采纳
1回答
我最近一直在尝试堆叠语言模型，并注意到一些有趣的事情: BERT和XLNet的输出嵌入与输入嵌入不同。例如，下面的代码片段：
bert = transformers.BertForMaskedLM.from_pretrained("bert-base-cased")
tok = transformers.BertTokenizer.from_pretrained("bert-base-cased")
sent = torch.tensor(tok.encode("I went to the store the other day, it was ver
浏览 1提问于2020-04-03得票数 2
我遵循这个example来使用BERT进行情感分类。 text_input = tf.keras.layers.Input(shape=(), dtype=tf.string)
preprocessor = hub.KerasLayer(
"https://tfhub.dev/tensorflow/bert_en_uncased_preprocess/3") # 128 by default
encoder_inputs = preprocessor(text_input)
encoder = hub.KerasLayer(
"https://tfhu
浏览 34提问于2021-08-26得票数 0
1回答
BERT输出不确定
、、、
BERT输出不是确定性的。我希望当我输入相同的输入时，输出值是确定的，但我的bert模型的输出值正在变化。听起来很别扭，相同的值返回两次，一次。也就是说，一旦出现另一个值，同样的值也会出现并重复。如何使输出具有确定性？让我展示一下我的代码片段。我使用下面的模型。 对于BERT实现，我使用huggingface实现的BERT pytorch实现。这是pytorch领域中非常著名的模型ri实现。link tokenizer = BertTokenizer.from_pretrained(self.bert_type, do_lower_case=self.do_lower_cas
浏览 75提问于2019-06-18得票数 6
回答已采纳
1回答
如何两次独立地将输入句子传递到bert中？ 这是我到目前为止所尝试的，输出是相同的。 bert = AutoModel.from_pretrained('bert-base-cased')
tokenizer = AutoTokenizer.from_pretrained('bert-base-cased')
sent_dict = tokenizer('Some weights of the model checkpoint at bert-base-cased were not used when initializing BertModel
浏览 17提问于2021-11-10得票数 0
1回答
我想在BERT中打印输出向量/张量，但我不确定该如何做。我一直在使用下面的例子来演示它：
这是一个简单的分类问题，但我希望在对训练样本进行分类之前能够获得输出向量。有人能指出我可以在代码中的哪里做这件事以及如何做吗？
浏览 16提问于2020-05-22得票数 0
我正在尝试为句子分类任务训练一个模型。输入是一个句子(整数的向量)，输出是一个标签(0或1)。我在各处看到过一些关于使用Bert和GPT2执行文本分类任务的文章。然而，我不确定我应该从哪一个开始。在自然语言处理中的这些最新模型中，您会使用原始变压器模型、Bert、GPT2、XLNet中的哪些模型作为开始？为什么？我更愿意在Tensorflow中实现，但我也可以灵活地使用PyTorch。谢谢!
浏览 5提问于2019-09-09得票数 8
1回答
如何编写摘要输出？
、、、
我正在尝试获得R的Summary()函数的输出。我希望我的输出是Excel。我已经使用BERT控制台编写了我的R函数，该函数计算摘要如下：
descriptive <- function(data){
X <- summary(data)
return(X)
}
我可以运行它，并以r.descriptive的身份调用Excel，还可以通过选择多个单元格并按组合键(Ctrl + Shift + Enter)来获得输出。现在，接下来我想使用VBA打印输出。
我用过Application.Run(BERT.Call, ..)
但是在VBA中使用BERT函数究竟要写些什么才能得到摘
浏览 9提问于2018-03-06得票数 0
(我正在学习关于BERT word嵌入的 author教程，在本教程中，作者访问了BERT模型的中间层。)
我想要的是使用HuggingFace的Transformers库访问TensorFlow2中BERT模型的单个输入令牌的最后4层。因为每个层输出一个长度为768的向量，所以最后4个层的形状为4*768=3072 (对于每个令牌)。
如何在TF/keras/TF2中实现这一点，以获得输入令牌的预训练模型的中间层？(稍后，我将尝试为句子中的每个令牌获取令牌，但现在一个令牌就足够了)。
我正在使用HuggingFace的BERT模型：
!pip install transformers
fro
浏览 8提问于2020-04-27得票数 7
回答已采纳
我们有文本作为 "Google and Bert+Amazon+Alexa' 预期的输出是，当我们将搜索文本作为Google和Bert传递时，输出应该是"Google和Bert“，而当输入的搜索词是Google时，它应该不匹配。需要匹配到完整的文本，该文本可以在符号"+“之前或之间或之后 pattern = r'(?:^|\+)' + 'Amazon' + '(?:$|\+)'
re.search(pattern, "Google and Bert+Amazon+Alexa").group()
浏览 13提问于2019-09-17得票数 2
我将在这里描述我的意图。我想通过tf-hub函数hub.module(bert_url，trainable = True)导入BERT预训练模型，并将其用于文本分类任务。我计划使用一个大型语料库来微调BERT的权重，以及几个输入为BERT输出的密集层。然后我想冻结BERT的层，只训练BERT之后的致密层。我怎样才能有效地做到这一点呢？
浏览 25提问于2020-03-29得票数 0
1回答
从BERT获取嵌入查找结果
、、、、
在通过BERT传递我的令牌之前，我想对它们的嵌入(嵌入查找层的结果)执行一些处理。允许我们使用以下方法访问嵌入查找的输出：
import tensorflow as tf
from transformers import BertConfig, BertTokenizer, TFBertModel
bert_tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
input_ids = tf.constant(bert_tokenizer.encode("Hello, my dog is cute
浏览 2提问于2020-05-03得票数 4
回答已采纳
允许我们使用预先计算的嵌入来代替BERT原生的嵌入查找。这是使用模型的call方法的可选参数inputs_embeds (代替input_ids)完成的。为了测试这一点，我想确保如果我在伯特的嵌入查找中添加了提要，我将得到与在input_ids本身中提供的结果相同的结果。
通过将BERT配置参数output_hidden_states设置为True，并从call方法的最后输出中提取第一个张量，可以得到BERT嵌入查找的结果。(其余12项产出对应于12个隐藏层中的每一个。
因此，我编写了以下代码来验证我的假设：
import tensorflow as tf
from transformers
浏览 0提问于2020-05-02得票数 8
回答已采纳
2回答
据我所知，利用BERT进行某些NLP分类任务有两种方法：
BERT可以执行“特征提取”，其输出将进一步输入到另一个(分类)模型中。
另一种方法是微调一些文本分类任务的BERT，方法是在预培训的BERT中添加一个或多个输出层，并对整个过程进行再培训(有不同数量的BERT层固定)。
但是，如果在第二种情况下，我们修复了所有的层，并且添加了分类模型中的所有层，那么第一种和第二种方法实际上是相同的，对吗？
浏览 0提问于2020-03-26得票数 1
我想使用Bert执行多实例学习。一包实例包含40个句子。每句话应该输出一个标签，最终的标签应该是所有标签的平均值。 我试过使用tensorflow_hub的bert layer。但我不知道如何在TimeDistributed中使用它。 bert_layer = hub.KerasLayer("https://tfhub.dev/tensorflow/bert_en_uncased_L-12_H-768_A-12/1",trainable=True) pooled_output, sequence_output = bert_layer([input_word_ids, inp
浏览 24提问于2020-12-22得票数 1
我使用的是pytorch，这是huggingface transformers link的模型 from transformers import BertTokenizerFast, BertForSequenceClassification
bert = BertForSequenceClassification.from_pretrained("bert-base-uncased",
num_labels=int(data['class'].nuniq
浏览 282提问于2020-12-09得票数 3
2回答
首先，这不是一个特定于语言的问题，下面的例子使用PHP，但更多的是关于方法(regex?)找到答案。
假设我有一个数组：
$array = ['The Bert and Ernie game', 'The Bert & Ernie game', 'Bert and Ernie game', 'Bert and Ernie game - english version', 'Bert & Ernie (game)', 'Bert and Ernie - game'] etc...
我想
浏览 6提问于2015-06-17得票数 0
回答已采纳
1回答
如何选择任意大小的范围和输出？
、、、、
我正在使用VBA代码Application.run("BERT.Call",..)在Excel中调用R函数。它正在成功地工作。但要做到这一点，我需要选择打印输出的单元格。
假设我想在Excel中使用BERT.Call获得R的Summary()的输出，然后首先我需要选择6个列单元格来显示我的输出，否则我需要通过VBA代码本身传递范围。
我的问题是：
有没有什么方法可以使用户不需要选择/输入范围，就可以用BERT.Call在Excel VBA代码中调用R函数来获得任意大小(可变大小)的输出？
浏览 2提问于2018-03-13得票数 0
3回答
微调BERT的最后x层
、、、
我试着微调BERT只在特定的最后一层(比方说最后三层)。我想使用谷歌Colab进行TPU培训。我使用hub.Module加载BERT并对其进行微调，然后将微调后的输出用于我的分类任务。 bert_module = hub.Module(BERT_MODEL_HUB, tags=tags, trainable=True) hub.Module可以选择将模型设置为可训练或不可训练，但不能将其设置为部分可训练(仅特定层) 有人知道如何使用hub.Module训练最后1、2或3层的BERT吗 谢谢
浏览 67提问于2019-05-08得票数 2
我在主细节关系中得到了两个表，并希望在一个select查询中选择所有数据。
“人”表：
id;name
1;Allen
2;Bert
3;Chris
表“连通性”：
id;personId;type;value
1;1;phone;+123456789
2;1;mail;allen@allen.allen
3;2;mail;bert@bert.bert
4;3;phone;+987654321
5;3;fax;+987654322
查询输出应该类似于
person.id;person.name;phone;mail;fax
1;Allen;+123456789;allen@allen.alle
浏览 2提问于2015-03-02得票数 0
回答已采纳
我正在试图找到关于如何训练BERT模型的信息，可能是从Huggingface Transformers库中，以便嵌入它的输出与我正在使用的文本的上下文更紧密地相关。 然而，我能找到的所有例子都是关于为另一个任务微调模型的，比如classification。 有没有人碰巧有一个BERT微调模型的例子，用于掩蔽标记或下一句预测，输出另一个根据上下文微调的原始BERT模型？ 谢谢!
浏览 15提问于2021-04-17得票数 3
回答已采纳
2回答
我正在尝试为基本模型使用第一个单独的BertSelfAttention层，但我从torch.hub加载的模型似乎与hugginface transformers.models.bert.modeling_bert中使用的模型不同：
import torch, transformers
tokenizer = transformers.BertTokenizer.from_pretrained('bert-base-uncased', do_lower_case=True)
torch_model = torch.hub.load('huggingface/pytorc
浏览 0提问于2021-05-05得票数 0
回答已采纳
1回答
请参考下面的DDL：
create table #dbNames (reference int identity not null, name1 varchar(30),
name2 varchar(30), dateadded datetime, primary key (reference))
insert into #dbNames ('Bert', 'Claire', '2010-01-01')
insert into #dbNames ('Claire', 'Ber
浏览 0提问于2015-08-08得票数 2
2回答
我正在使用SentenceTransformers库(这里：)来使用预训练模型bert-base-nli-mean tokens创建句子的嵌入。我有一个应用程序将部署到不能访问互联网的设备上。这里，已经回答了如何保存模型。然而，我被困在从本地保存的路径加载保存的模型。
当我尝试使用上面提到的技术保存模型时，输出文件如下：
('/bert-base-nli-mean-tokens/tokenizer_config.json',
'/bert-base-nli-mean-tokens/special_tokens_map.json',
'/bert-ba
浏览 197提问于2020-12-23得票数 5
我正在构建一个低级的、高性能的、跨平台的云架构，它需要利用一个快速的rpc系统。我正在考虑bert-rpc，但我不确定这是使用http还是直接位于tcp/ip之上。基本上，我关心的是单个rpc调用需要多少次往返，以及bert-rpc附带的消息传递保证。
浏览 3提问于2011-07-29得票数 0
回答已采纳
我想在BERT中添加一个输出层，以预测多个二进制特性。
例如，这些产出将回答以下问题：
是肯定的吗?1如果是，0否则。是关于体育的吗?1如果是，0如果不是。是关于商业的吗?1如果是，0如果不是。
我的第一个想法是把它作为一个回归任务，增加一个输出层，包含3个神经元:每个问题一个。
伪码：
def __init__(self):
self.bert = CamembertModel.from_pretrained('camembert-base')
self.regressor = nn.Sequential(nn.Linear(dim_in, 3))
浏览 4提问于2022-03-30得票数 0
需要您的支持…我正在遵循一个教程，并试图在我的数据集上运行。我下面的错误...Pls认为我是一个初学者，如果你能让我知道如何修复，原因是什么，我将不胜感激？
(x_train_bert, y_train_bert), (x_val_bert, y_val_bert), preproc = text.texts_from_array(
x_train=x_train, y_train=y_train,
x_test=x_val, y_test=y_val,
class_names=train_labels.unique(),
preprocess_mode=
浏览 6提问于2020-07-18得票数 0
我按照这个中等水平的帖子训练了我自己的BERT NER：https://medium.com/@yingbiao/ner-with-bert-in-action-936ff275bc73
我将模型保存到光盘并成功加载。
model = BertForTokenClassification.from_pretrained(bert_out_address, num_labels=len(tag2idx))
model.eval()工作：
model.eval()
我是BERT和transformer库的新手。我预计会出现类似于
model.predict('Hello I am an e
浏览 11提问于2020-02-12得票数 2
我正在尝试使用以下代码冻结我的屏蔽语言模型的一些层：
for param in model.bert.parameters():
param.requires_grad = False
然而，当我执行上面的代码时，我得到了这个错误：
AttributeError: 'RobertaForMaskedLM' object has no attribute 'bert'
在我的代码中，我为我的屏蔽语言模型导入了以下内容，但我不确定是什么导致了上面的错误：
from transformers import AutoModelForMaskedLM
model
浏览 11提问于2021-07-15得票数 0
4回答
我有一张这样的桌子：
// mytable
+----+--------+-------+-------+
| id | name | key | value |
+----+--------+-------+-------+
| 1 | jack | 1 | 10 |
| 2 | peter | 1 | 5 |
| 3 | jack | 2 | 5 |
| 4 | ali | 1 | 2 |
| 5 | jack | 1 | 5 |
| 6 | jack | 1
浏览 2提问于2015-11-27得票数 0
回答已采纳
2回答
我正在创建一个关于团结的游戏，它将使用C#在后端运行python脚本，该脚本由一个算法组成，该算法需要时间加载和输出，因此我决定使用异步编程。下面是我在C#中的代码：
public static BERT instance;
public string valueSaved;
public void exec()
{
p.StartInfo = new ProcessStartInfo(pythonFile, fileName)
{
RedirectStandardOutput = true,
Us
浏览 17提问于2022-04-14得票数 0
我一直在寻找使用拥抱脸的管道为NER (命名实体识别)。然而，它正在返回实体标签的内部-外部开始(IOB)格式，但.因此，我无法将管道的输出映射回我的原始文本。此外，输出以BERT令牌化格式掩蔽(默认模型为BERT-large)。
例如：
from transformers import pipeline
nlp_bert_lg = pipeline('ner')
print(nlp_bert_lg('Hugging Face is a French company based in New York.'))
产出如下：
[{'word': &#
浏览 8提问于2020-03-30得票数 9
回答已采纳
1回答
我不确定这是否是提交这类问题的最佳地点，也许CrossValdation会更好。 我正在研究一个文本多类分类问题。我构建了一个基于BERT概念的模型，并在PyTorch (huggingface transformer library)中实现。该模型执行得很好，除非输入句子有OCR错误或等效地拼写错误。 例如，如果输入是"NALIBU DRINK“，Bert标记器会生成'na'，'##lib'，'##u'，'drink‘，模型的预测是完全错误的。另一方面，如果我纠正了第一个字符，所以我的输入是"MALIBU DRINK&
浏览 38提问于2020-04-04得票数 0
1回答
使嵌入相似的火炬损失函数
、、、、
我正在研究一个嵌入模型，其中有一个BERT模型，它接收文本输入并输出多维向量。该模型的目的是为相似的文本找到相似的嵌入(高余弦相似度)，对于不相似的文本寻找不同的嵌入(低余弦相似度)。
在小型批处理模式下进行训练时，BERT模型给出N*D维输出，其中N是批处理大小，D是BERT模型的输出维数。
此外，我还有一个维数N*N的目标矩阵，如果sentence[i]和sentence[j]在意义上是相似的，则在[i, j]第th位置包含sentence[i]，如果没有，则包含-1。
我想做的是通过找到BERT输出中所有嵌入的余弦相似性，并将其与目标矩阵进行比较，找到整个批处理的丢失/错误。
我所做的只
浏览 5提问于2020-12-31得票数 0
回答已采纳
我想了解BertForMaskedLM模型，在huggingface代码中，BertForMaskedLM是一个bert模型，它的形状有两个线性层(输入768，输出768)和(输入768，输出30522)。所有权重的计数将是BertModel + 768 * 768 + 768 * 30522的权重，但当我检查数字时不匹配。
from transformers import BertModel, BertForMaskedLM
import torch
bertmodel = BertModel.from_pretrained('bert-base-uncased')
ber
浏览 8提问于2021-12-08得票数 1
回答已采纳
1回答
我正在尝试访问来自预训练的"DistilBERT“模型的几个不同层的输出嵌入。("distilbert-base-uncased") bert_output = model(input_ids, attention_mask=attention_mask) bert_output似乎只返回输入标记的最后一层的嵌入值。
浏览 26提问于2020-03-21得票数 0
回答已采纳
1回答
我有一个DataFrame，它看起来像这样：
>> pd.DataFrame([["Anne", True, 1, "A"],["Bert", True, None, "B"],["Conan", False, 0, None],["Bert", None, None, None],["Conan", None, None, "C"],["Bert",None,2,None]], columns = ["Name",
浏览 1提问于2020-05-28得票数 1
回答已采纳
我目前正在做以下tf教程：
测试tokenize函数在不同句子上的输出，我想知道对未知词进行tokenize时会发生什么。
加载模型：
bert_model_name = 'bert_en_uncased_L-12_H-768_A-12'
tfhub_handle_encoder = 'https://tfhub.dev/tensorflow/bert_en_uncased_L-12_H-768_A-12/3'
tfhub_handle_preprocess = 'https://tfhub.dev/tensorflow/bert_en_uncased
浏览 8提问于2021-03-10得票数 0
回答已采纳
2回答
我用小队2.0训练了BERT，并使用BERT-master/run_squad.py在输出目录中获得了model.ckpt.data、model.ckpt.meta、model.ckpt.index (F1分数: 81)以及predictions.json等 python run_squad.py \
--vocab_file=$BERT_LARGE_DIR/vocab.txt \
--bert_config_file=$BERT_LARGE_DIR/bert_config.json \
--init_checkpoint=$BERT_LARGE_DIR/bert_model.c
浏览 80提问于2019-06-28得票数 5
回答已采纳
从我原来在Stackoverflow中的文章中的交叉帖子：https://stackoverflow.com/questions/69595863/machine-translation-transformer-output-unknown-tokens
根据反馈，我现在更新了使用WordPiece的方法，该方法来自Huggingface的预先培训的BERT令牌器。然而，在翻译时，我仍然会遇到“灌篮”标记。我很好奇为什么还会发生这种事？我以为WordPiece会在不输出任何“灌篮”标记的情况下尝试解码。
这就是我如何标记我的数据，我使用德语到英语翻译任务。
from transformers
浏览 0提问于2021-11-02得票数 1
回答已采纳
例如，我确实有一个代码，如下所示
res = get_prediction_eos(input_text)
print("res is : ", res)
answer = []
print("res ", res['bert'].split("\n"))
for i in res['bert'].split("\n"):
answer.append(i)
answer_as_string = " ".join(answer)
print("answe
浏览 5提问于2022-01-13得票数 -2
回答已采纳
在将模型预测发送到模型中时，我在PyTorch中得到了以下错误输出。有人知道这是怎么回事吗？
下面是我创建的体系结构模型，在错误输出中，它显示问题存在于x= self.fc1(cls_hs)行中。
class BERT_Arch(nn.Module):
def __init__(self, bert):
super(BERT_Arch, self).__init__()
self.bert = bert
# dropout layer
self.dropout = nn.Dropout(0.1)
浏览 0提问于2020-12-01得票数 5
我希望使用bert进行标记化，并为seq2seq模型建立索引，到目前为止，我的配置文件是这样的：
{
"dataset_reader": {
"type": "seq2seq",
"end_symbol": "[SEP]",
"quoting": 3,
"source_token_indexers": {
"tokens": {
"type": "pretrained_tr
浏览 0提问于2021-04-28得票数 0
回答已采纳
2回答
我在Tensorflow中使用BERT，有一个细节我不太理解。根据文档(https://tfhub.dev/google/bert_uncased_L-12_H-768_A-12/1)，池化输出是整个序列的输出。根据原始论文，这似乎是setence开头的标记"CLS“的输出。 pooled_output[0] 但是，当我查看与句子中的第一个标记相对应的输出时 setence_output[0,0,:] 我认为它对应于令牌"CLS“(句子中的第一个令牌)，两个结果是不同的。
浏览 200提问于2020-04-21得票数 6
我想使用bert的hidden_states作为下一层的输入，并使用keras.Model构建它。但是bert只返回最后一层和池的输出。 下面是我尝试过的代码： def _def_input():
input_ids = Input(batch_shape=(None, 256), name='input_ids', dtype='int32')
input_type_ids = Input(batch_shape=(None, 256), name='input_type_ids', dtype='int32'
浏览 20提问于2020-07-27得票数 1
我已经创建了一个接受形状输入的模型(无，512)。下面是我的模型的总结
训练特征形状
train_ids.shape
(10, 512)
训练响应变量的形状
indus_cat_train.shape
(10, 49)
我的模型运行完美，如果我使用
history = model.fit(
train_ids, indus_cat_train, epochs=2, validation_data=(
valid_ids, indus_cat_valid))
然而，我的实际数据集非常大，同时为完成的数据集提供大量内存并关闭所有进程。
我想分批或一个一个地提供所有
浏览 2提问于2020-07-13得票数 1
4回答
如何在本地使用tf-hub模型
、、、、
我一直在尝试使用tf-hub https://tfhub.dev/tensorflow/bert_en_uncased_L-12_H-768_A-12/2的BERT模型。 import tensorflow_hub as hub
bert_layer = hub.keras_layer('./bert_en_uncased_L-12_H-768_A-12_2', trainable=True) 但问题是，它每次运行后都会下载数据。 所以我从tf-hub https://tfhub.dev/tensorflow/bert_en_uncased_L-12_H-768_A-12/2
浏览 172提问于2020-07-01得票数 1
我正在尝试安装keras-bert，如这里所解释的：。本教程展示了如何使用R使用Keras加载和训练BERT模型。
但是，当我在Anaconda提示符(Windows)中运行：
conda install keras-bert
我得到以下错误：
Collecting package metadata (current_repodata.json): done
Solving environment: failed with initial frozen solve. Retrying with flexible solve.
Collecting package metadata (repod
浏览 7提问于2020-06-23得票数 1
回答已采纳
我是AI和NLP的新手。我想看看伯特是怎么工作的。我使用BERT预训练模型：https://github.com/google-research/bert 我运行了extract_features.py示例，如在readme.md中提取功能段落中所述。我得到了矢量，作为输出。 伙计们，如何转换结果，我在extract_features.py中得到了，以获得下一个标签/不是下一个标签？ 我想运行bert来检查两个句子是否相关，并查看结果。 谢谢!
浏览 21提问于2019-01-19得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
