transformers库中BertModel中的hidden_states元组的内容是如何排列的
BertModel中的hidden_states元组是按照层级进行排列的。
在transformers库的BertModel中，hidden_states是一个由元组组成的列表，每个元组都代表Bert模型的一个层级输出。元组中的每个元素都是一个大小为(batch_size, sequence_length, hidden_size)的张量，表示对应层级的隐藏状态。
具体来说，BertModel中的hidden_states元组的内容如下：
- hidden_states[0]是输入的embeddings张量，大小为(batch_size, sequence_length, hidden_size)。
- hidden_states[1]是第一个Transformer Block的输出，即第一个自注意力层和前馈神经网络层之后的隐藏状态张量，大小也为(batch_size, sequence_length, hidden_size)。
- hidden_states[2]是第二个Transformer Block的输出，以此类推，直到最后一个Transformer Block的输出，总共有12个元素，分别代表12个层级的隐藏状态。
这些隐藏状态可以用于各种任务，如文本分类、序列标注和问答等。由于Bert模型是一个预训练模型，通过在大规模文本数据上进行训练，它能够捕捉到丰富的语义和上下文信息，因此在很多自然语言处理任务中都可以发挥作用。
腾讯云提供了与Bert模型相关的产品和服务，例如：
- 语音智能（https://cloud.tencent.com/product/asr）：基于Bert模型的语音识别服务，可将语音转换为文字。
- 智能闲聊（https://cloud.tencent.com/product/nlpchat）：基于Bert模型的对话系统，可以实现智能问答和闲聊功能。
- 文本智能（https://cloud.tencent.com/product/nlp）：提供了多种自然语言处理功能，包括文本分类、情感分析、关键词提取等。
以上链接是腾讯云对应产品的介绍页面，你可以点击链接了解更多详情。
相关·内容
我正在遵循this教程，该教程使用BERT和huggingface库编写了一个情感分析分类器，并且我有一个非常奇怪的行为。在使用示例文本尝试BERT模型时，我得到了一个字符串，而不是隐藏状态。这是我使用的代码： import transformers
from transformers import BertModel, BertTokenizer
print(transformers.__version__)
PRE_TRAINED_MODEL_NAME = 'bert-base-cased'
PATH_OF_CACHE = "/home/mwon/data-m
浏览 133提问于2020-12-04得票数 9
回答已采纳
model = BertModel.from_pretrained('bert-base-uncased', config=BertConfig.from_pretrained('bert-base-uncased',output_hidden_states=True))
outputs = model(input_ids)
hidden_states = outputs[2] hidden_states是13个torch.FloatTensors的元组。每个张量的大小为：(batch_size, sequence_length, hidden_size)。
浏览 844提问于2020-04-15得票数 1
我使用的是pytorch，这是huggingface transformers link的模型 from transformers import BertTokenizerFast, BertForSequenceClassification
bert = BertForSequenceClassification.from_pretrained("bert-base-uncased",
num_labels=int(data['class'].nuniq
浏览 282提问于2020-12-09得票数 3
1回答
我已经微调了一个伯特模型，并测试了我的输出来自不同的层。我用我自己的自定义脚本(参见下面的代码)测试了这一点，我得到的输出是BaseModelOutputWithPoolingAndCrossAttentions类。如何将这个输出，特别是张量值从last_hidden_state转换为json？
inference.py
from transformers import BertModel, BertConfig
def model_fn():
config = BertConfig.from_pretrained("xxx", output_hidden_state
浏览 7提问于2022-09-23得票数 -1
1回答
我在导入AttributeError: 'BertTokenizer' object has no attribute 'encode作为BertTokenizer时获得了BertTokenizer
from pytorch_pretrained_bert import BertTokenizer, BertModel
当我改变到
from transformers import BertTokenizer, BertModel
这个错误已经解决了，但另一个错误是在使用squeeze(0)时出现的
bert_embedding = encoded_layers[11].
浏览 41提问于2022-01-28得票数 0
根据这里提供的文档，我如何读取所有的输出，last_hidden_state ()，pooler_output和hidden_state。在下面的示例代码中，我得到了输出
from transformers import BertModel, BertConfig
config = BertConfig.from_pretrained("xxx", output_hidden_states=True)
model = BertModel.from_pretrained("xxx", config=config)
outputs = model(inputs)
浏览 16提问于2022-09-08得票数 1
回答已采纳
这是变压器电筒库文档中给出的示例。
from transformers import BertTokenizer, BertForTokenClassification
import torch
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForTokenClassification.from_pretrained('bert-base-uncased',
output_hidden_states=True,
浏览 4提问于2020-03-25得票数 1
回答已采纳
我正在尝试提取BERT嵌入并使用tensorflow而不是py手电筒来再现这段代码。我知道tf.stop_gradient()相当于torch.no_grad()，但是model.eval() /两者的组合又如何呢？
# Put the model in "evaluation" mode, meaning feed-forward operation.
model.eval()
# Run the text through BERT, and collect all of the hidden states produced
# from all 12 layers.
w
浏览 12提问于2022-06-22得票数 1
我正在尝试从transformers库导入BertTokenizer，如下所示：
import transformers
from transformers import BertTokenizer
from transformers.modeling_bert import BertModel, BertForMaskedLM
但是，我得到以下错误：
我使用的是transformers版本3.5.1，因为我在更新版本时遇到了问题，可以在上找到。
有人知道怎么解决这个问题吗？除了将transformers库更新到其最新版本之外(不幸的是，这将导致更多错误)。
如有任何帮助，
浏览 0提问于2021-03-27得票数 2
3回答
我试图从变压器中导入BertModel，但是它失败了。这是我正在使用的代码
from transformers import BertModel, BertForMaskedLM
这就是我所犯的错误
ImportError: cannot import name 'BertModel' from 'transformers'
有人能帮我解决这个问题吗？
浏览 9提问于2020-06-15得票数 1
回答已采纳
我很难将代码从pytorch_pretrained_bert迁移到pytorch_transformers。我试着做一个余弦相似练习。我想提取12个隐藏层中第二个到最后一个的文本嵌入值。
import torch
from pytorch_pretrained_bert import BertTokenizer, BertModel
#from pytorch_transofmers import BertTokenizer, BertModel
import pandas as pd
import numpy as np
model = BertModel.from_pretrained(
浏览 3提问于2020-02-21得票数 0
回答已采纳
我编写了下面的代码来在我的数据集上训练bert模型，但是当我执行它时，我在实现tqdm的部分会出现一个错误。我已经写了完整的训练代码和错误的全部描述。怎么解决这个问题？
代码
模型
TRANSFORMERS = {
"bert-multi-cased": (BertModel, BertTokenizer, "bert-base-uncased"),
}
class Transformer(nn.Module):
def __init__(self, model, num_classes=1):
"""
浏览 5提问于2021-05-12得票数 0
回答已采纳
2回答
使用字词的相似性
、、、
我希望在NER任务中使用BERT模型来寻找单词的相似性。我有自己的数据集，所以我不想使用预先训练过的模型。我所做的工作如下：
from transformers import BertModel
hidden_reps, cls_head = BertModel(token_ids , attention_mask = attn_mask , token_type_ids = seg_ids)
哪里
token_ids with Shape : [1, 4, 47]
attn_mask with Shape : [1, 4, 47]
seg_ids with Shape : [1, 4, 47
浏览 0提问于2019-11-15得票数 3
1回答
BERT域自适应
、、、、
我正在使用transformers.BertForMaskedLM对我的自定义数据集上的伯特模型进行进一步的预训练.首先，通过用空格分隔单词，将所有文本序列化为.txt文件。然后，我使用transformers.TextDataset加载序列化数据，其中包含一个作为tokenizer参数的BERT令牌程序。然后，我使用BertForMaskedLM.from_pretrained()加载经过预先训练的模型(这是transformers库提供的)。然后，我使用transformers.Trainer在我的自定义数据集上对模型进行了进一步的预处理，即域适配，为期三个时期。我用trainer.sav
浏览 4提问于2021-12-02得票数 1
回答已采纳
1回答
我正在尝试使用bert-大-未为长序列结束，但它是错误的：
代码：
from transformers import BertTokenizer, BertModel
tokenizer = BertTokenizer.from_pretrained('bert-large-uncased')
model = BertModel.from_pretrained("bert-large-uncased")
text = "Replace me by any text you'd like."*1024
encoded_input = to
浏览 30提问于2022-08-06得票数 0
我想了解BertForMaskedLM模型，在huggingface代码中，BertForMaskedLM是一个bert模型，它的形状有两个线性层(输入768，输出768)和(输入768，输出30522)。所有权重的计数将是BertModel + 768 * 768 + 768 * 30522的权重，但当我检查数字时不匹配。
from transformers import BertModel, BertForMaskedLM
import torch
bertmodel = BertModel.from_pretrained('bert-base-uncased')
ber
浏览 8提问于2021-12-08得票数 1
回答已采纳
1回答
我需要使用BERT得到单词向量，得到这个函数，我认为它应该是我需要的。
def get_bert_embed_matrix(sentences):
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
model_config = transformers.AutoConfig.from_pretrained('bert-base-uncased', output_hidden_states=True)
model = transfo
浏览 0提问于2022-01-14得票数 1
device = torch.device("cuda:0")
model = BertModel.from_pretrained("bert-base-uncased", output_hidden_states = True)
model.to(device)
train_hidden_states = []
model.eval()
for batch in train_dataloader:
b_input_ids = batch[0].to(device)
b_input_mask = batch[1].to(device)
浏览 3提问于2022-01-18得票数 0
回答已采纳
我的env是由pycharm创建的，它有以下包: tensorflow==1.13.0rc1，CUDA = 11和相应的cudn.but从1到269行运行https://github.com/keras-team/keras-io/blob/master/examples/nlp/semantic_similarity_with_bert.py，https://github.com/keras-team/keras-io/blob/master/examples/nlp/semantic_similarity_with_bert.py(f“策略：{策略}”) model.summary()执
浏览 171提问于2021-08-26得票数 0
回答已采纳
在通过Anaconda下载pytorch_transformers并通过朱庇特笔记本执行导入命令之后，我面临着与缺少模块相关的几个错误。
我尝试通过Anaconda搜索sacremoses来导入包，但它只适用于Linux机器。还有其他人面临过类似的问题吗？提前感谢！
from pytorch_transformers import BertTokenizer, BertModel, BertForMaskedLM
这是一个错误：
<ipython-input-5-218d0858d00f> in <module>
----> 1 from pytorch_tra
浏览 12提问于2019-09-19得票数 4
我得到"RuntimeError:输入、输出和索引必须在当前设备上“。当我运行这条线时。Fill_mask(“汽车。”)
我在Colab上运行它。我的代码：
from transformers import BertTokenizer, BertForMaskedLM
from pathlib import Path
from tokenizers import ByteLevelBPETokenizer
from transformers import BertTokenizer, BertForMaskedLM
paths = [str(x) for x in Path(
浏览 21提问于2021-05-12得票数 0
回答已采纳
我正在遵循这一链接：
我想使用BERT模型提取句子嵌入，使用CLS令牌。以下是代码：
import torch
from keras.preprocessing.sequence import pad_sequences
import tensorflow as tf
def text_to_embedding(tokenizer, model, in_text):
'''
Uses the provided BERT 'model' and 'tokenizer' to generate a vector
r
浏览 0提问于2021-07-31得票数 0
1回答
无法导入所有包的BERT模型
、、、、
我试着用BERT来学习NLP。同时试图在colab中导入bert模型和令牌程序。我正面临以下错误。
ImportError: cannot import name '_LazyModule' from 'transformers.file_utils' (/usr/local/lib/python3.7/dist-packages/transformers/file_utils.py)
这是我的密码
!pip install transformers==4.11.3
from transformers import BertModel, BertTokenize
浏览 5提问于2022-08-15得票数 0
2回答
BERT获得语句嵌入
、、、、
我正在从复制代码。我已经下载了BERT模型到我的本地系统，并得到了句子嵌入。
我有大约50万个句子，我需要嵌入句子，这需要很长的时间。
有没有办法加快这一进程？
发送一批句子而不是一次一句对你有帮助吗？
。
#!pip install transformers
import torch
import transformers
from transformers import BertTokenizer, BertModel
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model =
浏览 9提问于2021-10-10得票数 4
回答已采纳
当我运行这一行时，我得到了这个错误"PipelineException: mask_token (掩码)在输入中没有“。Fill_mask(“汽车”)
我正在科拉布上运行。我的守则：
from transformers import BertTokenizer, BertForMaskedLM
from pathlib import Path
from tokenizers import ByteLevelBPETokenizer
from transformers import BertTokenizer, BertForMaskedLM
paths = [str(x) for
浏览 4提问于2021-05-12得票数 3
回答已采纳
运行来自这个答案的代码，我的伯特正在用尽我的4k单词字典。我还不需要对这些词做任何事情，只需对我的数据进行嵌入。因此，准确地使用这个：
from transformers import BertModel, BertTokenizer
model = BertModel.from_pretrained('bert-base-uncased')
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
encoded_inputs = tokenizer(labels, padding = T
浏览 0提问于2021-04-17得票数 1
我正在使用bert-base-uncased在PyTorch中创建一个实体提取模型，但是当我尝试运行该模型时，我得到了这个错误：
错误：
Some weights of the model checkpoint at D:\Transformers\bert-entity-extraction\input\bert-base-uncased_L-12_H-768_A-12 were not used when initializing BertModel:
['cls.predictions.transform.dense.bias', 'cls.predict
浏览 2107提问于2021-05-15得票数 4
我跟踪了基于伯特的词汇替代(特别是试图实现等式(2) -如果有人已经实现了整个论文，那将是伟大的) 。因此，我想获得最后两个隐藏层(唯一不确定的是输出中层的顺序:最后一层还是第一层？)和一个基本的伯特模型的注意(伯特-基-未)。
然而，我有点不确定的是否真的输出注意力(我是使用火炬，但开放使用TF代替)的伯特基地？
从，我被期望得到一个元组(logits，hidden_states，关注点)，但是下面的例子(例如在Google中运行)，我得到长度为2。
我是误解了我得到了什么，还是做错了这件事？我做了明显的测试，使用了output_attention=False而不是output_attent
浏览 2提问于2020-02-07得票数 6
回答已采纳
1回答
它没有在Colab中运行
、、、、
我试图在Colab内部使用BERT文本摘要器，但我得到了以下错误
from summarizer import Summarizer
我得到的错误如下，
---------------------------------------------------------------------------
ImportError Traceback (most recent call last)
<ipython-input-12-ebcc505c0b7d> in <module>()
---->
浏览 17提问于2021-12-25得票数 1
1回答
我尝试从github导入Python包。我在Google Colab工作。
存储库位于下面的url 上。
所以我使用以下代码
!pip install --upgrade
!pip install -q git+git://github.com/microsoft/nlp-recipes/tree/master/utils_nlp
from utils_nlp import *
我也试过了
!pip install -q git+https://github.com/microsoft/nlp-recipes/tree/master/utils_nlp
我看到了其他以.git结尾的url示例
浏览 17提问于2022-01-10得票数 0
回答已采纳
我在colab上运行下面的代码，代码取自这里的示例：https://huggingface.co/transformers/model_doc/albert.html#albertformaskedlm import os
import torch
import torch_xla
import torch_xla.core.xla_model as xm
assert os.environ['COLAB_TPU_ADDR']
dev = xm.xla_device()
from transformers import AlbertTokenizer, AlbertFo
浏览 27提问于2020-04-11得票数 1
回答已采纳
我搞不懂应该用哪一种隐藏状态作为调整后的Roberta变压器模型的输出。
from transformers import AutoConfig, AutoModelForMaskedLM, AutoTokenizer
config = AutoConfig.from_pretrained("roberta-base")
config.output_hidden_states = True
tok = AutoTokenizer.from_pretrained("roberta-base")
model = AutoModelForMaskedLM.from_
浏览 3提问于2020-08-09得票数 2
1回答
我目前正试图在Google中运行我的代码，为此我需要PyTorch。这是我得到的反馈。
> ValueError Traceback (most recent call last)
<ipython-input-26-3d0da87b83cc> in <module>()
13 #from sentence_transformers import SentenceTransformer
14 get_ipython().system('pip install torch
浏览 17提问于2022-03-06得票数 0
回答已采纳
我想微调一个预先训练的变压器模型的问题回答。该模型是预先培训的大型工程和科学相关的语料库。
我得到了一个包含模型权重的"checkpoint.pt“文件。他们还为我提供了一个"bert_config.json“文件，但我不确定这是否是正确的配置文件。
from transformers import AutoModel, AutoTokenizer, AutoConfig
MODEL_PATH = "./checkpoint.pt"
config = AutoConfig.from_pretrained("./bert_config.json"
浏览 4提问于2021-08-12得票数 0
回答已采纳
我对如何使用huggingface transformers输出来训练一个简单的语言二进制分类器模型感到有点困惑，该模型可以预测阿尔伯特·爱因斯坦是否说过一句话。
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
model = AutoModel.from_pretrained("bert-base-uncased")
inputs = ["Hello World",
浏览 29提问于2021-08-26得票数 1
1回答
您好，我希望使用BERT模型为一个单词生成相似的单词，这与我们在gensim中使用的生成most_similar单词的方法相同，我发现该方法如下： from transformers import BertTokenizer, BertModel
import torch
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')
word = "Hello"
浏览 66提问于2021-10-31得票数 1
我已经成功地使用的BertForSequenceClassification构建了一个情感分析工具，可以将$tsla推文分类为正面或负面。
然而，我不知道如何从我的微调模型中获得每个tweet的特征向量(更具体地说，是嵌入[CLS])。
有关所用型号的更多信息：
model = BertForSequenceClassification.from_pretrained(OUTPUT_DIR, num_labels=num_labels)
model.config.output_hidden_states = True
tokenizer = BertTokenizer(OUTPUT_DIR+&
浏览 0提问于2020-02-05得票数 0
我有我的encode函数，如下所示： from transformers import BertTokenizer, BertModel
MODEL = 'bert-base-multilingual-uncased'
tokenizer = BertTokenizer.from_pretrained(MODEL)
def encode(texts, tokenizer=tokenizer, maxlen=10):
# import pdb; pdb.set_trace()
inputs = tokenizer.encode_plus(
t
浏览 342提问于2020-05-02得票数 4
我对使用huggingface模型以及如何使它们在固定形状下产生预测而感到困惑，而不管输入大小(即输入字符串长度)。
我试图用参数padding=True, truncation=True, max_length = 15调用令牌程序，但是inputs = ["a", "a"*20, "a"*100, "abcede"*20000]的预测输出维数并不固定。我在这里错过了什么？
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.f
浏览 10提问于2021-09-03得票数 1
回答已采纳
我制作了一个BERT模型，使用拥抱面部变压器库，并在GPU中在云中进行训练。然后保存模型和令牌程序，如下所示：
model.save_pretrained('/saved_model/')
torch.save(best_model.state_dict(), '/saved_model/model')
tokenizer.save_pretrained('/saved_model/')
我在我的计算机中下载saved_model目录。然后，在我的计算机中加载模型/令牌器，如下所示
import torch
from transformers i
浏览 5提问于2019-10-18得票数 1
我正在创建训练神经网络模型的代码，并希望使其通用，这样我就可以更改模型名称并为每个模型运行代码。我可以在Python中的import语句和函数调用中使用变量吗？
from transformers import BertModel, BertTokenizer, BertConfig
config=BertConfig.from_pretrained(arch)
在这些行中，我希望有一个变量名，而不是我可以更改Bert (Bert <--> CTRL <-->任何其他模型)
浏览 0提问于2020-08-22得票数 0
我正在使用python框架(PyTorch)应用传输学习。当在Google中加载一个PyTorch预训练模型时，我得到了以下错误。在将代码1更改为代码2之后，我得到了相同的错误。
CODE 1: BertModel.from_pretrained
CODE 2: TFBertModel.from_pretrained
Error: AttributeError: module 'transformers' has no attribute 'TFBertModel'
我试图搜索互联网，但没有找到任何有用的内容。
浏览 0提问于2020-03-08得票数 1
我想问一下如何改变经过训练的模型的嵌入大小。
我有一个训练有素的模特models/BERT-pretrain-1-step-5000.pkl。现在，我将向令牌添加一个新的令牌[TRA]，并尝试将resize_token_embeddings使用到已接收的令牌。
from pytorch_pretrained_bert_inset import BertModel #BertTokenizer
from transformers import AutoTokenizer
from torch.nn.utils.rnn import pad_sequence
import tqdm
token
浏览 52提问于2022-06-27得票数 2
回答已采纳
1回答
我是DataScience的新手，并试图为我的问题之一实现伯特嵌入。但我在这里有一个疑问。我试着把下面的一句话嵌入伯特--“闪烁的小星星”。BERT令牌程序生成以下令牌- “##克尔”##克尔“、”小“、”星星“
但最终嵌入的张量是1,8,1024的维数。
为什么令牌的数目是8而不是6？对于任何文本，我观察到，在最后嵌入的标记数量正在增加2。有人能帮助我理解这一点吗？
我在这里给你代码片段-
from transformers import BertTokenizer, BertForSequenceClassification, BertModel
PRE_TRAINED_MODEL_PA
浏览 0提问于2021-01-08得票数 0
回答已采纳
(我正在学习关于BERT word嵌入的 author教程，在本教程中，作者访问了BERT模型的中间层。)
我想要的是使用HuggingFace的Transformers库访问TensorFlow2中BERT模型的单个输入令牌的最后4层。因为每个层输出一个长度为768的向量，所以最后4个层的形状为4*768=3072 (对于每个令牌)。
如何在TF/keras/TF2中实现这一点，以获得输入令牌的预训练模型的中间层？(稍后，我将尝试为句子中的每个令牌获取令牌，但现在一个令牌就足够了)。
我正在使用HuggingFace的BERT模型：
!pip install transformers
fro
浏览 8提问于2020-04-27得票数 7
回答已采纳
1回答
我想微调使用班组数据集回答问题的LabSE。我得到了一个错误：ValueError: The model did not return a loss from the inputs, only the following keys: last_hidden_state,pooler_output. For reference, the inputs it received are input_ids,token_type_ids,attention_mask.
我正试着用比目鱼来微调模型。我尝试使用较小的批处理大小，并且只使用了10%的训练数据集，因为我在内存分配方面有问题。如果内存分配问题消
浏览 103提问于2022-08-09得票数 1
我正在尝试使用Huggingface的预训练SciBERT模型(https://huggingface.co/allenai/scibert_scivocab_uncased)来预测科学/生物医学文本中的掩蔽词。这会产生错误，并且不确定如何从这一点继续前进。 这是目前为止的代码- !pip install transformers
from transformers import pipeline, AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("allenai/scibert_scivo
浏览 41提问于2021-06-07得票数 0
回答已采纳
我已经从下载了挪威的伯特模型，并使用以下方式加载了它：
import transformers as t
model_class = t.BertModel
tokenizer_class = t.BertTokenizer
tokenizer = tokenizer_class.from_pretrained(/PATH/TO/MODEL/FOLDER)
model = model_class.from_pretrained(/PATH/TO/MODEL)
model.eval()
但是，当我试图标记一个给定的句子时，一些北欧字符(如“夫人”和“”)保持不变，而所有带有char“”的单词
浏览 3提问于2020-07-29得票数 0
回答已采纳
我正在创建一个类，它可以使用预先训练好的BertModel为单个句子和一组句子生成句子嵌入。从示例代码中，我可以看到下面的语句 outputs = self.model(tokens_tensor, segments_tensors) 它没有attention_mask参数。但是，如果我输入注意掩码张量参数，它会产生相同的结果 outputs = self.model(tokens_tensor, attention_tensors, segments_tensors) 当运行整个数据集的代码时，attention_tensors是绝对必要的。 我理解为什么单个句子不需要注意掩码的原因，但是
浏览 91提问于2020-10-12得票数 0
3回答
我正在使用HuggingFace Transformers包访问预先训练好的模型。因为我的用例需要英语和阿拉伯语的功能，所以我使用预训练模型。我需要能够使用诸如余弦相似性之类的东西来比较句子的相似性。要使用它，我首先需要获得每个句子的嵌入向量，然后才能计算余弦相似度。
首先，从BERT模型中提取语义嵌入的最佳方法是什么？在输入句子后获取模型的最后一个隐藏状态是否足够？
import torch
from transformers import BertModel, BertTokenizer
model_class = BertModel
tokenizer_class = BertToke
浏览 2提问于2020-03-03得票数 21
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
