开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

BertTokenizer -当编码和解码序列时，会出现额外的空格

基础概念

BertTokenizer 是 Hugging Face 的 Transformers 库中的一个类，用于对文本进行分词和编码。它基于 BERT（Bidirectional Encoder Representations from Transformers）模型，BERT 是一种预训练的语言表示模型，广泛应用于自然语言处理任务。

问题描述

在使用 BertTokenizer 进行编码和解码序列时，可能会出现额外的空格问题。这通常是由于分词过程中的一些特殊处理导致的。

原因分析

分词过程中的空格处理：BertTokenizer 在分词时会将文本分割成多个子词（subwords），这些子词之间会有空格分隔。如果原始文本中存在多余的空格，这些空格也会被保留。
特殊标记：BERT 模型在输入时需要添加一些特殊的标记，如 [CLS] 和 [SEP]，这些标记也会引入额外的空格。

解决方法

1. 去除多余的空格

在分词之前，可以先去除原始文本中的多余空格。

from transformers import BertTokenizer

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

text = "  This is a sample text.  "
cleaned_text = ' '.join(text.split())
encoded_input = tokenizer(cleaned_text, return_tensors='pt')
decoded_output = tokenizer.decode(encoded_input['input_ids'][0], skip_special_tokens=True)

print(decoded_output)

2. 使用 `strip()` 方法

在分词之前，可以使用 strip() 方法去除文本两端的空格。

text = "  This is a sample text.  "
cleaned_text = text.strip()
encoded_input = tokenizer(cleaned_text, return_tensors='pt')
decoded_output = tokenizer.decode(encoded_input['input_ids'][0], skip_special_tokens=True)

print(decoded_output)

3. 自定义分词逻辑

如果需要更复杂的分词逻辑，可以自定义分词函数。

def custom_tokenize(text):
    return ' '.join(text.split())

text = "  This is a sample text.  "
cleaned_text = custom_tokenize(text)
encoded_input = tokenizer(cleaned_text, return_tensors='pt')
decoded_output = tokenizer.decode(encoded_input['input_ids'][0], skip_special_tokens=True)

print(decoded_output)

应用场景

BertTokenizer 广泛应用于各种自然语言处理任务，如文本分类、命名实体识别、问答系统等。在这些任务中，准确的文本分词和编码是至关重要的。

参考链接

通过上述方法，可以有效解决 BertTokenizer 在编码和解码序列时出现的额外空格问题。

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

transformer快速入门

特别是调用它们时它们期望的输入和输出。...在我们的例子中，第一个元素是Bert模型最后一层的隐藏状态 encoded_layers = outputs[0] # 我们已将输入序列编码为形状（批量大小、序列长度、模型隐藏维度）的FloatTensor...使用过去的GPT-2 以及其他一些模型（GPT、XLNet、Transfo XL、CTRL），使用past或mems属性，这些属性可用于防止在使用顺序解码时重新计算键/值对。...它在生成序列时很有用，因为注意力机制的很大一部分得益于以前的计算。...Model2Model示例编码器-解码器架构需要两个标记化输入：一个用于编码器，另一个用于解码器。假设我们想使用Model2Model进行生成性问答，从标记将输入模型的问答开始。

1.1K1 0

掌握 BERT：自然语言处理 (NLP) 从初级到高级的综合指南（2）

当您探索这些先进技术时，您就正在掌握 BERT 的适应性和潜力。最新发展和变体随着自然语言处理 (NLP) 领域的发展，BERT 也在不断发展。...该模型通过预测输入文本中最相关的部分来生成摘要。当您探索 BERT 在序列到序列任务中的功能时，您会发现它对超出其原始设计的各种应用程序的适应性。...随着 BERT 对上下文和对话的理解不断提高，未来会出现更加逼真的交互。 NLP 的未来充满创新和可能性。...当您尝试 Hugging Face Transformers 库时，您会发现它是在项目中实现 BERT 和其他基于 Transformer 的模型的宝贵工具。享受将理论转化为实际应用的旅程！...当您继续学习之旅时，愿您的好奇心引领您揭开更大的谜团，并为人工智能和自然语言处理的变革做出贡献。完！

3372 0

NLP BERT GPT等模型中 tokenizer 类别说明详解

顺便说一下，Tokenizers库中，基于规则切分部分，采用了spaCy和Moses两个库。如果基于词来做词汇表，由于长尾现象的存在，这个词汇表可能会超大。...pretokenizer可以是简单基于空格的，也可以是基于规则的；分词之后，统计每个词出现的频次供后续计算使用。...比如，我们计算出ug/un/hug三种组合出现频次分别为20，16和15，加入到词汇表中。...一般地，它把空格space也当作一种特殊字符来处理，再用BPE或者Unigram算法来构造词汇表。比如，XLNetTokenizer就采用了_来代替空格，解码的时候会再用空格替换回来。...其中， BertTokenizer中，用##符号表示非开头的子词，比如第1句中的problems被拆分成了三部分，pro/##ble/##ms；标点符号、生僻字等未出现的token被[UNK]代替中文基本拆分成了字的形式

17.9K11 6

深度学习的前沿主题：GANs、自监督学习和Transformer模型

自编码器通过最小化输入和重构输出之间的差异来学习数据的表示，无需使用显式的标签。训练完成后，我们可以使用编码器提取图像的特征，并使用解码器重构图像。 4....与传统的循环神经网络（RNN）和卷积神经网络（CNN）不同，Transformer模型依赖于自注意力机制来捕捉输入序列中的长距离依赖关系，并使用位置编码来处理序列信息。...由于其高效的并行计算能力，Transformer在处理长文本和大规模数据时具有明显的优势。 Transformer模型的核心组件包括多头自注意力机制、前馈神经网络和位置编码。...多头自注意力机制能够同时关注输入序列的不同部分，前馈神经网络用于对每个位置的表示进行变换和增强，位置编码则为每个输入位置提供唯一的位置信息。...GANs通过生成器和判别器的对抗训练，实现了高质量的数据生成；自监督学习利用数据本身的内在结构，无需大量标注数据，即可学习有效的特征；而Transformer模型则通过自注意力机制和并行计算，在处理长序列数据时表现出色

1561 0

【AI大模型】Transformers大模型库（一）：Tokenizer

这些tokens是模型理解文本的基础。Tokenizer的类型和复杂性可以根据任务需求而变化，从简单的基于空格的分割到更复杂的基于规则或机器学习的分词方法。 2.2 主要功能 1....**添加特殊标记**：在序列的开始和结束添加特殊标记，如BERT中的[CLS]和[SEP]，用于特定任务的序列分类或区分输入片段。 3....**处理填充和截断**：为了确保输入序列的一致长度，Tokenizer可以对较短的序列进行填充，对较长的序列进行截断。 5....来处理文本，生成包括token input_ids、token_type_ids和attention mask在内的编码数据，这些数据可以直接用于BERT模型的输入。...三、总结本文对使用transformers的BertTokenizer进行尝试，主要功能是将字、词转换为可以运算的数字ID编码，供后面的model层使用。

4641 0

学界 | 谷歌输入法背后的机器智能：思你所思，想你所想！

词典告诉我们语言中出现了什么词汇，而概率语法告诉我们什么话可能接在其他的话后面。为了对这些信息进行编码，使用有限状态换能器。...它编码从按键序列到字的映射，允许替代键序列和可选空格。 ? 该转换器沿着从起始状态（粗体1）到最终状态（两圈状态0和1）的路径编码“I”，“I’ve”，“If”。...每个弧用一个输入按键（“：”之前）和一个对应的输出字符（“：”之后）标记，其中ε编码空符号。 “I’ve”中的撇号可以省略。用户有时会跳过空格键。...当人们说话的时候，并不需要解码器来完善你所说的话，或者猜测你会在后面说些什么来省下几个音节；但是当你输入时，你会感受到词语完成和预测的帮助。此外，该团队希望键盘可以提供无缝多语言支持，如下所示。...FST解码器的本质性质将支持完成所有的工作，预测，滑动打字和许多UI功能，无需额外的工作，从而使 Gboard能够从一开始就向印度用户提供丰富的体验，一个更智能的键盘。

1.1K7 0

谷歌输入法背后的机器智能

词典告诉我们语言中出现了什么词汇，而概率语法告诉我们什么话可能接在其他的话后面。为了对这些信息进行编码，使用有限状态换能器。...它编码从按键序列到字的映射，允许替代键序列和可选空格。 ? 该转换器沿着从起始状态（粗体1）到最终状态（两圈状态0和1）的路径编码“I”，“I’ve”，“If”。...每个弧用一个输入按键（“：”之前）和一个对应的输出字符（“：”之后）标记，其中ε编码空符号。 “I’ve”中的撇号可以省略。用户有时会跳过空格键。...当人们说话的时候，并不需要解码器来完善你所说的话，或者猜测你会在后面说些什么来省下几个音节；但是当你输入时，你会感受到词语完成和预测的帮助。此外，该团队希望键盘可以提供无缝多语言支持，如下所示。...FST解码器的本质性质将支持完成所有的工作，预测，滑动打字和许多UI功能，无需额外的工作，从而使 Gboard能够从一开始就向印度用户提供丰富的体验，一个更智能的键盘。

1.3K7 0

Transformers 4.37 中文文档（九十九）

kwargs（额外的关键字参数，可选）—将传递给底层模型特定的解码方法。返回 str 解码后的句子。将 ID 序列转换为字符串，使用分词器和词汇表，并提供选项以删除特殊标记和清理分词空格。...在使用非 beam 方法时的编码器-解码器生成模型的输出。...在使用 beam 方法时，编码器-解码器生成模型的输出。...LogitsProcessor 会强制指定的标记作为第一个生成的标记。与编码器-解码器模型一起使用。...LogitsProcessor 用于修改时间戳生成中的 logits。当输入标记达到特定阈值时，处理器将分数设置为负无穷大。处理器确保时间戳标记成对出现，通过屏蔽会破坏这种配对模式的 logits。

3591 0

Transformers 4.37 中文文档（三十一）

/encoder-decoder 概述 EncoderDecoderModel 可以用于初始化一个序列到序列模型，其中预训练的自编码模型作为编码器，预训练的自回归模型作为解码器。...请注意，任何预训练的自编码模型，例如 BERT，都可以作为编码器，而预训练的自编码模型，例如 BERT，预训练的因果语言模型，例如 GPT2，以及序列到序列模型的预训练解码器部分，例如 BART 的解码器...这个类可用于使用任何预训练的自编码模型作为编码器和任何预训练的自回归模型作为解码器初始化序列到序列模型。...这个类可以用来初始化一个序列到序列模型，其中编码器是任何预训练的自编码模型，解码器是任何预训练的自回归模型。...如果您希望更改模型参数的数据类型，请参阅 to_fp16()和 to_bf16()。此类可用于使用任何预训练的自动编码模型作为编码器和任何预训练的自回归模型作为解码器初始化序列到序列模型。

1851 0

如何微调BERT模型进行文本分类

BERT 使用注意力机制以及学习单词之间上下文关系的Transformer 。Transformer 由两个独立的部分组成 - 编码器和解码器。编码器读取输入文本，解码器为任务生成预测。...与顺序读取输入文本的传统定向模型相比，transformer 的编码器一次读取整个单词序列。由于 BERT 的这种特殊结构，它可以用于许多文本分类任务、主题建模、文本摘要和问答。...我们将使用预训练的“bert-base-uncased”模型和序列分类器进行微调。为了更好地理解，让我们看看模型是如何构建的。...需要完成一些额外的预处理任务。...添加特殊令牌： [SEP] - 标记句子的结尾 [CLS] - 为了让 BERT 理解我们正在做一个分类，我们在每个句子的开头添加这个标记 [PAD] - 用于填充的特殊标记 [UNK] - 当分词器无法理解句子中表示的单词时

2.5K1 0

Transformers 4.37 中文文档（十八）

多模态处理器任何多模态模型都需要一个对象来编码或解码将多个模态（文本、视觉和音频）组合在一起的数据。...，以及编码/解码（即，分词和转换为整数）。...length — 输入的长度（当return_length=True时）用于对一个或多个序列或一个或多个序列对进行分词和准备模型的主要方法。...kwargs（其他关键字参数，可选）— 将传递给底层模型特定的解码方法。返回 str 解码后的句子。使用标记器和词汇表将 id 序列转换为字符串，具有删除特殊标记和清理标记化空格的选项。...返回将标记映射到其原始句子的 id 的列表：对于添加在序列周围或之间的特殊标记，为None， 0表示对应于第一个序列中的单词的标记，当一对序列被联合编码时，对于第二个序列中的单词对应的标记

5401 0

Transformers 4.37 中文文档（十二）

编码器的输出传递给解码器，解码器必须预测编码器输出中的屏蔽令牌和任何未损坏的令牌。这提供了额外的上下文来帮助解码器恢复原始文本。...虽然这是将文本分割成较小块的最直观的方法，但这种分词方法可能会导致大规模文本语料库出现问题。在这种情况下，空格和标点分词通常会生成一个非常庞大的词汇表（所有使用的唯一单词和标记的集合）。...当输入通过网络图时，权重矩阵的反量化和重新量化是按顺序执行的。因此，当使用量化权重时，推理时间通常不会减少，而是增加。足够的理论，让我们试一试！...应该始终利用键值缓存，因为它会产生相同的结果，并且对于较长的输入序列会显著加快速度。当使用文本管道或generate方法时，Transformers 默认启用键值缓存。...时指的是人口。键值缓存对于聊天非常有用，因为它允许我们持续增加编码的聊天历史，而不必重新从头开始重新编码聊天历史（例如，当使用编码器-解码器架构时会发生这种情况）。

4011 0

URL编码

（URL 中只能出现 ASCII 字符，不能出现非 ASCII 字符）将 “空格” 编码为 “%20”，便于在 URL 中传输空格。...（URL 中不能出现空格）将 “没有表示特殊含义的保留字符” 进行 URL 编码。（URL 中多个查询参数之间用 & 符号分隔。...因此当你需要编码整个 URL 就使用 encodeURI；当你只需要编码 URL 中的参数时，就使用 encodeURIComponentencodeURIComponent() 方法解码使用 decodeURIComponent...表单中的数据被提交时，表单的域名与值被编码并通过网络把数据发送给服务器。...前端调用 decodeURIComponent() 解码时，加号 + 将无法解码为空格。

2.8K4 0

斯坦福新研究：上下文太长，模型会略过中间不看

也就是说，当相关信息出现在输入上下文的开头或末尾时，语言模型的性能最高；而当模型必须获取和使用的信息位于输入上下文中部时，模型性能会显著下降。...他们发现，当评估时的序列长度在训练时所用的序列长度范围内时，对于输入上下文中相关信息位置的变化，编码器 - 解码器模型是相对稳健的；但如果评估时的序列长度长于训练时的，那么模型性能会呈现出 U 型特征。...在多文档问答和键 - 值检索实验上的结果表明，当语言模型需要从长输入上下文的中部获取相关信息时，模型性能会显著下降。...Flan-UL2 一开始使用 512 token 长度的序列训练（编码器和解码器），但之后又在 1024 token 长度的序列上预训练了额外 10 万步（编码器和解码器），然后进行了指令微调 —— 其编码器在...而当评估时的序列长度超过 2048 token 时，如果相关信息位于输入上下文中部，那么 Flan-UL2 的性能会开始下降。

3082 0

新研究：上下文太长，模型会略过中间不看

也就是说，当相关信息出现在输入上下文的开头或末尾时，语言模型的性能最高；而当模型必须获取和使用的信息位于输入上下文中部时，模型性能会显著下降。...他们发现，当评估时的序列长度在训练时所用的序列长度范围内时，对于输入上下文中相关信息位置的变化，编码器 - 解码器模型是相对稳健的；但如果评估时的序列长度长于训练时的，那么模型性能会呈现出 U 型特征。...在多文档问答和键 - 值检索实验上的结果表明，当语言模型需要从长输入上下文的中部获取相关信息时，模型性能会显著下降。...Flan-UL2 一开始使用 512 token 长度的序列训练（编码器和解码器），但之后又在 1024 token 长度的序列上预训练了额外 10 万步（编码器和解码器），然后进行了指令微调 —— 其编码器在...而当评估时的序列长度超过 2048 token 时，如果相关信息位于输入上下文中部，那么 Flan-UL2 的性能会开始下降。

3731 0

Transformers 4.37 中文文档（十一）

当模式只是相同替换的不同大小写形式（具有大写和小写变体）时，另一种方法就是添加选项all-casing。...参见编码器模型和掩码语言建模自回归模型参见因果语言建模和解码器模型 B 骨干骨干是输出原始隐藏状态或特征的网络（嵌入和层）。...了解有关 DataParallel 如何工作的更多信息在这里。解码器输入 ID 这个输入是特定于编码器-解码器模型的，包含将馈送给解码器的输入 ID。...这些输入应该用于序列到序列任务，例如翻译或摘要，并且通常以每个模型特定的方式构建。大多数编码器-解码器模型（BART，T5）会自行从labels创建它们的decoder_input_ids。...在训练期间，BART 和 T5 都会在内部生成适当的decoder_input_ids和解码器注意力掩码。通常不需要提供它们。这不适用于利用编码器-解码器框架的模型。

3101 0

Lua模式匹配

然而，当模式是变量时，这个函数的强大之处就显现出来了。...修饰符-和修饰符 * 类似，也是用于匹配原始字符分类的零次或多次出现。不过，跟修饰符 * 总是匹配能匹配的最长序列不同，修饰符-只会匹配最短序列。...虽然有时它们两者并没有什么区别，但大多数情况下这两者会导致截然不同的结果。例如，当试图用模式‘[%a][%w]-‘查找标识符时，由于[_%w]-总是匹配空序列，所以我们只会找到第一个字母。...由于UTF-8的主要特征之一就是任意字符的编码不会出现在别的字符的编码中，因此文本类的模式一般可以正常工作。字符分类和字符集只对ASCII字符有效。...例如，可以对UTF-8字字符串使用模式’%s’，但它只能匹配ASCII空格，而不能匹配诸如HTML空格或蒙古文元音分隔符等其他的Uicode空格。恰当的模式能够为处理Unicode带来额外的能力。

2K4 0

【AI大模型】Transformers大模型库（三）：特殊标记（special tokens）

，尤其是在处理序列分类、问答、文本生成等任务时。...以下是一些常见的特殊标记及其用途： 2.2 主要功能 [CLS] (Classification Token)，编码101：通常用于序列分类任务的开始。模型会基于这个标记的输出来进行分类决策。...对应编码102 [PAD] (Padding Token)，编码0：用于填充，确保所有批次的输入序列长度一致。它在模型计算时通常会被忽略。...对应编码 [MASK]，编码103：主要用于BERT的掩码语言模型任务，模型会预测这个标记所遮掩的单词是什么。 [UNK] (Unknown Token)，编码100：代表词汇表中未包含的单词。...102即为特殊标记的编码ID 将句子Hello, I'm a text进行encode时，会自动在开头和结尾加上[CLS]和[SEP]，如果采用encode_plus对两个句子进行拼接，会加入[SEP

1871 0

ZIP压缩算法详细分析及解压实例解释（下）

通过统计各个整数（0-18范围内）的出现次数，按照相同的思路，对SQ1和SQ2进行了Huffman编码，得到的码流记为SQ1 bits和SQ2 bits。...我总是认为，我觉得牛人可能出错了的时候，往往是我自己错了，所以我又仔细想了一下，上面的顺序特点比较明显，直观上看，PK认为CL为0和中间的值出现得比较多（放在了前面），但CL比较小的和比较大的出现得比较少...接下来才是经过Huffman编码的压缩数据，解码码表为Huffman码表1和码表2。最后是数据块结束标志，即literal/length这个码表输入符号位256的编码比特。...，对应256，码字长度6） 111111 –>4(System.Int32)（看前面的CL1序列，对应258，码字长度6）可以看出，码表里存在两个重复字符串长度3和4，当解码结果为-1（上面进行了处理...换句话说，Deflate算法并不是简单的寻找最长匹配后输出，而是会权衡几种可行的编码方式，用其中最高效的方式输出。

2.7K6 0

《机器学习实战：基于Scikit-Learn、Keras和TensorFlow》第16章使用RNN和注意力机制进行自然语言处理

所以接下来会从 character RNN 开始（预测句子中出现的下一个角色），继续介绍RNN，这可以让我们生成一些原生文本，在过程中，我们会学习如何在长序列上创建TensorFlow Dataset。...所以第一件要做的事情是使用序列且没有重叠的输入序列（而不是用来训练无状态RNN时的打散和重叠的序列）。...当编码单词时，Tokenizer会过滤掉许多字符，包括多数标点符号、换行符、制表符（可以通过filters参数控制）。最重要的，Tokenizer使用空格确定单词的边界。...图16-7 视觉注意力：输入图片（左）和模型输出“飞盘”时模型的关注点（右）解释性注意力机制的的一个额外的优点，是它更容易使人明白是什么让模型产生输出。这被称为可解释性。...相似的，在解码器的遮挡注意力层中，这个公式会应用到批次中每个目标句上，但要用遮挡，防止每个词和后面的词比较（因为在推断时，解码器只能访问已经输出的词，所以训练时要遮挡后面的输出token）。

1.8K2 1

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭