如何进行句子标记化？
句子标记化是自然语言处理中的一项重要任务，它将输入的文本句子划分为有意义的单词或短语，并为每个单词或短语分配特定的标记或类别。这一过程有助于计算机理解和处理文本信息。
在进行句子标记化时，通常会采取以下步骤：
- 分词（Tokenization）：将输入的句子切分成单词或词语，可以使用基于规则的方法或机器学习的方法进行分词。
- 建立词典（Vocabulary）：将所有出现的单词进行记录和编码，构建一个词典。这样每个单词都可以用唯一的标识符来表示。
- 词性标注（Part-of-speech Tagging）：为每个单词赋予其对应的词性标签，如名词、动词、形容词等。可以使用基于规则的方法或机器学习的方法进行词性标注。
- 命名实体识别（Named Entity Recognition）：识别和标记文本中的命名实体，如人名、地名、组织名等。这可以通过模式匹配、规则匹配或机器学习方法来实现。
- 依存句法分析（Dependency Parsing）：分析句子中各个单词之间的依存关系，并将其表示为一棵依存树或图。可以使用基于规则的方法或机器学习的方法进行依存句法分析。
句子标记化在自然语言处理领域具有广泛的应用场景，包括机器翻译、情感分析、问答系统、文本分类等。
对于腾讯云相关产品和产品介绍的推荐，可以参考以下链接：
- 自然语言处理（NLP）：https://cloud.tencent.com/product/nlp
- 语音识别与合成（ASR/TTS）：https://cloud.tencent.com/product/asr-tts
- 机器翻译（MT）：https://cloud.tencent.com/product/mt
- 智能对话（Chatbot）：https://cloud.tencent.com/product/chatbot
- 智能图像处理：https://cloud.tencent.com/product/ti
相关·内容
1回答
如何对句子列表进行词汇化
、、、
如何在Python中列出句子列表？
from nltk.stem.wordnet import WordNetLemmatizer
a = ['i like cars', 'cats are the best']
lmtzr = WordNetLemmatizer()
lemmatized = [lmtzr.lemmatize(word) for word in a]
print(lemmatized)
这就是我试过的方法，但它给了我相同的句子。我需要对之前的单词进行标记化才能正常工作吗？
浏览 63提问于2018-06-05得票数 5
回答已采纳
我在训练法语维基百科上的Doc2Vec模型。
我的代码基于这个笔记本：
它实际上是在训练阶段，但是，在那之后，我不知道如何向量化新的句子。
我应该在这里使用:model.infer_vector“示例句子”吗？但是在这种情况下，如何进行与Wikicorpus方法相同的处理呢？(这里不做解释：)
谢谢!
浏览 17提问于2019-08-11得票数 0
回答已采纳
1回答
智能句切分不分裂缩略语
、、、、
来自SpaCy和NLTK的句子者没有注意到一个事实，即典型的缩略语(例如，德语中Million的Mio. )和由此产生的句子分裂是不正确的。我明白，哨兵应该是简单而迅速的，但我想知道是否有一个更好的，考虑到更多的东西，而不是高感知词和标点符号？或者，如何使SpaCy / NLTK /.句子员为这样的句子工作？
我主要对Python的哨兵感兴趣。
浏览 0提问于2020-10-13得票数 3
回答已采纳
3回答
Python的Spacy包有一个统计标记器，可以智能地将一个句子拆分成标记。我的问题是，是否有一个包允许我返回，即从标记列表到格式良好的句子？本质上，我需要一个函数，它允许我执行以下操作：
>>> toks = ['hello', ',', 'i', 'ca', "n't", 'feel', 'my', 'feet', '!']
>>> some_function(toks)
"Hello, I ca
浏览 2提问于2017-05-24得票数 11
回答已采纳
4回答
在文本区域中保留换行符
、、、
我有一个带有文本区的表单，我希望在输出内容时保留用户输入的换行符。
例如，如果我在文本区域中编写：
这里是一个句子。这是另一个。这里还有一个。
这是一个新的段落。这是一个新句子。这是另一个。
我想要相同的输出，而不是：：
这里是一个句子。这是另一个。这里还有一个。这是一个新的段落。这是一个新句子。这是另一个。
如何保留换行符？
浏览 142提问于2015-06-02得票数 90
回答已采纳
如何查询以特定句子开头的字段？例如，我想搜索："Oliver Hard*“
我希望和“奥利弗·哈代”完全匹配。我只有一个词条以“奥利弗·哈代”开头。
下面我试过了，但没有起作用：
"q":actorsName:Oliver Hard* ->为我带来了所有的奥利弗和一些模糊逻辑
"q":actorsName:"Oliver Hard*“相同的->
如何在Solr中使用startsWith和空格查询？
浏览 0提问于2020-09-07得票数 1
1回答
关于NLP最佳实践的一个可能非常基本的问题。 标点符号是否会影响NLTK的词性标记器的行为？或者，在将句子传递给词性标记器之前，去掉句子中的标点符号可以吗？
浏览 18提问于2019-09-09得票数 1
回答已采纳
我使用的是来自AllenNLP的预先训练的依赖解析模型，即。
我有语句How do I find work-life balance?，当提取依赖关系图时，AllenNLP模型使用的标记器将句子拆分为['How', 'do', 'I', 'find', 'work', '-', 'life', 'balance', '?']。但是，我倾向于将句子拆分为['How', 'do', 'I', 'fin
浏览 2提问于2022-10-10得票数 0
1回答
好吧，我知道正则表达式不是最好的东西，但我相信它是最好的东西，除了写一个完整的解析器和语法检查等等。
我想要编写一个正则表达式来以特定的顺序匹配尽可能多的标记，还想编写另一个正则表达式来匹配句子中任意顺序的尽可能多的标记。
例如，我编写了一个正则表达式，用于按如下顺序匹配单词：
(?=.*?(I|need|your))(?=.*?(help|assistance|support|with|this|regex)).*?(?:\?)
并且它匹配：
I think I need your help? I need your assistance with this regex? I don'
浏览 1提问于2013-11-23得票数 0
假设我们有一篇文章要加注释。如果我们输入的文本是一个非常长的句子，而不是文档，那么在注释一个长句子而不是遍历文档中的每个句子和最终得到所有结果之间，Stanford做了什么不同的事情？
编辑:我运行了一个测试，似乎这两种方法返回了两个不同的NER集。我可能只是做错了，但它确实非常有趣，我很好奇为什么会发生这种情况。
浏览 7提问于2017-01-21得票数 0
这是我的代码，你可以看到我正在将句子标记为word，但当我在句子中应用word2vec模型时，我仍然有一个问题。我使用阿拉伯语文本anaconda版本4.7.12 sentences = nltk.sent_tokenize(str(sentences1))
sentences = [nltk.word_tokenize(sentence) for sentence in sentences]
for i in range(len(sentences)):
sentences[i] = [word for word in sentences[i] if word not in stopwor
浏览 47提问于2019-12-06得票数 0
我将使用Stanford POS标记器来标记句子。我想把文档分成句子，然后把句子分成记号。因为我是第一次使用java，所以我只想从命令行运行标记器。
当我运行标记器时，它给出了输出，但它给出了一个警告"untokenizable“。这个警告是什么意思？标记化不是由标记器隐式完成的吗？
我试着运行将文本分割成您指定的句子的命令，但它不起作用。标记器给出它无法打开路径的错误。
我还想知道如何输入大量的文本文件，并在相应的文件中获得它们的输出，这样所有的输出都不会变得混乱。
浏览 0提问于2011-05-13得票数 2
我想通过在动词前加一个“X”来标记动词在句子中的位置。我的函数执行以下步骤来实现这一点。
找到动词。我使用spaCy进行POS机标记。SpaCy输出一个词性标签列表，我称之为pos，其中句子中的每个单词都表示为一个标签。将句子也转换为列表L。确定词性列表中动词标记(例如"VBZ")的索引x。将所需的X标记插入到句子列表中的索引x处。
步骤4假设列表pos的长度与句子列表L的长度相同。通常情况就是这样，除非spaCy将标签分配给不单独索引的语句元素。在这种情况下，词性列表比句子列表更长。例如，spaCy会在单词“‘”后面看到一个括号“(”或句号。作为一个单独的位置，而Python
浏览 45提问于2018-06-03得票数 2
回答已采纳
我目前正在使用。
我的字串/词句中既有英文也有中文。
以下是问题所在：
如果句子在英语中是ALL，那么它在LUIS中工作得很好。原因很可能是因为一个句子是由不同的词组成的，这些词被一个“空格”分隔开来。
然而，在中文(繁体和简体)中，句子是由拼凑在一起，很难分开的词组成的。
例如，我可以用英语写：
I love you so much：这里有5个单词。在LUIS中，我可以选择I love you并将其转换为一个实体。稍后，当更多像I love you这样的词出现在LUIS中时，它可以很容易地识别出相关的意图。
然而，如果我用中文写：
我很喜歡你：它的意思和上面的英语一样。根据路易斯，它将被计算
浏览 3提问于2018-04-13得票数 1
据我所知，在伯特的操作逻辑中，他把他所接受的句子的50%改为输入。它不碰其他的。
( 1-)使用tokenizer.encoder进行的事务是否已更改部分？这是否等于input_ids？
然后填充物完成。根据指定的Max_len创建矩阵。空部分填充0。
在此之后，每个句子都放置cls标记。Sep标记放在句子的末尾。
( 2-) input_mask是否在此过程中发生？
(3 -)此外，我们在哪里使用input_segment？
浏览 2提问于2021-01-26得票数 0
回答已采纳
1回答
我第一次使用Stanford标签(这是第一次)，虽然它正确地标记了英语，但即使在更改模型参数时，它似乎也不识别(简体)中文。我忽略了什么吗？
我已经从这里下载并解压了最新的完整版本：
然后，我将示例文本输入到“sam-input.txt”中。
这是一个测试的句子。这是另一个句子。
然后我就跑
/斯坦福-postagger.sh模型/中文-dissim.tagger样本-input.txt
预期的输出是将每个单词标记为词性的一部分，但它将整个文本字符串识别为一个单词：
从标签模型/中文-dissim.tagger加载默认属性
从模型/中文阅读POS标签模型.完成3.5秒。
這是
浏览 0提问于2013-04-18得票数 5
回答已采纳
2回答
复句与复句托词化
、、
我试图将文档中的句子标记为基于方面的情感分析。有些句子有一个以上的主题。例如，“触摸屏很好，但电池却很弱”，或者“他们的智能手机很棒，电视很完美”。我想根据这些连词来标记句子。对于这个任务，有没有预先训练过的模型？还有其他解决办法吗？谢谢你们的帮助。
浏览 0提问于2023-01-02得票数 0
我看到斯坦福大学的NLP情感分析首先将句子标记化为短语。我如何也使用这项服务(例如，给定一个句子并通过与斯坦福NLP情感分析相同的功能进行标记化)？
浏览 0提问于2015-12-10得票数 0
1回答
斯坦福大学CoreNLP将文本分解成句子的方式没有什么问题，即：
它很好用！然后呢？(感叹号和问号)在引用的文本中作为一个句子的结尾，它不应该，例如:他喊“爱丽丝！爱丽丝！”-在这里它对待！之后的第一个爱丽丝作为一个句子结束，并将文本分为两句。
它不承认省略句是句尾。
在NLTK中，我们处理这些问题的方法是简单地将文本划分成句子前后的规范化，即在划分之前用其他符号替换所述标记，然后再将它们返回，以便将它们以适当的形式发送到管道中。
但是，CoreNLP中的标记器在划分成句子之前会进行标记化，这不会给流程留下太多的调整空间。所以，我的第一个问题是:是否有可能“修正”令牌器而不重写
浏览 0提问于2015-06-12得票数 3
回答已采纳
我正在尝试使用机器学习来标记句子(每个句子只有一个标签，我假设句子是相互独立的)。我认为线性CRF模型在这种情况下是可以的，但我有一些问题。
我尝试使用 (我看到的其他实现似乎都有类似的格式)。它使用句子作为输入，但输出标签被分配给每个标记。如何对整个句子使用单个标签？(我想到的技巧是只为测试数据中的点分配一个重要标签，并将其作为整个句子的输出标签。)
如何使用不同长度的句子？训练配置要求指定在分析当前令牌时考虑哪些令牌。但一个句子可以有大量或少量的标记，我希望使用一个句子中的所有标记(而不是多或少)，以利用整个信息。
从看来，我尝试做的事情是可能的(整个序列只有一个标签)，但我不知道如何格式
浏览 3提问于2016-07-21得票数 1
这是一个非常基本的问题，但我花了几个小时努力寻找答案。我使用Hugginface transformers构建了NER。 假设我有输入句子 input = "Damien Hirst oil in canvas" 我将其标记化以获取 tokenizer = transformers.BertTokenizer.from_pretrained('bert-base-uncased')
tokenized = tokenizer.encode(input) #[101, 12587, 7632, 12096, 3514, 1999, 10683, 102] 将标记
浏览 13提问于2020-11-05得票数 0
回答已采纳
1回答
我只是在玩gensim的Doc2Vec，分析stackexchange来分析问题的语义相似性来识别重复的问题。
关于的教程似乎将输入描述为带有标记的句子。
但是原始的论文：声称这种方法可以用来推断段落/文档的固定长度向量。
有人能解释一下在这种背景下句子和文档的区别，以及我将如何推断段落向量。
由于一个问题有时可以跨越多个句子，我想，在训练期间，我会用相同的标记来给出来自同一个问题的句子，但是接下来我会如何在看不见的问题上对infer_vector这样做呢？
这个笔记本：
似乎是在训练和测试文档上的训练向量，有人能解释这背后的理由吗?我应该这样做吗？
浏览 0提问于2017-02-15得票数 6
回答已采纳
1回答
我正在做一个项目，在这个项目中，我需要使用维特比算法对句子列表进行词性标注。对于我的训练数据，我有已经由单词标记的句子，我认为我需要解析这些句子并将其存储在某种数据结构中。然后我有一个测试数据，其中也包含每个单词都被标记的句子。
我对如何处理这个问题感到有点困惑。我想问题的部分原因是我认为我没有完全理解维特比算法的要点。我是否应该使用Viterbi算法来标记我的测试数据，并将结果与实际数据进行比较？什么数据结构最能做到这一点并表示一个句子？
任何帮助都将不胜感激。
浏览 4提问于2014-02-27得票数 1
2回答
NLP & ML短语提取
、、、、
我可以使用什么ML算法来训练给定句子中的动作短语。
Sentence1:I want to play cricket
Label1: play cricket
Sentence2: Need to wash my clothes
Label2: wash clothes
我有一个大约2k个句子和相应的动作短语(标签)的数据，需要根据它们预测另一组句子。有人能指导我如何使用NLP/ML来做这件事吗？使用哪个Algo来做同样的事情？(最好是python)
浏览 0提问于2017-02-04得票数 0
在dataframe中，我的行包括“机器学习、数据、ia、分段、分析”或“大数据、数据湖、数据可视化、市场营销、搜索引擎优化”等句子。
我想使用TF-以色列国防军和kmeans，以便根据每个单词创建集群。
我的问题是，当我使用tokenizes时，它错误地标记了句子.我得到了诸如“分析分析”或“英语excel”这样的术语，这些词不应该放在一起。
相反，我希望根据句子中的逗号来标记句子。因此，术语应该是“分析”、“大数据”、“数据湖”、“英语”等等。
我想我应该在中改变一些东西，但是我不明白怎么做。
你知道如何实现这一点吗？
浏览 10提问于2022-06-15得票数 0
回答已采纳
1回答
对于句子相似的任务，我们是否需要应用文本清理方法？
大多数模型都与整句甚至有标点符号的句子一起使用。下面是我们希望使用SentenceTransformer进行比较的两个示例句(all-MiniLM-L6-v2)：
sentences = [
"Oncogenic KRAS mutations are common in cancer.",
"Notably, c-Raf has recently been found essential for development of K-Ras-driven NSCLCs."]
# yields t
浏览 0提问于2022-09-01得票数 0
回答已采纳
我有分段的资源和资源来匹配我的分段句子。
在生成解析树之前，我如何阻止斯坦福CoreNLP对我的句子进行分段？
我在做中文作品。
浏览 1提问于2016-12-03得票数 0
回答已采纳
1回答
我目前正在使用OpenNLP中的空格标记器，它将句子标记到任何它找到空白的地方。所以，如果我有这样的一句话：
My hobbies are reading books, magazines, Roller skating and playing football.
现在，如果我想从这个句子中得到爱好，我想标记这个句子，不是基于空格而是基于逗号的标记。
我怎样才能做到这一点？
编辑1:主要问题是在训练了一个NER模型之后，我把它应用在令牌上。因此，它将不会识别‘轮滑’，因为在托克丝中，它们是以‘滚轴’和‘溜冰’的形式出现的，而now模型现在还不能认识到这个爱好。
浏览 2提问于2016-06-15得票数 4
1回答
我用1M个样本训练了一个seq2seq模型，并保存了最新的检查点。现在，我有一些额外的50K句子对的训练数据，这在以前的训练数据中是没有的。如何在不从头开始培训的情况下，使当前的模型适应这些新的数据？
浏览 2提问于2017-11-17得票数 2
回答已采纳
2回答
我正在使用Python中的NLTK中的令牌程序。
论坛上删除标点符号有很多答案。然而，没有一项综合处理下列所有问题：
一排不止一个符号。例如，这个句子:他说，“就是这样。”因为有一个逗号后面跟着引号，标记符不会移除。“在句子中，标记器会给出'He'，'said'，‘'，’那，'s'，‘in’。”而不是“他”、“说”、“那”、“是”、“它”。其他一些例子包括“.”、“-”、“？”、“”、“”等等。
删除句子末尾的符号。即句子:你好世界。标记器将给出'Hello'，‘world’。而不是“你好”，“世界”。注意单词“W
浏览 5提问于2014-04-26得票数 7
回答已采纳
1回答
水平和垂直营销
、、
我有一个句子，还有一个树形的语法。我需要训练一个概率上下文自由语法，以便我可以给它最好的解析。我正在使用Viterbi算法来获得最好的解析。句子采用以下树型：(顶(S (NP (DT ) (NN ) (NN ) (NP (MD )应) (VP (VB be) (NP (NP (CD 11) (RB a.m)) (NP(NN明天)
我已经建立了一个系统，它是从宾州树银行的ATIS部分学到的概率语法，现在可以给出上述句子的可能的解析输出。
我读过关于水平和垂直标记技术的文章，这些技术可以通过使用注释来帮助提高准确性。我有点搞不懂他们是怎么工作的。有人能给我介绍一些解释性的例子吗?或者说明它们是如何
浏览 3提问于2012-11-27得票数 1
1回答
我正在使用SpaCy进行文本分析，但是我无法理解词性分析和句法依存分析之间的区别。两者都根据单词的角色对句子中的单词进行标记。但是它们到底有什么不同呢？
浏览 26提问于2018-09-06得票数 2
1回答
我有一个标签的文本字段。例如，一些实体：
{"tags": "apple. fruits. eat."}
{"tags": "green apple."}
{"tags": "banana. apple."}
我希望选择带有标记apple的实体，而不是green apple或smth apple smth。不同的变体导致了一个问题:选择一个具有现有表达式的句子，这句话的样子并不重要。但在这种情况下这是件大事。我如何通过使用Lucene语法或Azure搜索工具来做到这一点？或者(一般来说)我怎么才
浏览 0提问于2018-09-10得票数 0
回答已采纳
我想使用领域语料库(情感相关文本)预训练BERT和RoBERTa传销。使用50k~100k单词需要多长时间。由于RoBERTa没有经过训练来预测下一个句子的目标，比BERT少一个训练目标，并且具有更大的小批量和学习率，我假设RoBERTa会快得多？
浏览 28提问于2020-02-09得票数 1
回答已采纳
1回答
如何使用NLTK对特定结构的句子进行过滤？例如，我们有以下上下文无关语法的定义：
1. S → NP VP
2. S → Aux NP VP
3. S → VP
4. NP → Pronoun
5. NP → Proper-Noun
6. NP → Det Nominal
7. Nominal → Noun
8. Nominal → Nominal Noun
9. Nominal → Nominal PP
10.VP → Verb
11.VP → Verb NP
12.VP → VP PP
13.PP → Prep NP
可以看出，定义了三种
浏览 5提问于2013-05-05得票数 2
1回答
我想使用fastText句子向量作为输入功能。
vector = model.get_sentence_vector('Original Sentence')
我正在尝试使用MLP执行句子的二进制分类，并将使用上述代码生成的固定大小的特征来训练算法。这是一件合理的事情吗？
浏览 20提问于2020-05-13得票数 0
回答已采纳
1回答
我有两列训练数据1.‘句子’2.'Relevant_ text‘(此列中的文本是列’句子‘中的文本的子集)
我试着用LSTM直接把“句子”当作输入，把“Relevant_text”当作输出，训练一个随机神经网络，但结果令人失望。
我想知道如何处理这类问题？这类问题有名字吗？我应该探索哪些模型？
浏览 22提问于2020-05-23得票数 0
我想使用这些分隔符将句子拆分为记号(每当Python看到其中一些字符时，我想在那里拆分语句)：
{""/%»…l¦>|=!—\+([„:<#•}‘°_–·˘“›;^$®&”’){€*?.`@«ľ]~}
下面是一个我想在标记中拆分的句子的例子，并对每个句子的出现情况进行计数：
@itkutak (pitanje za intesu: radi li ?neka)
我想要的令牌：itkutak，pitanje，za，intesu，radi，li，neka，如何使用CountVectorizer来获得这个？
现在我的代码就是这样的：
from pandas imp
浏览 3提问于2017-08-18得票数 0
回答已采纳
1回答
我已经建立了一个人工语料库(不是真正的语言)，每个文档都是由多个句子组成的，这些句子也不是真正的自然语言句子。
我想从这个语料库中训练一个语言模型(稍后使用它来完成下游任务，比如分类或使用语句BERT进行聚类)
如何标记文档？
我需要标记输入吗？
像这样：<s>sentence1</s><s>sentence2</s>
或<s>the whole document</s>
如何训练？
我是否需要训练传销机或NSP或两者兼备？
浏览 0提问于2022-02-15得票数 1
2回答
我使用Python的nltk，我想标记一个包含引号的句子，但它将"转换为``和''。
例如：
>>> from nltk import word_tokenize
>>> sentence = 'He said "hey Bill!"'
>>> word_tokenize(sentence)
['He', 'said', '``', 'hey', 'Bill', '!', "
浏览 3提问于2015-06-26得票数 3
回答已采纳
1回答
我正在研究多语种(英语、阿拉伯语、汉语)，我遇到了一个问题:如何标记数据？
我的火车数据提供了每个命名实体的句子和跨度列表。
例如：
[('The', 'DT'),
('company', 'NN'),
('said', 'VBD'),
('it', 'PRP'),
('believes', 'VBZ'),
('the', 'DT'),
('suit', 'NN'
浏览 0提问于2021-03-04得票数 0
回答已采纳
我正在尝试使用NLTK拆分句子，我注意到它将中间没有空格的句子视为一个句子。例如：
text = 'Today is Monday.I went shopping.'
sentences = sent_tokenize(text)
# 1) Today is Monday.I went shopping.
text = 'Today is Monday. I went shopping.'
sentences = sent_tokenize(text)
# 1) Today is Monday.
# 2) I went shopping.
有没有一种方法可以正
浏览 6提问于2018-08-05得票数 1
我有一个包含数千个句子的文件，我想找到包含特定字符/单词的句子。
最初，我对整个文件进行标记化(使用sent_tokenize)，然后遍历句子以找到单词。然而，这太慢了。既然我可以快速找到单词的索引，我可以利用这一点吗？有没有办法只对单词周围的区域进行标记化(即找出哪个句子包含单词)？
谢谢。
编辑:我使用的是Python，使用的是NLTK库。
浏览 0提问于2012-12-06得票数 1
我对Xcode有一个问题:有一个包含几个句子的长字符串。我被要求把这些句子分开。所以我使用了- (NSArray *)componentsSeparatedByCharactersInSet:(NSCharacterSet *)separator方法。分隔符是一个带有不同符号的NSCharacterSet，例如".?!“。这种方法正确地分隔句子，除了所有的标点符号都没有了。
例如，长字符串是"This is the first句号。is this The第二句？“，我得到的结果是一个数组，其中包含两个句子"This Is第一句话”和"Is this the se
浏览 5提问于2012-09-10得票数 0
1回答
我正在努力寻找将文本拆分成句子的最佳方法。
我尝试过斯坦福NLP，但实际上我对它的糟糕表现感到失望。
例如
"Who are you?" asked another man.
它被识别为两个句子："Who are you?"和asked another man。
He said, "Nothing. Nothing at all."
它被认为是两句话：
He said, "Nothing.和Nothing at all."。
我也尝试过普通的vanilla Java BreakIterator.getSentenceInstanc
浏览 0提问于2019-04-06得票数 2
我有一个包含句子的文件，我需要创建一个函数，将句子拆分成一个列表，将单词作为元素，但删除所有标点符号。这就是我所拥有的：
<code>A0</code>
它很接近工作，但有一个连字符的单词，它只是被放在一起作为一个单词，我需要它拆分。还有，像1,2这样的十进制数字会像这样被分割成"1"，"2“，我不想这样。
有没有更好的方法来解决这个问题？也许是一个更简单的解决方案？我认为它可能有意使用string.punctuation，但我不确定这将如何解决这些问题
浏览 39提问于2021-03-13得票数 1
我在python中使用NLTK。我理解它在其word标记化函数(如TreebankWordTokenizer.tokenize() )中使用正则表达式，但它使用经过训练的模型(泡菜文件)进行语句标记化。我不明白他们为什么不用训练来标记单词？这是否意味着句子标记是一项更艰巨的任务？
浏览 2提问于2016-12-22得票数 0
回答已采纳
我正在尝试使用LSTM实现自定义NER。在预处理步骤中，是否需要删除双引号、点和逗号等标点符号？如果保留下来，它们是否会增加任何意义？因为每个文档都是句子的集合。
浏览 35提问于2019-04-15得票数 0
我可以通过斯坦福NLP的命令行接口(如Apache OpenNLP？ )检测句子吗？
根据文档，Stanford需要按照进行标记化。
浏览 0提问于2015-02-12得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
