单词标记化NLTK缩写问题
NLTK是Natural Language Toolkit的缩写，是一个用于自然语言处理的Python库。NLTK库提供了各种工具和资源，用于文本处理、文本分类、词性标注、句法分析、语义分析等自然语言处理任务。它提供了丰富的语料库和预训练模型，方便开发者进行文本处理相关的研究和开发工作。
NLTK的主要功能包括：
- 文本预处理：NLTK可以对文本进行标记化、分词、去除停用词、词干提取等预处理操作，方便后续的文本分析和挖掘。
- 词性标注：NLTK提供了多种词性标注器，可以将词语标注为名词、动词、形容词等不同的词性，帮助理解和分析文本。
- 语料库：NLTK包含了大量的语料库，包括新闻、小说、博客、社交媒体等不同类型的文本，可以用于构建和训练自然语言处理模型。
- 文本分类：NLTK支持文本分类任务，提供了多种分类算法和特征提取方法，可以用于将文本分为不同的类别。
- 语义分析：NLTK提供了一些工具和方法，用于实现情感分析、命名实体识别、关系抽取等语义分析任务。
- 句法分析：NLTK提供了多种句法分析器，可以解析句子的结构和语法关系，帮助理解句子的意义。
- 机器学习：NLTK提供了与机器学习相关的算法和方法，如朴素贝叶斯分类器、最大熵分类器等，方便进行文本分类和模型训练。
- 信息检索：NLTK提供了一些用于信息检索的工具和算法，如倒排索引、向量空间模型等，可以用于构建文本搜索引擎。
NLTK在自然语言处理领域有着广泛的应用，包括文本分析、机器翻译、语义理解、情感分析、信息检索等。对于开发者而言，NLTK提供了丰富的工具和资源，可以快速构建和实验自然语言处理模型。
腾讯云并没有直接对应的产品和产品介绍链接地址，但可以利用腾讯云提供的服务器、存储等基础云服务来搭建NLTK的环境和应用。
相关·内容
我正在使用nltk将句子拆分成单词。例如：
nltk.word_tokenize("The code didn't work!")
-> ['The', 'code', 'did', "n't", 'work', '!']
标记化在拆分单词边界时效果很好，即从单词中拆分标点符号，但有时会过度拆分，单词末尾的修饰符被视为单独的部分。例如，didn't分为did和n't两个部分，i've分为I和've两个部分。显然，这是因为这些单
浏览 0提问于2016-01-11得票数 15
回答已采纳
我在python中使用NLTK。我理解它在其word标记化函数(如TreebankWordTokenizer.tokenize() )中使用正则表达式，但它使用经过训练的模型(泡菜文件)进行语句标记化。我不明白他们为什么不用训练来标记单词？这是否意味着句子标记是一项更艰巨的任务？
浏览 2提问于2016-12-22得票数 0
回答已采纳
3回答
我使用nltk对文本进行标记化，只是将句子反馈给wordpunct_tokenizer。这会将缩写拆分(例如，'don't‘to 'don’+‘’“"+'t')，但我希望将它们保留为一个单词。我正在改进我的方法，以便对文本进行更精确的标记化，因此除了简单的标记化之外，我还需要更深入地研究nltk标记化模块。
我猜这是很常见的，我希望从以前可能不得不处理这个特定问题的其他人那里得到反馈。
编辑：
是的，这是一个很普通的问题，我知道
另外，作为nlp的新手，我需要担心收缩吗？
编辑：
SExprTokenizer或TreeBankWordTokeni
浏览 1提问于2012-07-06得票数 18
回答已采纳
1回答
我想知道如何对以下句子(字符串)进行单词标记化： "I am good. I e.g. wash the dishes." 以下几句话： ["I", "am", "good", ".", "I", "e.g.", "wash", "the", "dishes"] 现在的问题是，当涉及到像"e.g."这样的缩写时，它被NLTK word_tokenizer标记为如下["e.g", "."]
浏览 20提问于2019-03-17得票数 0
回答已采纳
我试图弄清楚为什么我无法读取从nltk模块下载的english.pickle文件的内容。
我首先使用以下代码下载了nltk文件：
import nltk
nltk.download('punkt')
然后我在我的主目录中的punkt文件中查找，找到了english.pickle文件。我使用以下代码读取python中的文件：
import pickle
with open('english.pickle', 'rb') as file:
x = pickle.load(file)
但是，当我运行变量x(它应该存储pickled数据)时，我不
浏览 0提问于2020-09-21得票数 0
1回答
我在推特上做情绪分析。大多数推文包含简短的单词，我想把它们替换为原始/完整的单词。
假设这条推文是：
I was wid Ali.
我想皈依：
wid -> with
类似的
wud -> would
我有6000条推特，里面有很多简短的单词。我怎么能替换他们？在python中是否有任何库可用于此任务？或者网上有什么简略词词典吗？
我读过在python中替换后缀/短词问题的答案，但它只提供了后缀词典。
目前我正在使用NLTK，但是这个任务不可能使用NLTK。
浏览 0提问于2018-05-08得票数 0
我使用的是中描述的组合标记
这是代码
t0 = nltk.DefaultTagger('NN')
t1 = nltk.UnigramTagger(train_sents, backoff=t0)
t2 = nltk.BigramTagger(train_sents, backoff=t1)
由于默认标记将每个标记标记为NN，每个标记到t0的每个令牌都将被标记为NN，它们表示可以通过下面的方法来解决这个问题
我们对未知单词进行标记的方法仍然使用对正则表达式标记或默认标记的退避。这些都无法利用上下文。因此，如果我们的标记者遇到了在培训期间没有看到的博客这个词，它就会给它分配相
浏览 1提问于2021-07-10得票数 0
我正在阅读nltk语料库
def read_corpus(package, category):
""" Read files from corpus(package)'s category.
Params:
package (nltk.corpus): corpus
category (string): category name
Return:
list of lists, with words from each of the processed
浏览 7提问于2022-12-03得票数 0
移除标点符号有很多可用的地方，但我似乎找不到任何东西保留它。
如果我这样做了：
from nltk import word_tokenize
test_str = "Some Co Inc. Other Co L.P."
word_tokenize(test_str)
Out[1]: ['Some', 'Co', 'Inc.', 'Other', 'Co', 'L.P', '.']
最后一个“。被推入自己的标记中。然而，如果最后还有一个词，那就是“最后一个”。保存如下
浏览 0提问于2017-02-07得票数 3
回答已采纳
我正面临着在句子中标记单词的问题。我不能理解为什么我只得到列表中的最后一句话作为输出。它应该是一个很长的带有标签的单词列表。
下面是完整的代码：
import pandas as pd
import numpy as np
import nltk
from nltk.corpus import stopwords
from nltk.corpus import wordnet
from nltk.tokenize import word_tokenize, sent_tokenize
from nltk.stem.wordnet import WordNetLemmatizer
#import
浏览 10提问于2021-05-16得票数 0
回答已采纳
2回答
我想知道在向NLTK的pos标签发送给定的文本之前，是否需要编写一个反收缩函数。我不愿意标记单词，因为它们最终可能会像(不要‘do’，‘nt’)一样，我怀疑这会使pos标记更加困难。
简而言之，我的问题是:nltk的pos标签是否能识别大多数收缩(根据我有限的经验，它似乎能很好地实现w/o单词标记)？单词标记化(相对于简单的单词拆分)会改进或削弱这个过程吗？对我来说写反收缩函数会更容易吗？还有其他能识别宫缩的人吗？
Example_text=“我不能也不会去公园，因为我不喜欢草。”
浏览 6提问于2021-08-09得票数 1
回答已采纳
这是我的代码，你可以看到我正在将句子标记为word，但当我在句子中应用word2vec模型时，我仍然有一个问题。我使用阿拉伯语文本anaconda版本4.7.12 sentences = nltk.sent_tokenize(str(sentences1))
sentences = [nltk.word_tokenize(sentence) for sentence in sentences]
for i in range(len(sentences)):
sentences[i] = [word for word in sentences[i] if word not in stopwor
浏览 47提问于2019-12-06得票数 0
2回答
nltk或任何其他自然语言处理工具允许基于输入句子构建概率树从而将输入文本的语言模型存储在字典树中，以下给出了粗略的想法，但我需要相同的功能，以便单词Wt不仅以概率方式模拟过去的输入单词(历史) Wt-n，而且还包括像Wt+m这样的前瞻单词。此外，回溯和前视单词计数也应该是2或更多，即二元或更多。在python中有没有其他库可以做到这一点？
from collections import defaultdict
import nltk
import math
ngram = defaultdict(lambda: defaultdict(int))
corpus = "The cat
浏览 1提问于2015-08-13得票数 12
我有以下文本文件(您可以从下载它)。
我试图在文件中搜索单词language。为此，我有以下Python脚本：
import nltk
file = open('NLTK.txt', 'r')
read_file = file.read()
text = nltk.Text(read_file)
match = text.concordance('language')
print(match)
但是，当我运行程序时，虽然文件中包含单词language，但我还是得到了以下输出
No matches
None
为什么程序无法在文件中找到单词lang
浏览 3提问于2017-04-10得票数 3
回答已采纳
3回答
我正在尝试从一个德语文档中提取单词，当我使用nltk教程中描述的以下方法时，我无法获得具有语言特定特殊字符的单词。
ptcr = nltk.corpus.PlaintextCorpusReader(Corpus, '.*');
words = nltk.Text(ptcr.words(DocumentName))
我应该怎么做才能获得文档中的单词列表？
德语短语Veränderungen über einen Walzer的nltk.tokenize.WordPunctTokenizer()示例如下：
In [231]: nltk.tokenize.WordPunctToken
浏览 1提问于2012-02-05得票数 11
我有一个熊猫数据帧。有一列，让我们把它命名为：'col‘这一列的每个条目都是一个单词列表。'word1‘、'word2’等。
如何使用nltk库有效地计算所有这些单词的引理？
import nltk
nltk.stem.WordNetLemmatizer().lemmatize('word')
我希望能够为pandas数据集中某一列中所有单元格的所有单词找到一个引理。
我的数据看起来类似于：
import pandas as pd
data = [[['walked','am','stressed',
浏览 1提问于2017-11-30得票数 11
回答已采纳
2回答
我正在试验用于自然语言处理的python库NLTK。
我的问题：我正在尝试执行词根；将单词简化为它们的规范化形式。但它不能产生正确的词。我正确地使用了词干类吗？我怎样才能得到我想要的结果呢？
我想使以下几个词正常化：
words = ["forgot","forgotten","there's","myself","remuneration"]
...into这个：
words = ["forgot","forgot","there","myself&
浏览 2提问于2012-04-01得票数 2
6回答
我打算标记一些职务描述文本。我已经尝试了使用空白作为分隔符的标准标记化。然而，我注意到，有一些多词的表达是分裂的空格，这很可能会导致在后续处理的准确性问题。因此，我想在这些文本中得到所有有趣的/信息丰富的搭配。
是否有任何好的包来做多字标记化，而不考虑特定的编程语言？例如，“他学习信息技术”“===>”他“研究”“信息技术”。
我注意到NLTK (Python)有一些相关的功能。
搭配模块：http://www.nltk.org/api/nltk.html#module-nltk.collocations
nltk.tokenize.mwe模块：http://www.nltk.org/a
浏览 0提问于2017-03-02得票数 9
2回答
我希望通过NLTK获得一个单词和一个句子中每个单词之间的相似性。
NLTK可以得到两个特定单词之间的相似度，如下所示。这种方法要求给出对单词的具体引用，在这种情况下，它是'dog.n.01‘，其中狗是名词，我们希望使用第一个(01) NLTK定义。
dog = wordnet.synset('dog.n.01')
cat = wordnet.synset('cat.n.01')
print dog.path_similarity(cat)
>> 0.2
问题是，我需要从句子中的每个单词中获取词性信息。NLTK软件包能够获得句子中每个单词的词
浏览 5提问于2014-12-21得票数 8
回答已采纳
2回答
我想要像这样的单词类:宾语，形容词，动词-我该怎么做呢？
from nltk import corpus
a = ['What', 'is', 'your', 'first', 'and', 'last', 'name', '.']
问题很简单，但我不知道nltk？
浏览 1提问于2015-03-08得票数 0
2回答
我使用Python的nltk，我想标记一个包含引号的句子，但它将"转换为``和''。
例如：
>>> from nltk import word_tokenize
>>> sentence = 'He said "hey Bill!"'
>>> word_tokenize(sentence)
['He', 'said', '``', 'hey', 'Bill', '!', "
浏览 3提问于2015-06-26得票数 3
回答已采纳
我目前正在使用NLTK的"nltk.pos_tag“做一些词性标注。我想知道NLTK的标记器是否使用当前标记的单词之外的信息来确定单词的词性？
如果没有，NLTK有没有标记器可以做到这一点？
提前感谢您提供的任何信息！
浏览 0提问于2013-03-23得票数 2
回答已采纳
3回答
NLTK标记化-更快的方式？
、、、、
我有一个方法，它接受一个字符串参数，并使用NLTK将字符串分解成句子，然后再分解成单词。然后，它将每个单词转换为小写，最后创建每个单词的频率字典。
import nltk
from collections import Counter
def freq(string):
f = Counter()
sentence_list = nltk.tokenize.sent_tokenize(string)
for sentence in sentence_list:
words = nltk.word_tokenize(sentence)
w
浏览 2提问于2017-01-29得票数 19
11回答
我刚刚开始使用NLTK，我不太明白如何从文本中获取单词列表。如果我使用nltk.word_tokenize()，我会得到一个单词和标点符号的列表。相反，我只需要文字。我怎样才能摆脱标点符号？此外，word_tokenize不能处理多个句子:在最后一个单词上添加圆点。
浏览 0提问于2013-03-21得票数 138
正如我所了解的，如果我们在每个标记上识别相应的PoS标记，然后设置引号，不仅使动词、名词，而且还包括形容词和副词形式，我们就可以做得更好。
因此，我已经有了这些代码行，详细说明了上述四种类型，这样我就可以返回“绝对”和“可爱”的根表单。然而，我仍然能用同样的词来形容这些。
这里有三个问题：
有什么方法可以在我仍然使用同一个库的时候解决这个问题吗？
还有其他的库或函数可以做更好的柠檬化吗？
这是NLTK的的局限性之一吗?它不能完美地将所有类型的单词都归纳出来吗？
提前感谢你。
nltk.download('averaged_perceptron_tagger'
浏览 18提问于2022-02-22得票数 0
回答已采纳
我试着用nltk pos标签标记一个单词：
word = "going"
pos = nltk.pos_tag(word)
print pos
但产出如下：
[('g', 'NN'), ('o', 'VBD'), ('i', 'PRP'), ('n', 'VBP'), ('g', 'JJ')]
它是标记每个字母，而不仅仅是一个单词。
我该怎么做才能让它成为单词的标签？
浏览 7提问于2015-04-01得票数 7
回答已采纳
我在NLTK的FreqDist上遇到一些麻烦。让我先给你们讲几句话：
我已经建立了一个网络爬虫，爬行公司的网页，销售可穿戴产品(智能手表等)。
然后，我正在进行一些语言分析，对于这种分析，我还使用了一些NLTK函数--在本例中是FreqDist。
总的来说，nltk.FreqDist工作得很好--它做得很好，而且做得很好；我没有任何错误等等。
我唯一的问题是，“心率”这个词经常出现，而且由于我正在生成一个最常用单词的列表，所以我将heart和rate分别放在几百次左右。
当然，rate和heart都可以在不被用作“心率”的情况下发生，但是，如何计算“心率”的出现，而不仅仅是
浏览 4提问于2017-08-06得票数 0
回答已采纳
假设我有一个句子：I am a boy。我想找出句子中每个单词的词性。这是我的密码：
import nltk
sentence = 'I am a good boy'
for word in sentence:
print(word)
print(nltk.pos_tag(word))
但这会产生以下输出：
I
[('I', 'PRP')]
[(' ', 'NN')]
a
[('a', 'DT')]
m
[('m', 'NN')]
浏览 0提问于2018-07-09得票数 3
回答已采纳
通常将文件数据转换为nltk.Text的方法如下：
f=open('my-file.txt','rU')
raw=f.read()
tokens = nltk.word_tokenize(raw)
text = nltk.Text(tokens)
现在，‘nltk.Text’(文本对象)只是一个单词列表。我怎样才能从中获得句子列表呢？主要希望拆分成句子列表的‘文本’。多么?
浏览 0提问于2016-10-14得票数 0
我正在尝试学习如何使用NLTK标记西班牙语单词。
在中，使用英文单词的示例来标记它们是非常容易的。因为我对nltk和所有的语言处理都是新手，所以我对如何处理感到非常困惑。
我已经下载了cess_esp语料库。有没有办法在nltk.pos_tag中指定语料库。我查看了pos_tag文档，没有看到任何建议我可以这样做的内容。我觉得我遗漏了一些关键概念。我必须在cess_esp语料库中手动标记文本中的单词吗？(我指的是手动标记我的sentance，然后在语料库上运行它)，或者我完全错了。谢谢
浏览 1提问于2013-02-06得票数 19
回答已采纳
1回答
我刚开始使用NLTK，我注意到它对非ascii标点符号不起作用。例如，“被标记为名词。此外，使用非ascii标点符号会打乱其余单词的词性标记，因为NLTK将“解释为一个单词，而不是标点符号。
是否有一个设置可以允许NLTK识别非ascii标点符号？因为使用一个非unicode标点符号会弄乱整个文档的词性标记，所以我不能只用"替换所有的“。
浏览 1提问于2015-07-08得票数 1
我希望匹配给定字符串中的所有单词，假设该字符串是UTF-8编码的，然后对每个单词进行拼写检查。只要我的代码是纯英语文本，所有东西都可以工作，但是如果有一些，比如说，德语字符，我的单词就会在这些字符上一分为二。如何从包含拉丁字符和非拉丁字符的文本中匹配单个单词？
我现在做的是：
text.gsub(/[\w\']+/) do |word| "replacement" end
但这对于包含"oooäuuu“的文本将以”替换äreplacement“结束，即:德语字符不被视为word的一部分。
浏览 1提问于2010-01-12得票数 1
我正试图把财务文件分成几个句子。我有50.000份包含纯英语文本的文件。总文件大小为2.6GB。
我使用的PunktSentenceTokenizer标准英语泡菜文件。此外，我还通过提供额外的缩写对其进行了调整，但结果仍然不够准确。
由于NLTK PunktSentenceTokenizer基于Kiss & Strunk (2006)的无监督算法，所以我试图根据我的文档，基于来训练句子标记器。
import nltk.tokenize.punkt
import pickle
import codecs
tokenizer = nltk.tokenize.punkt.PunktSent
浏览 1提问于2018-09-03得票数 5
回答已采纳
我写了一个python脚本，从熊猫的dataframe栏中提取单词。我注意到，在提取单词时，如果单词的最后一个字母是's'，那么最后的's‘就会被截断。下面是实际的代码和输出
我的代码
import re
import unicodedata
import nltk
# Create dataframe
data = ['gautam das',
'vas',
'kansas usa',
'maryam lass']
# Create the data
浏览 5提问于2022-10-19得票数 3
回答已采纳
1回答
下面的代码打印出leaf
from nltk.stem.wordnet import WordNetLemmatizer
lem = WordNetLemmatizer()
print(lem.lemmatize('leaves'))
这可能是准确的，也可能不是准确的，这取决于周围的环境，例如Mary leaves the room和Dew drops fall from the leaves。我如何告诉NLTK，在考虑到周围环境的情况下，将单词混合起来？
浏览 3提问于2018-03-19得票数 0
例如，在下面的句子中，词汇化器影响了5个单词，输出中应显示数字5。 lemmatizer = WordNetLemmatizer()
sentence = "The striped bats are hanging on their feet for best"
print([lemmatizer.lemmatize(w, get_wordnet_pos(w)) for w in nltk.word_tokenize(sentence)])
#> ['The', 'strip', 'bat', 'be',
浏览 31提问于2021-08-02得票数 2
1回答
我试着用TF-以色列国防军计算消息数据的单词频率。到目前为止我有这个
import nltk
from sklearn.feature_extraction.text import TfidfVectorizer
new_group['tokenized_sents'] = new_group.apply(lambda row: nltk.word_tokenize(row['message']),axis=1).astype(str).lower()
vectoriser=TfidfVectorizer()
new_group['tokenized_
浏览 0提问于2020-03-11得票数 0
回答已采纳
1回答
我仍然是Python的新手，我想知道如何在不使用逗号分隔每个单词的情况下对字符串列表进行标记化。
例如，从“我必须买杂货”、“我需要一些香蕉”、“还有别的吗？”这样的列表开始，我想要获得这样的列表：“我必须买杂货。”、“我需要一些香蕉。”、“还有吗？”。因此，重点不是创建一个带有单独标记的列表，而是创建一个包含句子的列表，其中所有的单词和标点符号都是彼此分开的。
有什么想法吗？我只使用下面的代码创建了一个逗号分隔的标记列表：
nltk.download('punkt')
from nltk import word_tokenize
tokenized = []
for lin
浏览 7提问于2021-03-02得票数 1
回答已采纳
1回答
我正在使用python版本3.4.1和NLTK版本3，我试图使用他们的Brill标签。
以下是布里尔标记者的培训代码：
import nltk
from nltk.tag.brill import *
import nltk.tag.brill_trainer as bt
from nltk.corpus import brown
Template._cleartemplates()
templates = fntbl37()
tagged_sentences = brown.tagged_sents(categories = 'news')
tagged_sentences
浏览 1提问于2015-08-19得票数 2
回答已采纳
1回答
边界上的分词
、、
我有一些推文，我想分成几个单词。除了当人们组合像trumpisamoron或makeamericagreatagain这样的单词时，它的大部分都工作得很好。但也有像password这样的东西，它们不应该被分成pass和word。
我知道nltk包有一个punkt tokenizer模块，它以一种智能的方式拆分句子。单词也有类似的东西吗？即使它不在nltk包中？
注意:与拆分单词问题相比，password -> pass + word示例的问题要小得多。
浏览 0提问于2016-09-30得票数 1
我请求您的帮助和帮助来解决"Java命令失败“的错误，每当我尝试标记一个2兆字节大小的阿拉伯语语料库时，它都会抛出。我已经搜索了网络和斯坦福POS标签邮件列表。然而，我没有找到解决方案。我读了一些类似问题的帖子，有人建议内存用完了。我不能肯定这一点。我仍然有19的空闲内存。我尝试了所有可能的解决方案，但仍然显示相同的错误。
我在Python上有一般的命令，在Linux上有好的命令。我使用的是LinuxMint17 KDE64位，Python3.4，NLTK和斯坦福大学的阿拉伯语POS标记器模型。这是我的代码：
import nltk
from nltk.tag.stanford imp
浏览 0提问于2014-11-25得票数 2
NLTK文件和实例的普遍数量专门用于柠檬化和堵塞，但在正常化问题上非常稀少，例如：
将所有字母转换为小写或大写，将punctuationconverting数字移除为wordsremoving重音标记和其他diacriticsexpanding abbreviationsremoving停止词或“过于常见”的wordstext规范化(肿瘤=肿瘤，it = is)
请告诉我在NLTK的什么地方挖。欢迎用于上述目的的任何NLTK等价物(JAVA或任何其他)。谢谢。
UPD.我已经为文本到语音的目的编写了一个文本规范化的python库，。也许也适合你。
浏览 8提问于2012-02-10得票数 22
2回答
我有一个文本文档，我正在使用regex和nltk从这个文档中找到最常用的单词5。我必须打印出这些单词所属的句子，我该怎么做呢？此外，我希望将其扩展到在多个文档中查找常用单词并返回其各自的句子。
import nltk
import collections
from collections import Counter
import re
import string
frequency = {}
document_text = open('test.txt', 'r')
text_string = document_text.read().lower()
ma
浏览 0提问于2017-08-20得票数 3
1回答
我正在使用Keras标记器对句子进行标记化，然后创建可用于神经网络训练的单词索引序列：
from keras.preprocessing.text import Tokenizer
tokenizer = Tokenizer(num_words=5000)
tokenizer.fit_on_texts(X_train)
X_train = tokenizer.texts_to_sequences(X_train)
如何使用casual_tokenize NLTK标记器来实现类似的结果？NLTK toeknizer不提供texts_to_sequences()方法。
浏览 0提问于2020-08-05得票数 0
2回答
我正在尝试编写代码，它传递的文本已经被标记，停止词被过滤掉，然后继续并标记它。但是，我不确定我应该按照什么顺序进行标记。这是我目前拥有的：
#### Stemming
ps = PorterStemmer() # PorterStemmer imported from nltk.stem
stemText = []
for word in swFiltText: # Tagged text w/o stop words
stemText.append(ps.stem(word))
#### POS Tagging
def tagging():
tagTot
浏览 4提问于2020-04-24得票数 0
回答已采纳
1回答
自定义标签NLTK 3
、、、
我正在使用nltk的默认标记来获取单词的POS标记，但我没有得到预期的结果：
>>> nltk.pos_tag(nltk.tokenize.word_tokenize("I want a watch"))
[('I', 'PRP'), ('want', 'VBP'), ('a', 'DT'), ('watch', 'NN')]
>>> nltk.pos_tag(nltk.tokenize.word_tokenize(
浏览 1提问于2016-07-15得票数 2
回答已采纳
2回答
我尝试在nltk中创建词性(或词性)标记器，但我无法使用backoff将其用于一个以上的ngram标记器。我读到你使用更多的标记器来获得更高的分数，但这对我不起作用。我希望它首先使用更多的单词，然后使用更少的单词。我试过这样做，
import nltk
from nltk.corpus import brown
#sentence = brown.sents(categories = "news")
trains = brown.tagged_sents(categories = "news")
from nltk import NgramTagger
浏览 1提问于2013-06-23得票数 2
回答已采纳
我正在尝试训练一个嵌入到预处理段落上的Doc2Vec单词。我已经删除了标点符号，并执行了标记化、pos标记和分块。
import nltk
from nltk import word_tokenize, pos_tag, ne_chunk
from gensim.models.doc2vec import Doc2Vec
ne_tree = ne_chunk(pos_tag(word_tokenize(sent_pun)))
model = Doc2Vec(ne_tree)
当我运行Doc2Vec模型时，我得到了错误"AttributeError：‘树’对象没有属性‘单词’“。应该
浏览 6提问于2018-07-20得票数 0
1回答
我试图对客户邮件进行分类。
电子邮件是快乐的还是悲伤的(情感分析)
是否与账单相关的电子邮件。
我正在使用Python3，并且认为我必须使用nltk和scikit NLTK --将帮助理解和阅读我所理解的scikit文本-将做分类(高兴、悲伤和记账与否)。
训练数据集1:几个phrases...anywhere从一个单词到一个句子有5到6个单词。(1高兴而0不高兴)...a下面的几个例子
提供帮助
干得好.
太棒了.
糟糕.0
令人困惑.0
慢点.0
培训数据集2:几个短语表明与帐单有关的问题.(下面的几个例子)
关于我的账单的问题
记帐
浏览 5提问于2015-07-10得票数 0
我有以下示例数据框架，如下所示。它已经被标记化了。
No category problem_definition_stopwords
175 2521 ['coffee', 'maker', 'brewing', 'properly', '2', '420', '420', '420']
211 1438 ['galley', 'work', 'table', 'stuck'
浏览 5提问于2018-12-19得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
