在没有标点符号的句子中获取单词计数标志NLTK python
在没有标点符号的句子中获取单词计数标志NLTK python
提问于 2022-03-08 12:52:43
我正试图用python中的nltk在句子中得到单词计数。
这是我写的代码
import nltk
data = "Sample sentence, for checking. Here is an exclamation mark! Here is a question? This isn't an easy-task."
for i in nltk.sent_tokenize(data):
print(nltk.word_tokenize(i))这是输出
['Sample', 'sentence', ',', 'for', 'checking', '.']
['Here', 'is', 'an', 'exclamation', 'mark', '!']
['Here', 'is', 'a', 'question', '?']
['This', 'is', "n't", 'an', 'easy-task', '.']有没有办法去掉标点符号，防止isn't分裂成两个词，把easy-task分割成两个？
我需要的答案是这样的：
['Sample', 'sentence', 'for', 'checking']
['Here', 'is', 'an', 'exclamation', 'mark']
['Here', 'is', 'a', 'question']
['This', "isn't", 'an', 'easy', 'task']我可以用一些句号来管理标点符号，比如：
import nltk
data = "Sample sentence, for checking. Here is an exclamation mark! Here is a question? This isn't an easy-task."
stopwords = [',', '.', '?', '!']
for i in nltk.sent_tokenize(data):
for j in nltk.word_tokenize(i):
if j not in stopwords:
print(j, ', ', end="")
print('\n')产出：
Sample , sentence , for , checking ,
Here , is , an , exclamation , mark ,
Here , is , a , question ,
This , is , n't , an , easy-task , 但这并不能修复isn't和easy-task。有办法这样做吗？谢谢
回答 1
Stack Overflow用户
回答已采纳
发布于 2022-03-09 21:03:52
您可以使用不同的令牌程序来满足您的需求。
import nltk
import string
tokenizer = nltk.TweetTokenizer()
for i in nltk.sent_tokenize(data):
print(i)
print([x for x in tokenizer.tokenize(i) if x not in string.punctuation])
#op
['Sample', 'sentence', 'for', 'checking']
['Here', 'is', 'an', 'exclamation', 'mark']
['Here', 'is', 'a', 'question']
['This', "isn't", 'an', 'easy-task']页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/71401293
复制相关文章
相似问题
NLTK生成的句子在Python中没有出现两个相同的单词
单词VBA -在计数/选择X个“单词”或“句子”时忽略标点符号
Stanford在NLTK中没有正确标记多个句子- Python
标记单词，使用nltk删除标点符号
Python - NLTK分离标点符号
添加站长 进交流群
领取专属 10元无门槛券
AI混元助手 在线答疑
关注 腾讯云开发者公众号
洞察 腾讯核心技术
剖析业界实践案例
腾讯云开发者
