腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
String.prototype.
tokenize
=标记化;
我正在尝试用java对xpl语言进行词法分析,发现但是我不知道这行代码是做什么的!
浏览 3
提问于2012-05-17
得票数 1
1
回答
将原始文本转换为nltk.Text后可以形成句子吗?
、
通常将文件数据转换为nltk.Text的
方法
如下:raw=f.read()text
浏览 0
提问于2016-10-14
得票数 0
2
回答
为什么我不能标记或从nltk导入令牌?
、
、
我收到以下ImportError:---->2 from nltk.
tokenize
import
tokenize
ImportError: cannot import name '
tokenize
' from 'nltk.
tokenize
'
浏览 8
提问于2022-03-27
得票数 0
回答已采纳
1
回答
python导入将执行本地文件
/
tokenize
.py ?!无意间,在当前目录中有一个名为“
tokenize
.py”的python脚本。通过执行foo.py,导入行也触发要执行的
tokenize
.py。我猜本地目录有优先级,html.parser模块也有
tokenize
.py……什么是避免将来发生这种冲突的适当
方法
?编辑:我运行python 3.3.2
浏览 0
提问于2014-01-23
得票数 2
1
回答
Jenkins for循环执行甚至是空列表。
、
、
正如我所看到的,当它是空的,它也是打印空的。如果回波打印是空的,如何避免它? { }
浏览 13
提问于2022-05-31
得票数 0
1
回答
如何在操作结果中调用web
方法
、
、
我有一个网络Api2
方法
,它正在返回HttpResponseMessage {,
tokenize
.MerchantID,
tokenize
.StoreValue,
tokenize
.StoreType); return Request.CreateResponseRequest.CreateResponse(HttpStat
浏览 0
提问于2014-02-11
得票数 0
2
回答
Python 3:标记化库更改
、
、
、
根据这一点:应该使用,而不是
tokenize
.
tokenize
。>>> a = list(
tokenize
.generate_tokens(io.BytesIO("1\n".encode()).readline))a = list(
tokenize
.
tokenize
(io.BytesIO("1\n"
浏览 0
提问于2012-05-20
得票数 1
回答已采纳
2
回答
一个列表和一个标记化的句子,用引号`‘’分隔,在python中有空格和没有空格
我使用了NLTK的sent_
tokenize
方法
来定义句子边界。tok = sent_
tokenize
(str(all_text))It give me this output: tok = ['
浏览 0
提问于2018-10-26
得票数 0
1
回答
tokenize
($s)是否与
tokenize
($s,‘')相同?
、
、
解释了
tokenize
的单个参数版本 调用fn:
tokenize
($input)等同于调用fn:
tokenize
(fn:normalize-space($input), ' ')),其中第二个参数是单个空格字符(x20然而,当我尝试使用count(
tokenize
('1 2 3')), count(
tokenize
('1 2 3'))和Sa
浏览 5
提问于2018-09-18
得票数 2
回答已采纳
1
回答
用POS_TAG对NLTK字进行分类
、
、
我有一个疑问:如果我用word_
tokenize
(paragraph)标记与word_
tokenize
(sentence in paragraph)不同,结果就不一样了。我使用sent_
tokenize
(paragraph)创建段落中的句子。sent_
tokenize
()然后是word_
tokenize
(): ['BUSINESS', 'Astronics', 'supplier', '
浏览 0
提问于2014-07-04
得票数 0
回答已采纳
2
回答
如何使用
tokenize
模块对python代码进行标记化?
、
它有
tokenize
.
tokenize
(readline),但是参数需要一个生成器,而不是一个字符串。
浏览 1
提问于2020-06-03
得票数 3
2
回答
word_tokenizer的多处理NLTK -函数从未完成
、
、
、
from nltk.
tokenize
import word_
tokenize
import time #word
tokenize
pool = mp.Pool(processes=8)word_tokens = pool.map(word_
tokenize
, text_to_process) f
浏览 4
提问于2016-02-19
得票数 1
1
回答
MFC:获取编辑控件文本并将其拆分为二维数组?
、
、
我在一个窗体上有编辑控件和屏蔽的编辑控件。在蒙版控制中写入和失去焦点的数字(最多99)时,编辑框将用邻接矩阵填充。稍后,我想用它来表示图中的边和寻找循环。我像这样从编辑框中拉出文本: CString x;0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 但是有没有可能把所有的数字(这里的分隔符是“")分成2维数组,就像C++向量一样?
浏览 22
提问于2019-12-15
得票数 1
回答已采纳
2
回答
西班牙语单词记号
、
以下是正确的
方法
,还是有更好的
方法
?import nltk for w in word_
tokenize
spanish_sentence_tokenizer = nltk.data.load('tokenizers/punkt/spanish.pickle') sentences = spanish
浏览 9
提问于2016-12-26
得票数 3
回答已采纳
2
回答
一种分离解析法
、
、
目前,我的SKU类中有一个
方法
,它从文件中获取输入,解析数据,并在objects变量中使用String标记器存储数据,然后将对象添加到Store类的数组中。我面临的问题是,我想要分离SKU类中的解析
方法
,以便它只从一行读取数据,然后有一个单独的
方法
,该
方法
接受解析器的文件输入,最后更新我的Store类,以便它使用解析的数据初始化产品。values from each line of
浏览 0
提问于2018-04-02
得票数 0
1
回答
nltk wordpunct_
tokenize
vs word_
tokenize
、
有人知道nltk的wordpunct_
tokenize
和word_
tokenize
之间的区别吗?我使用的是nltk=3.2.4,但wordpunct_
tokenize
的文档字符串中没有任何东西可以解释这种不同。我在nltk的文档中也找不到这方面的信息(也许我没有搜索到正确的位置!)。
浏览 2
提问于2018-05-09
得票数 18
回答已采纳
1
回答
XLC++ 11.1的奇怪问题
、
、
TSTID_INSTANTID_RISK_INDICATOR startAt=" <<startAt <<ENDL;在所有
方法
中,vRows都为零。使用旧的编译器,输出如下所示: vRows=0 vRows=0 A
浏览 0
提问于2012-10-29
得票数 0
回答已采纳
1
回答
用生成器标记文件
、
、
、
我有一个
方法
tokenize
,它接受一个字符串(一行代码,它不能一次接受整个文件),将它分解成各个部分,并返回一个生成器,生成这些部分,直到它到达行尾为止。这些都是给你的。我实现了一些
方法
,这将为我提供所有的文件部分(即,将每一行提供给令牌,并发送每一行部分)。这就是我所做的,我觉得它非常笨重和丑陋。read_file): self.line = self.file.readline() self.gen =
tokenize
sel
浏览 0
提问于2017-10-28
得票数 7
回答已采纳
4
回答
如何使用NLTK的默认令牌程序来获取跨度而不是字符串?
、
、
>>> nltk.word_
tokenize
("(Dr. Edwards is my friend.)") ['(', 'Dr.
浏览 16
提问于2015-02-23
得票数 13
回答已采纳
1
回答
‘@批注’切入点不匹配ElementType.Parameter注释
、
、
从来不调用@Around
tokenize
方法
。@Retention(RetentionPolicy.RUNTIME)public @interface
Tokenize
{}public class TokenizeAspect { public Object
tokenize
joinPoint.get
浏览 1
提问于2022-03-10
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
理顺3大步骤,精读4大核心,3分钟入门自然语言处理
Python NLP入门教程
神级程序员花了三个礼拜来整理的资料!带来Python NLP入门教程!
PEP 255:简单的生成器
总结!实用Python文本预处理代码
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
云直播
活动推荐
运营活动
广告
关闭
领券