我的n-gram标记器无法正常工作。unigram似乎工作得很好，但只要我将二元语法分词器应用于语料库，它就会返回与unigram分词器相同的单词列表。代码如下。blogs <- readLines("en_US.blogs.txt", news <- readLines("en_US.news.txt",
enc
浏览 16提问于2017-07-24得票数 0
1回答
我在寻找在java中使用stemm字符串的可能性。首先，我想用lucene来做这件事，但是我在网上找到的所有例子都被否决了。(SnowballAnalyzer，PorterStemmer，…)我只想整句话。 ...}
浏览 1提问于2014-06-07得票数 1
回答已采纳
1回答
我有一个SQLite FTS4数据库，我希望能够通过用户输入对它执行或查询，例如，如果用户输入我想要做的"hello那里“。但是，如果只传递用户字符串，则会得到一个隐式查询。当然，我可以自己标记字符串，并插入OR，但是我使用自己的令牌器，它可能与SQLite的FTS内部使用的令牌器不同。SELECT * FROM fts_table WHERE t
浏览 0提问于2015-03-04得票数 2
回答已采纳
我在做一个项目，我训练并保存了我的模型以及记号器tokenizer.fit_on_texts(corpus)
importpicklewith open('english_tokenizer_test.pickle', 'wb') as handle:
pickle.dump(tokenizer, handle, protocol=pi
浏览 12提问于2022-02-09得票数 1
回答已采纳
我对我写的代码的理解是，构造函数是在main()中调用的，字符串应该存储在解析器中的expression变量中，然后expression应该传递给Tokenizer()，但表达式变量在传递时为null。在将字符串传递给Tokenizer()之前，我需要将其存储在表达式变量中。public class Parser { Tokenizer tokenizer = new Tokenizer(expression);
浏览 0提问于2013-10-01得票数 1
2回答
有什么API我可以调用来解析以下格式文件吗？ full_name Smith,John age 19 class_number 8.43.1}有用java解析这种格式的建议吗？或者用Python..。
浏览 9提问于2014-01-01得票数 1
回答已采纳
1回答
我知道，wIt非常令人困惑，但本质上，我试图弄清楚的是如何从文件中获取信息，并对其进行解析，以便在文件中获得方程。我希望我的程序读取文件，然后获取整数8和5，识别运算符符号，然后进行数学运算，以便将其与最终答案进行比较，以便对问题进行评分。int whiteSpace1 = fileContent.indexOf(" ");
int first = Integer.parseInt(fileContent.sub
浏览 0提问于2013-11-21得票数 1
import numpy as npimport spacynlp = spacy.load("en_core_web_sm")这是我的代码，每当我试图运行它时，都会出现一个错误：
AttributeError: type object 'EnglishDefaults' has no attribute 'create_toke
浏览 5提问于2022-10-15得票数 -1
回答已采纳
keras.preprocessing.sequence import pad_sequences#vectorizing the tweet by the pre-fitted tokenizerinstanceprint(twt)
#padding the tweet to have exactly the same
浏览 1提问于2020-03-05得票数 1
1回答
在Java中，我必须接受一个包含10^9阶的大数的输入。如何快速处理输入？另外，由于streamtokenizer.nval给出了一个双精度值，我如何读取更大的值？
浏览 1提问于2013-10-06得票数 1
我正在努力将带括号的字符串(如f(d(a c(b))e) )转换为Java数据结构(我正在研究一种方法，该方法允许使用字符串表示来实例化树)。在上面的字符串中，f是树的根节点，它分支到d的子树和e的叶节点。在我能够将f识别为当前节点的标签之后，d(a c(b))e就留给了我。在字符串中，单个字符后面可能有括号，也可能没有括号。如果后面跟着圆括号，则返回内部的所有子字符串，即使它包含嵌套括号。因此，正则表达式将匹配d(a c(b))或e。
此外，我希望这不仅仅是两个子节点的工作。一个可能的括
浏览 3提问于2013-11-03得票数 0
回答已采纳
即使当我打印句子时，它也会打印逗号分隔的字符串数，下面是我的代码：from tensorflow.keras.preprocessing.sequenceurls.append(item['article_link']) tokenizer= Tokenizer(o
浏览 0提问于2020-08-03得票数 0
{ StringTokenizer tokenizer= new StringTokenizer(line) ; Link record = new Link() ;
rec
浏览 1提问于2012-03-08得票数 0
回答已采纳
keras.preprocessing.sequence import pad_sequences pred_word = tokenizer.index_word
浏览 10提问于2021-01-31得票数 0
代码如下from keras.preprocessing.sequencex_train, x_test, y_train, y_test = \
tokenizer.fit_on_t
浏览 5提问于2019-12-28得票数 2
回答已采纳
1回答
目前正在处理一个深度学习示例，他们正在使用Tokenizer包。我收到以下错误：下面是我的代码：tokenizer.fit_on_sequence
浏览 1提问于2018-02-02得票数 2
回答已采纳
1回答
首先，我训练了一个标记器，如下所示：tokenizer == XLNetTokenizerFast.from_pretrained("tokenizer model")File "dfgd.py", line 8, in <module>
tokenizer = XLNetTokenizerFas
浏览 377提问于2021-02-20得票数 1
回答已采纳
1回答
我正在编写一个程序，它接受用户输入的两个doubles和一个运算符，并执行计算。例如，如果用户输入"12 - 6"，结果将是6。如果用户输入"12 6 -“，也可以。我正在尝试创建一个错误检查，以检查是否没有足够的令牌或太多的令牌。我该怎么做呢？ String operator ;
Scanner scan = new Sca
浏览 0提问于2017-08-06得票数 0
1回答
我需要创建一个遵循语法的递归下降解析器。<statements>→ <statement> | <statement><semi_colon><statements><expression> → <term><term_tail>
<term_tail> → <
浏览 9提问于2022-11-10得票数 0
回答已采纳
交个朋友
加入CloudBaseAI生成专属群
AI生成式应用探索 专属技术答疑空间
加入[CodeBuddy] 官方交流站
分享AI写代码技巧 共解产品技术难题
加入AICoding云开发技术交流群
智能编码实践分享 聚焦AI+云开发
换一批
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
实时音视频
即时通信 IM活动推荐
腾讯云开发者
