在dfm中，如何在ngram中检测相同的单词，即 hello_hello, text_text 然后把它们从dfm里拿出来？
浏览 18提问于2020-12-13得票数 0
回答已采纳
我想读取保存在文件中的ngram。然后将这些ngram中的每个单词与我的语料库中的单个标记进行匹配，如果匹配，则将其替换为ngram.let，假设我有这些二元语法：worldly lifeLast Daysevere punishment
浏览 0提问于2017-12-20得票数 0
回答已采纳
我的问题是:我有一个由SOLR索引的文本字段，它是我们数据库中的用户名。我希望搜索是模糊的，而不是完全匹配的。对于我的配置，我尝试了WhiteSpaceTokenizerFactory和StandardTokenizerFactory。在搜索方面，我尝试引用和转义空格。他们都没有帮助解决我的space+fuzziness问题。我正在使用管理界面进行搜索。感谢你的指点。
浏览 0提问于2018-06-14得票数 0
回答已采纳
我还在将我们的材料从ES 1.3版迁移到2.4版(!)因此，在这个过程中，有些东西坏了，查询/等等过去不再起作用了(或者给出“坏”的结果)。我已经解决了其中的一些问题，但这是个大问题。我读过关于相关性评分是如何完成的。我的索引是用模式标记器处理的(只分成几个字)，然后用小写过滤器和ngram过滤器(最小长度1，最大长度3)点击。现在，如果我搜索字母"a“，那么我应该先得到比较短的文件，对吗？例如，
浏览 2提问于2016-09-30得票数 3
回答已采纳
2回答
我正在研究文本分类的特征工程。我被困在了选择功能的点上。大多数文献说，将文本标记化并将其用作特征(删除停用词、标点符号)，但这样就会错过多个单词，如(肺癌)或短语。所以问题是，我如何决定ngram的顺序，并将它们视为特征？
浏览 0提问于2016-08-13得票数 0
2回答
我有两个不同的文本，我想比较使用tfidf矢量化。我所做的是：
我做错了什么？请帮帮忙。
提前谢谢。
浏览 0提问于2018-12-12得票数 4
回答已采纳
1回答
最流行的子字符串
、、
大多数“部分”只有2-3个单词长，并且在大约10k字符串中有大约100-500个完全相同的部分出现。在一个字符串中，每种类型只能有一个部分(它们通常按顺序排列)。任何部分都没有有限的值集，将来可能会出现新的值。
问题是:如果我有足够的样本并且不想手动标记这些部分，我如何检测这些部分？它还会检测到某些文本是常见的，但如果我有一些特定的2个部分经常使用相同的<
浏览 9提问于2010-10-14得票数 2
回答已采纳
我有两个文本，一个从DOCX文件中读取，另一个从TXT文件中读取。DOCX文件的布局如下所示：
{地址}尽管您在我们的网站上申请，我们遗憾地通知您，您没有得到这份工作。{END]根据编号12345注册
杰
浏览 0提问于2018-01-31得票数 0
\"$#&+'", "type" : "edge_ngram", }所以，为了解释我今天要做什么-我有标记器，它允许一些特殊字符，并打破了短语的空格。然而，我确实希望允许搜索更长的期限，包括两
浏览 1提问于2022-07-11得票数 0
我一直在使用带有model关键字的NLTK Unigram标记器来传入特定标记的单词列表：...# '
浏览 0提问于2014-11-04得票数 1
我正在实现一个朴素的贝叶斯分类算法。在我的训练集中，我在不同的文件中有许多摘要。我想使用N-gram来获得词频权重，但代码不接受多个文件。我编辑了我的代码，现在我得到的错误是cant call method tscore on an undefined value。; use Text::Ngram; use Text::English;
use Text::TFIDF= Lingua::EN
浏览 2提问于2014-11-15得票数 0
我想对工作描述做一些文本分析，并打算使用nltk。我可以建立一个字典并删除停用的单词，这是我想要的一部分。然而，除了单个单词及其频率之外，我还想保留有意义的“单词组”，并对它们进行计数。例如，在包含“机器学习”的工作描述中，我不想单独考虑“机器”和“学习”，但如果它经常出现在我的字典中，请保留该词组。做这件事最有效的方法是什么？
浏览 26提问于2017-03-13得票数 2
回答已采纳
我使用solr搜索名称列表，并使用ngram说明部分字符串匹配。如果我有"Rose“、"Rosen”、"Rosenberg“和"Rosenthal”的名字，我希望"Rose“的查询会返回：RosenRosenthalRosenthalRosen
所有的结果都是一样的。我试着创建了一个精确的匹配字段和一个ngram字段，但这
浏览 5提问于2016-10-13得票数 1
回答已采纳
我正在做一个NLP项目，我希望对句子进行标记化，并获得不同标记词的数量。有时，我希望几个单词成为一个短语，而不要把短语中的单词计算在内。我发现CountVectorizer在统计短语方面很有用，但我不知道如何删除短语中的单词。dog']vec
浏览 17提问于2019-05-09得票数 1
"filter": { "type": "edge_ngramcountry_name, type: "text", analyzer: "autocomplete", search_analyzer: "standard"上面的代码片段来自我为索引创建的represents&qu
浏览 3提问于2019-10-17得票数 1
回答已采纳
我使用的TfidfVectorizer参数如下：我正在传达以下文字：“红色的太阳，粉红色的糖果。绿色的花。”这是get_feature_names():的输出
['candy', 'candy green', 'coffee', '
浏览 3提问于2018-08-31得票数 3
回答已采纳
我在数据库的一列上使用Solr方面搜索。14</int> </lst> <lst name="facet_ranges"/>我想确保只有完整的单词被计算在内在上面的例子中，你可以看到'science‘和'geniu’的
浏览 1提问于2013-05-10得票数 0
1回答
我正在尝试提取由一些较小部分组合而成的单字、双字和三字符串。当它们是较大的部分时，有没有可能单独提取它们而不计算较小的部分？log entries"
for ngramin ngrams: pattern = re.comp
浏览 0提问于2018-11-20得票数 1
我有一堆ngram的变量拼写，我想将每个ngram映射到已知期望输出列表中的最佳匹配词。来自'desk‘、'Desk+Tab’、'Tab+Desk‘、'Desktop’、'dsk‘的每个输入都映射到'desktop’的所需输出
我有大约30个这样的“输出”单词，以及大约几百万个ngram(更少的唯一的)。我目前最好
浏览 0提问于2019-02-02得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
