俄语词干分析器的错误结果
俄语词干分析器是一种用于对俄语单词进行词干分析的工具。词干分析是指将一个单词从其词形变化中提取出基本的词干形式的过程。然而，词干分析器可能会产生错误的结果，这可能是由于以下原因导致的：
- 语言复杂性：俄语是一种复杂的语言，具有丰富的语法和词形变化规则。这使得词干分析器在处理某些特殊情况时可能出现错误。
- 词形变化的多样性：俄语中的词形变化非常多样，包括名词、动词、形容词等的变化形式。词干分析器可能无法准确地识别和处理所有的变化形式，从而导致错误的结果。
- 数据训练不足：词干分析器的准确性通常依赖于其背后的训练数据。如果训练数据不足或不完善，词干分析器可能无法正确地识别和处理某些单词。
针对俄语词干分析器的错误结果，可以采取以下措施来改进和解决：
- 数据增强：通过增加更多的训练数据，特别是包含各种复杂情况和变化形式的数据，可以提高词干分析器的准确性。
- 算法改进：改进词干分析器的算法，使其能够更好地处理俄语中的复杂语法和词形变化规则。
- 人工干预：在词干分析器的结果中引入人工干预的环节，通过人工的方式对一些特殊情况进行处理，以提高准确性。
- 结合其他工具：可以考虑将其他相关的自然语言处理工具或技术与词干分析器结合使用，以提高整体的分析效果。
腾讯云相关产品和产品介绍链接地址： 腾讯云自然语言处理（NLP）：https://cloud.tencent.com/product/nlp
相关·内容
我们目前正在开发一款支持全文搜索的应用程序，Lucene.NET是我们的首选武器。人们期望的是，一个应用程序将被来自不同国家的人使用，因此Lucene.NET必须能够同样好地搜索俄语、英语和其他文本。
有没有通用的、独立于文化的词干分析器来满足我们的需求？我理解最终我们将不得不使用特定于文化的方法，但我们希望使用这种潜在的快速和肮脏的方法。
浏览 2提问于2011-03-28得票数 0
回答已采纳
2回答
我有两个版本的solr在我的机器上工作。比如SolrVer1和SolrVer2
SolrVer1已经在字段类型text_en_splitting上应用了以下词干分析方法
<filter class="solr.KeywordMarkerFilterFactory" protected="protwords.txt" ignoreCase="true"/>
<filter class="solr.PorterStemFilterFactory" ignoreCase="true"/>
Sol
浏览 1提问于2012-08-23得票数 0
回答已采纳
我在标准分析器中使用ElasticSearch和Lucene。当查询是"Paleo“时，我想让我的索引不返回”古生物学“的结果。然而，我确实希望它返回与“旧石器”相关的“旧石器”的结果。换句话说，我希望分析器更智能，过滤掉与关键字无关的词干，同时保留与关键字相关的词干。我有哪些可用的解决方案？
浏览 3提问于2013-07-16得票数 0
例如，如果我的搜索词是："Houses“我想要找到结果"House”如何在没有最后1-2个单词字母的情况下进行搜索？
我尝试了"nGram“过滤器，但它搜索的是完整的单词。
浏览 0提问于2014-12-28得票数 0
1回答
我在一个Java应用程序中处理一些印度尼西亚文本，并且我需要阻止它们。
目前我使用的是lucene印尼词干分析器。org.apache.lucene.analysis.id.IndonesianAnalyzer；
但结果并不令人满意。
有人能给我推荐不同的词干吗？
浏览 4提问于2013-07-30得票数 0
4回答
php，中文和俄文搜索
、、、、
最终，我创建了一个三种语言的网站:英文、俄文和中文。我希望如果我在应用程序和数据库中使用UTF-8，在输入输出方面不会出现任何问题(会吗？)
但其中最可怕的部分是搜索。应该够酷的。它应该是全文，它应该索引，等等。我希望它能理解词法，使用词根等等。
首先，我看过Zend_Search_Lucene，但当我从那里意识到它在中文方面有问题时。:(
现在我在想狮身人面像。它既支持英语也支持俄语词条。我不知道用中文有多好，我也不知道对我来说增加支持有多难。是一线希望，但是，作为没有经验的狮身人面像用户，我想我不明白这里说的是什么。
所以,
有没有人有这种“语言不可知论”搜索的经验，并能与我分享，拜托？
浏览 7提问于2009-10-29得票数 2
回答已采纳
2回答
我使用的是Solr 1.3。最近，QA报告了一个关于搜索功能的错误，即"Jackie“一词没有结果。但是，当我使用luke查看文档时，有很多文档包含单词"jackie“。
Jackie Holding, Kumar Rameshwaram, Morris Jackson
Jackie Holding, Brendon Wessel, Smith McShlam
Jackie Redmond, John Smith, Martha Doum
Trevor Harris, Jackie Collins, Martin Green
如果我搜索除jackie之外的任何词，sol
浏览 0提问于2010-08-19得票数 1
回答已采纳
1回答
当我做全文搜索时，我的查询是pension paid united nation，它给出了包含national单词而不是国家单词的顶级结果，但我希望结果应该包含查询中的所有单词，但不希望national而不是希望nation word应该出现在文档中。
如何使用SOLR实现这一点？
浏览 5提问于2015-09-18得票数 0
我正在尝试从一堆西班牙语推文中获取关键字。问题是，当我得到结果时，响应中大多数单词的最后一个元音都被删除了。你知道为什么会发生这种情况吗？
这些数据是用西班牙语从Twitter上提取的干净的推文
下面是查询：
{
"query": {
"bool": {
"must": {
"terms": {
浏览 18提问于2019-08-07得票数 0
回答已采纳
2回答
我仍然是Solr Lucene的新手，并且我注意到了我执行的搜索的一个有趣的“问题”。
如果我对"responsible“进行基本搜索，我也会得到包含”responsible“一词的结果。
我想这是可以的，但问题是结果与我正在寻找的关键字(响应式)出现在包含我没有寻找的关键字的结果下面！(负责)。
诚然，带有"responsible“的结果有更多的关键字匹配，但事实仍然是我没有搜索这个。
我喜欢这个替代单词/同义词功能，但是有没有一个我应该寻找的设置，以确保实际搜索关键字的结果排名高于替代搜索关键字？
非常感谢，非常感谢。Seb
浏览 2提问于2011-09-22得票数 2
我在我的查询字符串搜索中使用了雪球分析器...就像这样
"query" : {
"query_string" : {
"query" : the-query-string-goes-here,
"default_operator" : "AND",
"analyzer" : "snowball"
}
}
这实际上是有效的，但它做了一些奇怪的事情。搜索"fighting“将返回"fig
浏览 2提问于2012-09-07得票数 6
回答已采纳
我的目标是分析一些语料库(目前是twitter)，以获取情感内容。就在今天，我意识到搜索词干比有一个详尽的情感词干列表更有意义。因此，我一直在探索nltk.stem，结果发现有4种不同的词干分析器。我想问一下stackoverflow语言学家，LancasterStemmer、PorterStemmer、RegexpStemmer、RSLPStemmer或WordNetStemmer哪一个更好？
浏览 0提问于2009-08-12得票数 9
回答已采纳
我需要在我的应用程序中使用porter词干算法来获取词干，但是当我测试我从获得的算法时，词干提取的结果并不能给我正确的词干，例如: happy --> happi virus --> viru等你能帮我解决吗？
浏览 2提问于2010-12-23得票数 1
回答已采纳
刚刚开始使用Lucene.Net。我使用标准分析器索引了100,000行，运行了一些测试查询，并注意到如果原始术语是单数的，则复数查询不会返回结果。我知道snowball分析器增加了词干分析支持，听起来不错。然而，我想知道使用snowball比标准有什么缺点吗？随波逐流，我会失去什么吗？有没有其他的分析器可以考虑？
浏览 4提问于2010-10-07得票数 22
回答已采纳
2回答
我在solr索引中添加了"American“。当我通过“美国”搜索时，没有结果。
如何配置schema.xml以获得结果？
目前的配置：
<fieldType name="text" class="solr.TextField" positionIncrementGap="100">
<analyzer type="index">
<tokenizer class="solr.WhitespaceTokenizerFactory&
浏览 4提问于2011-03-12得票数 9
1回答
我有两个Xapian数据库，一个叫"EN“，另一个叫"DE"，假设前者包含一些英语文档，后者包含德语文档。
如果我希望用户能够同时搜索这两个数据库，我可以很容易地加载这两个数据库。但是，似乎我只能使用一个词干分析器和一组停用词？
没有办法实例化英语词干分析器并使其仅应用于来自"EN“数据库的那些结果？没有办法用英语单词创建一个塞子，并让它只应用于来自"EN“数据库的那些结果？
这可能是对的吗？
浏览 0提问于2009-07-15得票数 2
回答已采纳
我想在全文索引上使用CONTAINS，在匈牙利数据上使用FORMSOF(...)。有可能吗？我知道SQL Server默认情况下不支持它。
浏览 1提问于2011-08-19得票数 2
回答已采纳
1回答
我正在使用NLTK从文本中提取单词，并对这些单词进行一些基本的分析。但是，出于显示的目的，我希望将这些词干转换回“词根”单词(但不是转换回最初的形式或词缀)。例如：
>>> import nltk
>>> from nltk.stem import SnowballStemmer
>>> sn = SnowballStemmer("english")
>>> sn.stem("happiness")
u'happi'
>>> sn.stem("hap
浏览 2提问于2018-10-16得票数 0
我正在使用ruby的词干gem来词干一些单词。我有一个类似于下面的类naivebayes.rb：
require "stemmer"
.....
class Naivebayes
include Stemmable
def clean_word(word)
..
...
stem(word)
end
end
我省略了一些代码。当我在rails应用程序之外运行它时，同样的代码运行得非常好，如下所示: ruby naivebayes.rb。然而，当我在rails控制台或控制器中的rails应用程序中运行它时，
浏览 4提问于2014-01-27得票数 0
首先，我必须说，我们使用的Lucene.NET版本不是最新的，因为它与Sitecore 6.4.1打包在一起，到目前为止，我们还没有深入研究分析器和词干分析的使用(大错误！)。
基本上，我们正在尝试实现某种形式的词干提取，要么是在索引期，要么是在查询期(正在寻找关于哪个是最好的建议？)。我们的主要问题是，所有关于词干分析的文档都是用Java语言编写的，我真的很难把它带到C#上来。我希望有人能提供这方面的资源示例或链接。
由于我们的Lucene.NET版本非常旧，我认为使用雪球分析器是不可能的(甚至在我们的版本中都不可用)，因此我们考虑使用PorterStemFilter。
有没有人能给我一些帮
浏览 1提问于2012-06-15得票数 1
回答已采纳
我使用这个搜索查询：
GET videosearch/_search
{
"query": {
"match": {
"tags": "logs"
}
}
}
以返回标记字段中包含“日志”的所有文档。
标记字段具有以下映射：
"tags": {
"type": "string",
"analyzer": "english",
"fields": {
浏览 3提问于2016-08-06得票数 0
回答已采纳
5回答
我正在找一个阿拉伯语的Java词干分析器。我找到了一个名为"AraMorph“的库，但它的输出是不可控的，并且它对不需要的单词进行构造。
有没有其他的阿拉伯语词干分析器？
浏览 0提问于2011-07-12得票数 9
我需要一个好的词干算法为我正在工作的项目。有人建议我看看Porter Stemmer。当我查看Porter词干分析器的页面时，我发现它现在已被弃用，取而代之的是"Snowball“词干分析器。
我需要一个好的词干分析器，但我不能真的花大量的时间来实现(或优化)我自己的词干分析器。什么是最好的“现成”，免费获得的词干？有没有价格合理的非免费词干分析器？或者，雪球词干是我最好的选择吗？
浏览 2提问于2008-10-22得票数 7
回答已采纳
4回答
词干是标记系统中需要的东西。我使用don，而且我没有时间管理和修剪我的标签。我对我的博客比较谨慎，但它并不完美。我为嵌入式系统编写的软件如果包含词干分析，功能会更强大(对用户很有帮助)。
例如：
解析
解析器
解析
无论我将它们放入哪个系统，都应该意味着相同的事情。
理想情况下，某个地方有BSD许可的词干分析器，但如果没有，我从哪里可以学习到通用的算法和技术呢？
除了BSD词干分析器之外，还有哪些开放源码许可的词干分析器？
-Adam
浏览 3提问于2009-02-27得票数 6
回答已采纳
1回答
在我的蓝色认知搜索索引中，当我搜索“教育”一词时，我的点击量为660次。当我搜索“教育”这个词时，我也得到660次点击。两者似乎都返回了相同的结果，其中包含了两个词的变化与另一个。
但是，在使用通配符时，我看到了非常奇怪的行为：
edu* returns 660 results (expected)
educ* returns 660 results (expected)
educa* returns 2 results (matches two instances of the hyphenated word "educa-tion")
educat* returns 0 r
浏览 2提问于2021-08-21得票数 0
回答已采纳
1回答
基于监督学习的情感分类
、、、、
我正在使用python的scikit-learn对来自Livejournal的博客进行情感分类。我有大约40000个帖子，我使用其中的4/5作为训练集，其余的作为测试集。
有6种情绪：['joy','sadness','anger','surprise','love','fear']
我体验过几种分类器(包括naive bayes，svm，sgd..)但问题是预测是非常非常不准确的。实际上，这几乎是微不足道的，因为测试集中几乎每个博客都被预测为“快乐”，这是训练集中最常见的情绪(45%)。
特征集基
浏览 1提问于2015-10-18得票数 1
1回答
谁能解释一下这个Postgres SQL查询中的文本似乎是不完整的矢量化？
with x as
(
select 'the organic organization organizes organisms'::text as t,
to_tsvector('english','the organic organization organizes organisms'::text) tvect
)
SELECT t,
left(ts_headline(t, 'organic'::tsquery), 100),
ts_rank_c
浏览 9提问于2020-08-03得票数 0
回答已采纳
tokenize_texts = [ ['mentioned', 'reviewers', **'episode', 'exactly'**] ]
porter_stemmed_texts = []
for i in range(0, len(tokenize_texts )):
porter_stemmed_text = [nltk.stem.PorterStemmer().stem(word) for word in tokenize_texts[i]]
porter_stemmed_texts.appen
浏览 17提问于2019-09-14得票数 1
回答已采纳
我正在做一个IR项目，我需要一个词干分析(返回虚词)和词汇化(这可能根本不会改变单词)的替代方案。 因此，我寻找一种方法来获得单词的形式。 这个python脚本使用NLTK和Wordnet为我提供了一个单词的检索(例如，“derivationally_related_forms”)： from nltk.corpus import wordnet as wn
str = "retrieving"
synsets = wn.synsets(str)
s = set()
result = ""
for synset in synsets:
r
浏览 53提问于2020-04-05得票数 1
回答已采纳
我需要能够使用termDocs和term的返回结果。当我使用标准分析器时，我不会返回任何结果，其他分析器上的任何想法都可以执行与标准分析器相同的操作，并使用以下术语返回结果(example term- #define)：
analyser = new StandardAnalyser(Version.LUCENE_30);
reader = IndexReader.open(FSDirectory.open(IndexDir), true);
TermDocs td = reader.termDocs();
QueryParser parserC
浏览 1提问于2011-05-24得票数 0
回答已采纳
1回答
我有一个问题，那就是我有一组员工记录的索引。全文索引基于人员的姓名和职位。
我可以毫无问题地搜索像"john“这样的名字，以及像"anthon”这样的名字的一部分，这是可行的。
但是，有些名字不能正确搜索，比如"anthony“不会返回任何结果，而"anth”会返回所有anthony的结果。
浏览 0提问于2012-02-23得票数 3
回答已采纳
2回答
我在Java中使用Lucene为语料库建立索引，并从中提取词干列表。我使用的是EnglishAnalyzer。然后，我把词表交给Python，让它用NLTK做一些事情。NLTK中是否有一个词干分析器与Lucene的EnglishAnalyzer使用的词干分析器完全兼容？
我知道我也可以使用PyLucene来规避这一点，但我希望最小化依赖项。
浏览 0提问于2012-07-06得票数 1
我需要忽略带有索引结果的撇号，以便搜索"Johns土豆“将显示”John的土豆“的结果
我能够让分析器被接受，但现在我不返回任何搜索结果。有没有人看到我明显漏掉了什么？
$params = [
'index' => $index,
'body' => [
'settings' => [
'number_of_shards' => 5,
'number_of_replicas' => 2,
浏览 0提问于2018-11-06得票数 0
5回答
我正在为一个网站建立一个搜索引擎，在那里用户可以来自许多不同的国家和张贴文本内容。
我会考虑：-一个法国人产生法语和英语的内容-一个德国人产生德语和英语的内容，等等…
我想知道的是，是否有可能在同一时间内使用不同的雪球词干语言进行搜索，以便我们在相同的时间内得到适当的结果。
我们必须为每个snowball词干语言创建一个索引吗？
这种情况有没有一种已知的模式？
谢谢
浏览 5提问于2012-06-15得票数 5
回答已采纳
1回答
我想为我的网上购物网站实现一个搜索引擎
我测试了几个分析器，但没有发现它们之间的显著差异。我使用了snowball，ngram，标准分析器
我不知道哪个分析器适合哪个产品名称，给我最好的结果，我也不知道我应该使用哪个搜索查询
这是我的映射方案
{
"settings": {
"analysis": {
"analyzer": {
"autocomplete": {
"type": "cus
浏览 2提问于2014-07-06得票数 1
欧洲的许多语言都是屈折的。这意味着一个单词可以在文本中以多种形式书写。例如，波兰"komputer“中的”计算机“一词有多种形式："komputera”、"komputerowi“、"komputerem”、“komputer”等等。
我应该如何正确地使用django+haystack+whoosh来处理语言变化？
每当我搜索任何形式的"komputer“、"komputera”、"komputerowi“时，我的意思都是->"komputer”。
在NLP中，有一种基于词干词干(切割后缀)或将表单转换为基本形式("
浏览 1提问于2010-09-10得票数 1
回答已采纳
3回答
我目前正在编写一个脚本，它在文档中运行，提取所有关键字，然后尝试将这些关键字与其他文档中找到的关键字进行匹配。有一些细节使这个问题变得复杂，但它们与我的问题不是很相关。基本上，我希望能够匹配单词，而不考虑它们出现的时态。
例如:如果给定字符串" swam“、”swam“和" swimming "，我希望程序能够识别出这些都是相同的单词，尽管它是否会将单词存储为swim、swam或swimming对我来说无关紧要。
我知道这个问题基本上可以通过一个包含所有这些单词形式的字典来解决，但我不知道有任何字典以这种方式映射到对此有用。我更喜欢与Python兼容的解决方案或库，因为
浏览 3提问于2012-06-01得票数 4
回答已采纳
我想用Wordnet查找词干。wordnet有词干提取功能吗？我使用这个import进行词干提取，但是它不能像预期的那样工作。
from nltk.stem.wordnet import WordNetLemmatizer
WordNetLemmatizer().lemmatize('Having','v')
浏览 2提问于2011-07-12得票数 4
回答已采纳
我对ElasticSearch中何时使用词干分析器感到困惑。
在Dealing with Human Language/Reducing Words to Their Root Form部分中，我看到词干分析器用于将单词剥离为其词根形式。这使我相信词干分析器被用作分析器上的令牌过滤器。
但是令牌过滤器只过滤令牌，实际上并不会将单词缩减为其词根形式。
那么，词干分析器用在哪里呢？
浏览 5提问于2016-01-26得票数 1
1回答
我正在尝试使用RTextTools附带的德语词干分析器，但我得到的结果相当不正确。
比方说，我有以下向量：
v <- c("groß", "größer", "am", "größten", "ähnlicher")
使用
library(RTextTools)
wordStem(v, "german")
我得到了
[1] "groß" "größer" "am" "größten" "ähnlich&#
浏览 1提问于2012-06-09得票数 4
4回答
哪些统计引擎可以产生比OpenNLP工具套件更好的结果？我正在寻找的是一个引擎，从文本中挑选关键字，并提供对这些动词和名词的词干，也许自然语言处理不是这里的方式。引擎还应该与不同的语言一起工作。
浏览 0提问于2011-07-09得票数 2
回答已采纳
2回答
探踢堵头
、、、
使用搜索，并看到搜索"animals"是返回结果的"anime"，因为他们的茎"anim"。有没有人对如何改善这些结果有任何建议？
我看到了你可以做的事
exclude_queries = {
"animals" => ["anime"],
}
Product.search query, exclude: exclude_queries[query]
但是，似乎有很多工作要为所有像这样的糟糕的人保留一份竞选名单。
想知道我是否需要换一下树干机？
浏览 3提问于2020-06-22得票数 0
回答已采纳
1回答
Solr法语架构
、、
有人能分享法语数据的最好的solr模式吗？我已经为我当前的项目实现了这一点，但它没有为法语文本提供适当的数据。
我的schema.xml：
<schema name="example core zero" version="1.1">
<types>
<!-- boolean type: "true" or "false" -->
<fieldtype name="string" class="solr.StrField" sortMi
浏览 4提问于2014-07-24得票数 0
我对ElasticSearch语言分析器有问题。我正在研究立陶宛语，所以我使用的是立陶宛语言分析仪。分析器运转良好，我得到了我需要的所有单词。例如，我索引立陶宛城市"Klaipėda"：
PUT /cities/city/1
{
"name": "Klaipėda"
}
问题是，当我只在拉丁字母("Klaipeda")中搜索"Klaipėda“时，以及在所有立陶宛情况下，我也需要得到一个结果：
"Klaipeda“
属格："Klaipedos“
..。
定位案件："Klaiped
浏览 1提问于2017-03-14得票数 1
回答已采纳
我使用荷兰分析器在我的文档中有一些搜索索引，它运行得很好。例如，考虑：
当我试图让我的搜索变得模糊时，一切都出了问题：
突然返回0结果。这怎么可能呢？
编辑：
设计文件：
{"_id": "_design/RegelingInfo",
"_rev": "11-20993b8c49d8bcc1cd4fde58e5f40b27",
"views": {
"all": {
"map": "function(doc) {
浏览 3提问于2013-12-05得票数 0
回答已采纳
我正在寻求一些帮助，在lucene 7与波特的使用堵塞。我找不到任何东西能让我把词根传给我的作家。我对此相当陌生，所以可能有办法通过收费来做到这一点，但我希望能做到这一点，因为我有很多文件要阻止。
public void indexWithUrls(String rootpath) throws IOException {
try {
Directory index = FSDirectory.open(INDEX_DIR2);
EnglishAnalyzer an = new EnglishAnalyzer();
IndexWrite
浏览 2提问于2017-11-02得票数 0
回答已采纳
在对的热情中，PostgreSQL全文搜索引擎也减少了专有名词。例如：
essais=> select to_tsquery('english', 'bortzmeyer');
to_tsquery
------------
'bortzmey'
essais=> select to_tsquery('english', 'balling');
to_tsquery
------------
'ball'
(1 row)
至少第一个，我敢肯定它不在英语词典里！避免这种虚假词干的更好
浏览 4提问于2008-12-09得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
