文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Lucene+Solr+ElasticSearch查询匹配优化

当我们在处理搜索业务时候，需求往往是灵活多变的，有时候我们需要精确匹配，有时候我们又需要全文检索，而有时候，我们又想匹配度高而且还能全文检索，这似乎是精确匹配和模糊匹配一个妥协的策略，没错这就是搜索引擎出现的目的.../有限/有/限/公司 我们可以通过defType=edismax&mm=100%25来控制term最小命中的个数，下面来看下mm参数的详细解释： 语法一：mm=3 代表至少匹配3个term，...语法三：mm=75% 允许返回的结果里面，至少有75%匹配度，如果不能整除，则采取进一法来得到最小匹配个数，比如计算值=3.75，那么这个mm就等于3，如果等于0.6这个等于0 语法四：mm=...-25% 反向设置，返回的结果里面最多有25%的不匹配 语法五：3字段分词后的term数，小于等于3，则要求全部匹配，如果大于3，则要求90%的匹配度 语法六：2<-25%...term 大家可在自己的场景中，不断反复测试，以找到合适的阈值，从而避免查询结果集过大，有太多不相关的数据或者查询结果集偏小漏掉一些相关的数据。

1.3K50

如何合理的控制solr查询的命中的数量和质量？

在solr里面，如何合理的控制的命中的数量？ 在一些日常的文章中或一些信息中，都有一些高频词，而这些高频词，在参与查询时，往往会造成，大量的结果集命中。 什么意思呢？...我们分析下在全文检索中两个重要的概念 ---- 查准率 召全率 在Lucene，Solr和ElasticSearch里面一般的分词的查询结果都会对这两个率做一个最好效果的调配，而这个默认的相关性评分规则就是...，这种问题大概只有10%的概率，我们可以索引两个字段，来避免这种问题，一个分词，一个不分词，查询时候，可以一起查询两个字段. ---- 回到刚才饭店的那个问题，假如现在有想要搜索一个： 北京车道沟北里小庄十里香饭店...，但命中量太大了，超过4页之后几乎都是北京xxxx饭店了，跟主题的搜索没啥关系，所以我们可以采取一些策略来避免这种情况: solr默认的搜索策略，是分词后的term的or的关系，最后结果集全部返回，如果我们改成...&mm=80%25 然后查询即可，mm是最小匹配的数量，可以是个固定的值，也可也是个百分比，因为散仙是在solr的admin页面查询，所以需要把%替换成url字符%25，这样才能正确发送到solr的服务端

1.9K50
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    一起学Elasticsearch系列-搜索推荐

    建议器将在 title 字段中查找匹配项，并提供最受欢迎的建议结果。 Options text：用户搜索的文本。 field：要从哪个字段选取推荐数据。 analyzer：使用哪种分词器。...如果用户输入的文本在索引中没有匹配项，但有与之相关的建议结果，则这些建议结果将被返回作为搜索建议。这种模式适用于确保即使没有完全匹配的结果，用户仍能获得相关的建议。...无论用户输入的文本是否与索引中的某个词项完全匹配，Term Suggester 都会提供一组建议结果。这种模式适用于用户输入的文本可能只是部分匹配的情况，以便提供更多的补全或纠错建议。...Completion Suggester 将在 title_suggest 字段中查找与前缀匹配的建议结果。...这样，Context Suggester 将根据搜索的前缀和上下文信息生成相应的建议结果。 context：上下文值，根据上下文类型和值的数据类型进行指定。可以是文本、数字、布尔值等。

    44020

    Solr查询处理简介

    在此例中，我们将制造商字段manu限定在Belkin，对结果进行筛选 sort price asc 指定排序字段与排序方式。根据响应的分数或另一个指定的特性对查询的响应进行正序或倒序排序。...在文本搜索框中输入iPod，在fl字段中填入name、features、与socre三个字段，执行查询。 结果：返回三个文档，根据得分降序排列。...在score字段的得分数值并非具有绝对意义，它在Lucene内部仅用作相对排名，而且同一文档在不同查询中的得分并无关系。也就是说，与查询匹配的文档相关度得分仅适用于该查询。...排序 搜索的结果默认根据相关度得分将文档按降序(从高到低)排列。Solr还可以根据文档中的其他字段来进行排序。 排序和分页结合起来使用是因为排序决定了搜索结果在页面中的位置。...如下表所示： 参数 描述 dismax 析取最大查询解析器 edismax 扩展的析取最大解析器 hl 搜索结果高亮 facet 分面 spatial 地理空间搜索，如：基于位置距离的排序 spellcheck

    1.6K20

    Part 2！蓝队Shodan - 工具篇

    让我们启动 shodan CLI 进行基本搜索，看看命令行界面中的输出是什么样的。Shodan搜索参数用于命令行中进行搜索并在终端环境中方便地查看结果。...Shodan CLI使用 搜索1：基本搜索 在此搜索中，我们将查询之前博客中使用的同一网段（即 118.69.133.0/24），并显示最多 10 个结果，字段包括 IP 地址、端口、主机名、操作系统...作为结果显示的感兴趣字段包括 IP 地址、端口、主机名、操作系统、国家/地区和城市，限制为 10 个。...shodan search "Your Files Have Been Encrypted" --limit 10 搜索4：将结果导出到文件中 在此搜索中，我查找端口 21，结果字段定义为 IP 地址、...分面基本上用于匹配城市、港口等属性，并为您提供结果中定义属性的最高值的细分。

    46410

    elasticsearch 学习笔记01

    当查询时，比如 中国，人民 这样 的词，在查找时它所对应的 数据记录的ID有，1，14，1001 这样的数据ID。es 把这些ID的记录包含组成结果返回就是查询结果了。...） 是对处理数据的方式和规则方面做出的一些限制，如某个字段的数据类型、默认值、是否被索引等等，这些都是映射里面做出限制。...Replicas（副本）：在可能出现故障的网络环境中，需要有一个故障切换机制，Elasticsearch提供了将索引的分片复制为一个或多个副本的功能，副本在某些节点失效的情况下提供高可用性。...对于数值类型match操作使用的是精确匹配，对于文本类型使用的是模糊匹配； 条件搜索，使用match表示匹配条件，例如搜索出account_number为20的文档： GET /bank/_search...aggs 对搜索结果进行聚合，使用aggs来表示，类似于MySql中的group by，例如对state字段进行聚合，统计出相同state的文档数量； GET /bank/_search {

    82530

    Linux三剑客之grep，awk，sed命令必知必会

    Linux中的Grep，Awk和Sed命令之间有什么区别？ Grep命令用于查找文件中的特定模式，并输出包含搜索模式的所有结果。...另一方面，Awk也用于在文件中搜索某些模式，但会继续在模式匹配上执行某些任务。 可以同时使用Grep和awk来缩小搜索增强结果的范围。...Grep是用于快速搜索匹配模式的简单工具，但是awk更像是一种编程语言，用于处理文件并根据输入值生成输出。 sed命令对修改文件最有用，它搜索匹配的模式并替换它们并输出结果。...在Linux中使用Grep命令 Grep命令用于查找文件中的特定模式并显示与该模式匹配的所有字段。搜索的模式通常是正则表达式。...它使您能够以语句形式编写简单有效的程序，以在文件中搜索特定模式，并在找到匹配项时执行操作。 当使用' awk '时，我们将花括号括起来。 模式和动作都形成规则，整个awk程序都用单引号引起来。

    9.3K20

    触类旁通Elasticsearch：关联

    对象类型 允许将一个对象作为文档字段的值，主要用于处理一对一关系。如果用对象类型表示一对多关系，可能出现逻辑上的错误。...图4 反规范化技术将数据进行复制，避免了高成本的关系处理 二、将对象最为字段值 通过对象，ES在内部将层级结构进行了扁平化，使用每个内部字段的全路径，将其放入Lucene内的独立字段。...搜索对象 默认情况下，需要设置所查找的字段路径，来引用内部对象。下面的代码指定location_event.name的全路径将其作为搜索的字段，从而搜索在办公室举办的活动。...routing字段向ES提供了散列的ID，即路由值，这使得ES将父子文档路由到相同的分片，搜索的时候能从中获益。..._routing字段是被存储的，因此可以检索其内容。同时，这个字段也是被索引的，这样可以通过条件来搜索其值。

    6.3K20

    电池教程（DSDT）

    实现原理 : 由于苹果无法使用ACPI EC中超过8位的寄存器（又叫EC缓冲区，Embedded Controller Buffer），我们需要利用Hotpatch的原理更名涉及到EC的Method使其失效并在新建的...; 我们先来理解一下这个， into：针对 Device label：关于这个设备范围里 EC0:设备的名称 code_regex：匹配搜索 BADC,\s+16：被搜索的代码，\s+16表示16字节...， 在设备EC0的范围内搜索16字节的BADC，如果有，就替换为“DCA0,8,DCA1,8,” 我们在来表示成一个处理结果：BADC， 16，—–>DCA0,8,DCA1,8, 当然这只是在声明字段中进行拆分处理...B1B2(DCA0,DCA1) end; 解释： into method label SMTF：针对Method为SMTF的这个范围内 code_regex：匹配（搜索） BADC：被搜索的字段...字段长度)，WECB(偏移量, 字段长度,未处理前的前参数 ) 字段长度很好理解，64位就是64，128位就是128，256位就是256 WECB中的未处理前的前参数，我们举个例子好理解一点 比如：

    75940

    ElasticSearch可扩展的开源弹性搜索解决方案

    pretty 3.操作：通过REST操作数据，GET、POST、PUT、DELETE 二、搜索数据 A.查询和索引的过程 1.索引过程：准备发磅到ES的文档并在索引中存储文档的过程 2.搜索过程：匹配满足查询条件的文档的过程...pretty=true' -d @query.json C.基本查询 1.term：匹配给定字段有某个词项的文档 2.terms：匹配包含某些词项的文档 3.match：提取参数中难写的取值，分析这些值...，不支持fields属性 16.range：可以在某个范围内在数值型字段和字符串型字段上查找文档，只作用在单个字段上，查询的参数封装在字段的名称中 D.过滤查询结果 1.在query属性下添加filter...字段就可以在任何搜索中使用过滤器 2.range：将搜索范围限制在字段取值在给定界限内的文档 3.exists：只选择有指定字段的文档 4.missing：与exists相反，还可以指定将哪些值作为空值处理...:false 2.空间索引：geo_point 四、搜索优化 1.boost权值影响排序结果 2.同义词过滤器synonym 3.跨度查询：span_term、span_first、span_near、

    1.6K30

    ElasticSearch权威指南学习（结构化查询）

    这种评分方式非常适用于一个没有完全配置结果的全文本搜索 性能差异 使用过滤语句得到的结果集--一个简单的文档列表，快速匹配运算并存入内存是十分方便的，每个文档仅需要1个字节。...这些缓存的过滤结果集与后续请求的结合使用是非常高效的 查询语句不仅要查找相匹配的文档，还需要计算每个文档的相关性，所以一般来说查询语句要比过滤语句更耗时，并且查询结果也不可缓存。...使用情况 原则上来说，使用查询语句做全文本搜索或其他需要进行相关性评分的时候，剩下的全部用过滤语句 最重要的查询过滤语句 term 过滤 term主要用于精确匹配哪些值，比如数字，日期，布尔值或 not_analyzed...如果某个字段指定了多个值，那么文档需要一起去做匹配： { "terms": { "tag": [ "search", "full_text", "nosql" ]...范围操作符包含： gt :: 大于 gte:: 大于等于 lt :: 小于 lte:: 小于等于 exists 和 missing 过滤 exists 和 missing 过滤可以用于查找文档中是否包含指定字段或没有某个字段

    58420

    触类旁通Elasticsearch：原理

    搜索的时候，ES没必要为了某个词条扫描所有文档，而是根据这个字典快速识别匹配的文档。 词频使得ES可以快速地获取谋篇文档中某个词条出现的次数。这对于计算结果的相关性得分非常重要。...图8展示了一个拥有3个节点的集群，每个节点只有一份分片且没有副本分片。如果某个节点宕机了，就会丢失某些数据。在这种情况下，ES提供正常分片中的结果，并在failed字段中报告不可搜索的分片数量。 ?...ES默认限制结果数为10，可使用size参数修改返回的结果数量。查看total字段的值，可以获取匹配搜索条件的精确文档数量。...如果结果中某个指定字段的值为空，缺省没有该字段的定义，就像结果中没有location_event.name字段。...这点和数据库不同，数据库是有schema的，字段值和表定义分开处理，即使某字段没有值，结果中该字段也会有个NULL值。如果不指定需要哪些字段，会返回“_source”中的所有字段。

    77510

    MySQL 索引概览

    ，可以快速对特定值进行定位和查找，从而大大加快数据查询的效率。...如果某个数据列包含许多重复的内容，为它建立索引效果就很差，这个性质称为索引的选择性：不重复的索引值和数据表中的记录总数的比值。索引的选择性越高则查询效率越高。...因此应该只为最经常查询和最经常排序的数据列建立索引。MySQL里同一个数据表里的索引总数限制为16个。...按字段个数划分 按字段个数可以把索引分为单一索引和联合索引。 单一索引 索引字段只有一列时为单一索引，上述所有索引都是单一索引。 联合索引 将多个字段组合在一起创建的索引叫联合索引。...这是因为MySQL联合索引的最左匹配原则，只会按照最左优先的顺序进行索引匹配，也就是说，(x,y,z) 和 (z,y,x) 是不同的索引，即使是使用联合索引中的字段查询，联合索引也有可能失效。

    81220

    学好Elasticsearch系列-Query DSL

    相关度评分：_score 相关度评分用于对搜索结果排序，评分越高则认为其结果和搜索的预期值相关度越高，即越符合搜索预期值，默认情况下评分越高，则结果越靠前。...需要注意的是，尽管这些设置会影响搜索结果中_source字段的内容，但并不会改变实际存储在Elasticsearch中的数据。...term 查询：这种查询对待查询字符串为一个完整的单位，不进行分词处理，并且大小写敏感。它可以在文本、数值或布尔类型字段上使用，通常用于精确匹配某个字段的确切值。...terms：匹配和搜索词项列表中任意项匹配的结果 terms 查询用于匹配指定字段中包含一个或多个值的文档。这是一个精确匹配查询，不会像全文查询那样对查询字符串进行分析。...但是，如果你将 boost 参数设置为大于 1 的数，那么匹配的文档的 _score 将会提高，反之则会降低。 range：范围查找 range 查询允许你查找位于特定范围内的值。

    29510

    Elasticsearch-05Elasticsearch之查询与过滤

    一条过滤语句会询问每个文档的字段值是否包含着特定值， 比如 是否 createTime 的日期范围某个时间段内？ 是否 status 字段中包含单词 “published” ?...这种评分方式非常适用于一个没有完全配置结果的全文本搜索。...Query查询语句不仅要查找相匹配的文档， 还需要计算每个文档的相关性， 所以一般来说查询语句要比过滤语句更耗时， 并且查询结果也不可缓存 Filter过滤查询语句在查询过程中，只判断该文档是否满足条件...---- terms 过滤 terms 允许指定多个匹配条件。 如果某个字段指定了多个值， 那么文档需要一起去做匹配。...---- exists 和 missing 过滤 exists 和 missing 过滤可以用于查找文档中是否包含指定字段或没有某个字段， 类似于SQL语句中的 IS_NULL 条件。

    1.1K10

    学好Elasticsearch系列-Query DSL

    相关度评分：_score 相关度评分用于对搜索结果排序，评分越高则认为其结果和搜索的预期值相关度越高，即越符合搜索预期值，默认情况下评分越高，则结果越靠前。...需要注意的是，尽管这些设置会影响搜索结果中_source字段的内容，但并不会改变实际存储在Elasticsearch中的数据。...term 查询：这种查询对待查询字符串为一个完整的单位，不进行分词处理，并且大小写敏感。它可以在文本、数值或布尔类型字段上使用，通常用于精确匹配某个字段的确切值。...terms：匹配和搜索词项列表中任意项匹配的结果 terms 查询用于匹配指定字段中包含一个或多个值的文档。这是一个精确匹配查询，不会像全文查询那样对查询字符串进行分析。...但是，如果你将 boost 参数设置为大于 1 的数，那么匹配的文档的 _score 将会提高，反之则会降低。 range：范围查找 range 查询允许你查找位于特定范围内的值。

    28740

    ElasticSearch7.8.0Docker安装及入门最基本操作

    ，对于文本类型使用的是模糊匹配； 使用match_phrase，短语搜索 # 只会查出字所有文档中，address字段包含 "mill lane" 的文档 GET /bank/_search { "...{ "match": { "state": "ID" } } ] } } } # 还可以借助 must_not 显示地指定筛选条件 # 使用范围过滤器filter将结果限制为余额...它接受一个字段名以及我们希望查找的数值： { "term" : { "price" : 20 } } 通常当查找一个精确值的时候，我们不希望对查询进行评分计算。...这可能使查找文本字段值的精确匹配变得困难。若要搜索文本字段值，请使用match查询。 默认情况下，Elasticsearch 会在分析期间更改文本字段的值。...} } } # 因为full_text字段不再包含确切的术语 Quick BrwnFoxes! ，术语查询搜索不返回任何结果。

    2.2K30

    ElasticSearch权威指南：深入搜索（下）

    也就是说，在某些情况下部分匹配会比较有用， 常见的应用如下： 匹配邮编、产品序列号或其他 not_analyzed 未分析值，这些值可以是以某个特定前缀开始，也可以是与某种模式匹配的，甚至可以是与某个正则式相匹配的...我们需要保证倒排索引表中包含边界 n-grams 的每个词，但是我们只想匹配用户输入的完整词组（ brown 和 fo ）， 可以通过在索引时使用 autocomplete 分析器，并在搜索时使用 standard...字段长度的归一值对全文搜索非常重要， 许多其他字段不需要有归一值。无论文档是否包括这个字段，索引中每个文档的每个 string 字段都大约占用 1 个 byte 的空间。...最后将它们结合在一起计算单个词在特定文档中的 权重 。 前面公式中提到的 文档 实际上是指文档里的某个字段，每个字段都有它自己的倒排索引，因此字段的 TF/IDF 值就是文档的 TF/IDF 值。...将提升值存储在索引中无须更多空间，这个字段层索引时的提升值与字段长度归一值（参见 字段长度归一值 ）一起作为单个字节存于索引， norm(t,d) 是前面公式的返回值。

    2.7K22

    一起学Elasticsearch系列-Query DSL

    如果你禁用了_source字段，那么会有以下几个影响： 无法获取原始数据：当你查询某个文档时，你将无法获取到原始的_source字段内容，因为它没有被存储在Elasticsearch中。...match：匹配包含某个term的子句 match 查询是 Elasticsearch 中的一种全文查询方式，它包括标准分析和词项搜索。尽管它可以应用于精确字段，但其主要用途是进行全文搜索。...term：匹配和搜索词项完全相等的结果 term 查询主要用于查询某个字段完全匹配给定值的文档。这对精确匹配非常有效，例如数字、布尔值或者字符串。...terms：匹配和搜索词项列表中任意项匹配的结果 terms 查询用于匹配指定字段中包含一个或多个值的文档。这是一个精确匹配查询，不会像全文查询那样对查询字符串进行分析。...但是，如果你将 boost 参数设置为大于 1 的数，那么匹配的文档的 _score 将会提高，反之则会降低。 Range：范围查找 Range查询允许我们查找某个范围内的值。

    47420

    详谈类加载的全过程

    一、加载 加载是类加载的过程，也就是Class Loading，在此阶段主要完成3件事： 通过一个类的全限名来获取定义此类的二进制字节流； 将这个字节流所代表的静态存储结构转化为方法去的运行时数据结构；...列举几个验证的内容： 符号引用中通过字符串描述的全限名是否能找到对应的类。 在指定类中是否存在符合方法的字段描述符以及简单名称所描述的方法和字段。...字段解析：对字段进行解析时，会先在本类中查找是否包含有简单名称和字段描述符都与目标相匹配的字段，如果有，则查找结束；如果没有，则会按照继承关系从下往上递归搜索该类所实现的各个接口和它的父接口，还没有，则按照继承关系从下往上递归搜索其父类...类方法解析：对类方法的解析与对字段解析的搜索步骤一样，只是多了判断该方法所处的是类还是接口的步骤，而且对类方法的匹配搜索，是先搜索父类，再搜索接口。...接口方法解析：与类方法解析步骤类似，知识接口不会有父类，只会递归向上查找父接口。 五、初始化 到了类初始化阶段，才真正开始执行类中定义的Java程序代码。

    73730
    点击加载更多

    扫码

    添加站长 进交流群

    领取专属 10元无门槛券

    手把手带您无忧上云

    扫码加入开发者社群

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2025 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287

      领券