首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

【搜索引擎】提高 Solr 性能

目标是保持我们在较小国家/地区已经拥有的完美性能和稳定性。 我们使用 Zookeeper 在 Openshift 上的 AWS 中使用 SolrCloud (v 7.7)。...理论 Solr 性能最重要的驱动因素之一是 RAM。Solr 需要足够的内存用于 Java 堆,并需要可用内存用于 OS 磁盘缓存。...强烈建议 Solr 在 64 位 Java 上运行,因为 32 位 Java 被限制为 2GB 堆,这可能会导致更大的堆不存在的人为限制(在本文后面部分讨论) ....我们在解决问题之初就使用了自己的计算器,只是为了实现后来在线社区共享的类似问题。 此外,我们确保在启动 Solr 时在 JVM Args 中正确启用垃圾收集器。...当索引服务满负荷时,我们仍然面临问题,导致 TLog 副本进入恢复。 调整 Solr 内存 基于这个问题我们是否有足够的 RAM 来存储文档数量?,我们决定进行实验。

70910

CNVD-2023-34111|Apache Solr 8.3.1 RCE

(Solr的主页) Apache Solr 的版本是 8.3.1,运行在 Windows 上。请注意,这次渗透测试是在 2020 年进行的,远早于log4j的发现。...》如果节点创建失败,则可能会在磁盘上的任何位置创建空目录。 》可以通过核心创建模块接口返回的不同错误来发现计算机上是否存在文件。 》Solr 的大部分参数都容易受到路径遍历的影响。...0x02 上传文件 在core中,可以上传文件和发送数据以供后端处理。使用 Solr 提供的测试文件,应用程序对其进行处理,但不会将它们保存在服务器上。...我没有找到其他可能泄露 UUID 的地方,但由于服务器运行在 Windows 上,因此可以使用 Windows 短文件名的技巧: 在 Windows 上,文件可以有一个更简单的名称,由 6 个字母数字字符后跟一个平铺字符和一个数字组成...0x06 综述 从暴露的 Solr 接口,可以在服务器上获得 RCE。Windows 上的 8.3.2 版之前存在此弱点。

85230
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    ElasticSearch7.6.1 安装及其head插件安装

    本来打算写一篇ES和Solr的差别的,后来想想算了简单说说吧, 如果是对已存在数据建立完成索引的情况下,Solr更快 一但进行索引的操作的时候,Solr的IO是阻塞的 对于大数据量的实时检索,还是ElasticSearch...版本对应 安装包啥的,我就不提拱了,自己去公众号关注 狂神说 回复ES获取 Windows安装: 因为是学习就不往Linux上安装了,我电脑本身就卡的不行,还是穷 解压安装包: image.png  ...logs : 日志 modules : 功能模块 plugins : 插件 电脑配置不好的一定要修改jvm.options文件因为ElasticSearch启动就需要1g内存 image.png  当然性能越高开着越爽...npm install 完成后会出现 image.png 然后运行 npm run start 运行成功后访问 http://localhost:9100 然后就报了一大堆跨域请求报错 跨域问题解决:...image.png 关闭ES服务 找到配置文件 image.png 添加两行跨域配置: image.png 配置完成后保存 然后启动es 先访问9200查看是否启动完成 然后访问9100,发现已经连接成功

    1K31

    WatchBog新型变种分析

    这一新的传播模块存在一个缺陷,它允许我们发起“中间人”攻击,以帮助我们分析二进制文件。 技术分析 watchbog在感染目标时运行初始部署脚本。...初始化 二进制文件会在/tmp/.gooobb处创建文件,在该文件中,它将其pid作为恶意软件执行的日志写入。当此文件存在时,后续启动传播模块都会失败。...这导致WatchBog客户端在使用HTTPS时没有验证证书,否则它将拒绝与C2通信。...服务器回复一个“任务”,让机器自动在目标列表上执行: ? BlueKeep扫描 在较新版本的WatchBog中,已经集成了一个RDP扫描程序,以便找到易受攻击的Windows机器。...5、怀疑自己感染了WatchBog的Linux用户检查是否存在“/tmp/.tmplassstgggzzzqpppppp12233333”文件或“/tmp/.gooobb”文件。

    1.2K20

    Solr-选择您的开源搜索引擎

    我存在的目的是什么?我应该运动还是休息并节省能量?早起上班或晚起并整夜工作?我应该将炸薯条和番茄酱或蛋黄酱一起吃吗? 这些都是古老的问题,可能有也可能没有答案。其中一些是非常困难或非常主观的。...您的问题有许多业务需求,但从根本上讲,这是一个“大数据和搜索”问题。 您需要从多个数据源中提取大量内容,并从这些数据中获取见解,以帮助您的公司发展并实现其今年的目标。 一击致命 这里有很多危险。...这意味着,如果有您需要的功能,并且您以足够的质量向社区做出了贡献,那么它可以被Solr接受。借助Elasticsearch,由Elastic来决定是否接受捐助。因此,Solr上可能有更多功能选项。...文献资料 Elasticsearch和Solr都有文档齐全的参考指南。Elasticsearch在Github之上运行,而Solr使用Atlassian Confluence。...性能 在性能方面,根据我从许多开发人员那里获得的经验,我们可以说这两个引擎都表现出色。因此,对于大多数用例而言,无论是内部还是外部搜索应用程序,只要开发人员正确设计和配置它们,性能都不会成为问题。

    1K30

    Apache Solr Velocity模版注入远程命令执行漏洞复现以及 POC 编写

    默认集成 VelocityResponseWriter 插件,在该插件的初始化参数中,params.resource.loader.enabled 这个选项是用来控制是否允许参数资源加载器在 Solr...接下来我们使用浏览器访问 solr,此时没做任何配置是存在 solr 未授权访问的,所以只在浏览器新建一个 core。...所以我们需要寻找一种来减少软件开发人员重复劳动的方法,让程序员将更多的精力放在业务逻辑以及其他更加具有创造力的工作上。Velocity 这个模板引擎就可以在一定程度上解决这个问题。...https://paper.seebug.org/1107/ https://xz.aliyun.com/t/6700 修补方法 升级到最新的 solr8.4 版本(强烈建议甲方的小伙伴检测公司是否存在相关漏洞...当然,因为 POC 我内置命令是 id,所以只会检测出架设在 Linux 上漏洞。如果架设在 Windows 上,可以把命令改成 dir 之类的 Windows 命令。

    1.4K20

    Apache Solr漏洞总结

    Solr是一个高性能,采用Java5开发,基于Lucene的全文搜索服务器。Solr是一个独立的企业级搜索应用服务器,很多企业运用solr开源服务。...包含了一个查询解析器支持XML格式进行数据查询,出现问题的代码片段在 /solr/src/lucene/queryparser/src/java/org/apache/lucene/queryparser...影响版本 Apache Solr < 8.2.0 Apache Solr 5.x - 8.2.0,存在config API版本 漏洞原理 该漏洞的产生是由于两方面的原因: 当攻击者可以直接访问Solr控制台时...Apache Solr默认集成VelocityResponseWriter插件,在该插件的初始化参数中的params.resource.loader.enabled这个选项是用来控制是否允许参数资源加载器在...攻击者可借助Velocity模板利用该漏洞在系统上执行任意代码。 漏洞影响版本 Apache Solr 5.0.0 ~8.3.1 漏洞复现 1.访问漏洞环境 ip:8983 ?

    4.3K11

    ElasticSearch7.6入门学习

    Elasticsearch可以在你的笔记本上运行,也可以在数以百计的服务器上处理PB级别的数据。 Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎。...Solr提供了比Lucene更为丰富的查询语言,同时实现了可配置、可扩展,并对索引、搜索性能进行了优化 Solr可以独立运行,运行在letty....Solr不提供构建UI的功能, Solr提供了一个管理界面,通过管理界面可以查询Solr的配置和运行情况。 Solr是基于lucene开发企业级搜索服务器,实际上就是封装了lucene....ElasticSearch与Solr比较 当单纯的对已有数据进行搜索时,Solr更快 当实时建立索引时,Solr会产生io阻塞,查询性能较差,ElasticSearch具有明显的优势 随着数据量的增加...(Java环境保证没错) 这里在windows上进行安装 Windows下安装 1、安装 下载地址:https://www.elastic.co/cn/downloads/ 历史版本下载:https:/

    1.4K10

    Running Solr on Kubernetes

    在深入研究细节之前,让我们探讨为什么可能要在Kubernetes上运行Solr的问题。...如果Solr使用的磁盘没有附带,则在新节点上初始化Solr时,它将没有任何可用的cores(Lucene索引),并且必须从磁盘中的另一个副本执行可能昂贵的快照复制。...我们确实想消除一个误解,即在讨论在Kubernetes上运行Solr时听到过的喃喃自语,即k8s不适合有状态应用程序。 的确,k8s与运行有状态应用程序的历史混杂在一起,但这是个老新闻。...目前,我们要回答的问题之一是Solr在Kubernetes中是否较慢。...因此,在这种情况下,在Kube上运行速度更快,但这是一个相当小的数据集,并且云VM的性能可能会略有不同。

    6.3K00

    Solr技术(附软件分享)

    Solr单机版安装 安装环境 solar基于基于java,所以需要jdk,部署在tomcat上所以需要tomcat 点击查看JDK与Tomcat安装与下载 安装solr Solr 版本:solr...required:表示这个域是否是必须要在 document 中存在,默认值为 false,如果此配置项设为 true,则你的 document 中必须要添加此域,否则你创建索引时会抛异常。..." /> Name: 域类型的名称,作为域类型标识符存在,在定义域(Field)时使用的类型 (FieldType)属性就是域类型的名称。...sortMissingFirst/sortMissingLast:控制当排序域的值不存在时该文档(Document) 所在队列的位置。...查看是否上传成功,打开任意zookeeper,运行客户端 ? ? 如果查询myconf节点出现下图则表示上传成功 ?

    1.4K21

    全文搜索引擎选 ElasticSearch 还是 Solr?

    我们主要从以下几个原因分析: 数据类型 全文索引搜索支持非结构化数据的搜索,可以更好地快速搜索大量存在的任何单词或单词组的非结构化文本。...此外,您可以在几分钟内安装并运行 Elasticsearch。 但是,如果 Elasticsearch 管理不当,这种易于部署和使用可能会成为一个问题。...Solr 是真正的开源社区代表。任何人都可以为 Solr 做出贡献,并且根据优点选出新的 Solr 开发人员(也称为提交者)。 Elasticsearch 在技术上是开源的,但在精神上却不那么重要。...Solr 传统上需要更多的工作和知识,但 Solr 最近在消除这一点上取得了巨大的进步,现在只需努力改变它的声誉。 在性能方面,它们大致相同。我说“大致”,因为没有人做过全面和无偏见的基准测试。...对于 95% 的用例,任何一种选择在性能方面都会很好,剩下的 5% 需要用它们的特定数据和特定的访问模式来测试这两种解决方案。

    1.2K10

    全文搜索引擎选ElasticSearch还是Solr?

    我们主要从以下几个原因分析: 数据类型 全文索引搜索支持非结构化数据的搜索,可以更好地快速搜索大量存在的任何单词或单词组的非结构化文本。...此外,您可以在几分钟内安装并运行 Elasticsearch。 但是,如果 Elasticsearch 管理不当,这种易于部署和使用可能会成为一个问题。...Solr 是真正的开源社区代表。任何人都可以为 Solr 做出贡献,并且根据优点选出新的 Solr 开发人员(也称为提交者)。 Elasticsearch 在技术上是开源的,但在精神上却不那么重要。...Solr 传统上需要更多的工作和知识,但 Solr 最近在消除这一点上取得了巨大的进步,现在只需努力改变它的声誉。 在性能方面,它们大致相同。我说“大致”,因为没有人做过全面和无偏见的基准测试。...对于 95% 的用例,任何一种选择在性能方面都会很好,剩下的 5% 需要用它们的特定数据和特定的访问模式来测试这两种解决方案。

    88810

    全文搜索引擎选 ElasticSearch 还是 Solr?

    我们主要从以下几个原因分析: 数据类型 全文索引搜索支持非结构化数据的搜索,可以更好地快速搜索大量存在的任何单词或单词组的非结构化文本。...此外,您可以在几分钟内安装并运行 Elasticsearch。 但是,如果 Elasticsearch 管理不当,这种易于部署和使用可能会成为一个问题。...Solr 是真正的开源社区代表。任何人都可以为 Solr 做出贡献,并且根据优点选出新的 Solr 开发人员(也称为提交者)。 Elasticsearch 在技术上是开源的,但在精神上却不那么重要。...Solr 传统上需要更多的工作和知识,但 Solr 最近在消除这一点上取得了巨大的进步,现在只需努力改变它的声誉。 11、在性能方面,它们大致相同。我说“大致”,因为没有人做过全面和无偏见的基准测试。...对于 95% 的用例,任何一种选择在性能方面都会很好,剩下的 5% 需要用它们的特定数据和特定的访问模式来测试这两种解决方案。

    1K20

    全文搜索引擎 Elasticsearch 还是 Solr?

    我们主要从以下几个原因分析: 数据类型 全文索引搜索支持非结构化数据的搜索,可以更好地快速搜索大量存在的任何单词或单词组的非结构化文本。...此外,您可以在几分钟内安装并运行 Elasticsearch。 但是,如果 Elasticsearch 管理不当,这种易于部署和使用可能会成为一个问题。...Solr 是真正的开源社区代表。任何人都可以为 Solr 做出贡献,并且根据优点选出新的 Solr 开发人员(也称为提交者)。 Elasticsearch 在技术上是开源的,但在精神上却不那么重要。...Solr 传统上需要更多的工作和知识,但 Solr 最近在消除这一点上取得了巨大的进步,现在只需努力改变它的声誉。 在性能方面,它们大致相同。我说“大致”,因为没有人做过全面和无偏见的基准测试。...对于 95% 的用例,任何一种选择在性能方面都会很好,剩下的 5% 需要用它们的特定数据和特定的访问模式来测试这两种解决方案。

    1.2K20

    【漏洞预警】Apache Solr远程代码执行漏洞(CVE-2019-12409)预警通告

    配置项默认为开启导致存在安全风险。...如果防火墙中的入站流量打开了此端口,则只要具有Solr节点网络访问权限就能够访问JMX,并且可以上传恶意代码在Solr服务器上执行,请相关用户对此漏洞进行排查与防护。...→ 2影响范围 受影响版本 Apache Solr 8.1.1 Apache Solr 8.2.0 注:该漏洞仅对Linux系统的Solr有影响,在Windows系统中不受影响。...3漏洞检测 3.1 人工检测 在Solr管理后台Dashboard仪表盘中,可查看当前Solr的版本信息。若Solr的版本在受影响范围内,则可能存在安全风险。 ?...3、限制Solr的公网访问,只允许可信流量与Solr建立通信。 END 作者:绿盟科技安全服务部 ? ? 声明 本安全公告仅用来描述可能存在的安全问题,绿盟科技不为此安全公告提供任何保证或承诺。

    1.2K20

    全文搜索,ElasticSearch和Solr哪个更好用?

    我们主要从以下几个原因分析: 数据类型 全文索引搜索支持非结构化数据的搜索,可以更好地快速搜索大量存在的任何单词或单词组的非结构化文本。...此外,您可以在几分钟内安装并运行 Elasticsearch。 但是,如果 Elasticsearch 管理不当,这种易于部署和使用可能会成为一个问题。...Solr 是真正的开源社区代表。任何人都可以为 Solr 做出贡献,并且根据优点选出新的 Solr 开发人员(也称为提交者)。 Elasticsearch 在技术上是开源的,但在精神上却不那么重要。...Solr 传统上需要更多的工作和知识,但 Solr 最近在消除这一点上取得了巨大的进步,现在只需努力改变它的声誉。 在性能方面,它们大致相同。我说“大致”,因为没有人做过全面和无偏见的基准测试。...对于 95% 的用例,任何一种选择在性能方面都会很好,剩下的 5% 需要用它们的特定数据和特定的访问模式来测试这两种解决方案。

    1.8K20

    Log4j爆核弹级漏洞,大厂中招、公司炸锅了...

    漏洞原理官方表述是:Apache Log4j2 中存在JNDI注入漏洞,当程序将用户输入的数据进行日志记录时,即可触发此漏洞,成功利用此漏洞可以在目标服务器上执行任意代码。...通俗简单的说就是:在打印日志的时候,如果你的日志内容中包含关键词 ${,攻击者就能将关键字所包含的内容当作变量来替换成任何攻击命令,并且执行。...通过JNDI注入漏洞,黑客可以恶意构造特殊数据请求包,触发此漏洞,从而成功利用此漏洞可以在目标服务器上执行任意代码。...注意,此漏洞是可以执行任意代码,这就很恐怖,相当于黑客已经攻入计算机,可以为所欲为了,就像已经进入你家,想干什么,就干什么,比如运行什么程序,植入什么病毒,变成他的肉鸡。...当程序将用户输入的数据记入日志时,攻击者通过构造特殊请求,来触发 Apache Log4j2 中的远程代码执行漏洞,从而利用此漏洞在目标服务器上执行任意代码。

    57450
    领券