Elasticsearch Service 新用户特惠狂欢，最低4折首购优惠 >>
从 Elasticsearch 7.0之后，为了提高搜索的性能，在 hits 字段中返回的文档数有时不是最精确的数值。Elasticsearch 限制了最多的数值为10000。
Elastic 监控管理解决方案是基于 Elastic Stack 的一站式解决方案。该解决方案具有完备的日志、指标、APM 和可用性采集能力，可以在大规模和云原生的环境下完成基于服务质量目标的管理。
跨年迎双节，2020 年最后一次囤货的机会来啦！ Elasticsearch Service 星星海新机型发布，更高性能，更低价格。 爆款机型限时特惠，帮助您顺畅体验 Elasticsearch 云上集群；更特邀 Elastic 原厂专家直播《ES 应用监控管理平台搭建实战》课程，手把手教学轻松入门。 下面，就由小编来为大家盘点 2020 年终 Elasticsearch 限时特惠活动， Get 诚意满满的干货及亮点~ PART 01 为云而生的星星海机型，高适配性、高性能、高稳定性、高安全性、高性价比，
点击上方「蓝字」关注我们 跨年迎双节，2020 年最后一次囤货的机会来啦！ Elasticsearch Service 星星海新机型发布，更高性能，更低价格。 爆款机型限时特惠，帮助您顺畅体验 Elasticsearch 云上集群；更特邀 Elastic 原厂专家直播《ES 应用监控管理平台搭建实战》课程，手把手教学轻松入门。 下面，来为大家盘点 2020 年终 Elasticsearch 限时特惠活动， Get 诚意满满的干货及亮点~ PART 01 为云而生的星星海机型，高适配性、高性能、高稳定性、高
Elasticsearch Service 星星海新机型发布，更高性能，更低价格。
本教程向您展示如何将数据从 Elasticsearch 导出到 CSV 文件。 想象一下，您想要在 Excel 中打开一些 Elasticsearch 中的数据，并根据这些数据创建数据透视表。 这只是一个用例，其中将数据从 Elasticsearch 导出到 CSV 文件将很有用。
Cerebro 是以前的 Elasticsearch 插件 Elasticsearch Kopf 的演变(https://github.com/lmenezes/elasticsearch- kopf) – 这不适用于 Elasticsearch 版本5.x或更高版本，这是由于删除了 site plugins。
在实际的使用中，数据并不总是干净的。 根据产生方式的不同，数字可能会在 JSON 主体中呈现为真实的 JSON 数字，例如 5，但也可能呈现为字符串，例如 “5”。 或者，应将应为整数的数字呈现为浮点数，例如 5.0，甚至是 “5.0”。
请求的大小（size）越大，结果将越准确，但计算最终结果的成本也将越高（这两者都是由于在分片级别上管理的优先级队列更大，并且节点和客户端之间的数据传输也更大）。
Elastic 的可观测性解决方案是基于 Elastic Stack 的一站式解决方案。该解决方案具有完备的日志、指标、APM 和可用性采集能力，可以在大规模和云原生的环境下完成基于服务质量目标的管理。
您可以将自定义节点属性用作感知属性，以使 Elasticsearch 在分配分片时考虑物理硬件配置。 如果 Elasticsearch 知道哪些节点在同一台物理服务器上，在同一机架中或在同一区域中，则它可以分发主分片及其副本分片，以最大程度地减少发生故障时丢失所有分片副本的风险。
Elasticsearch 通常用于为字符串，数字，日期等类型的数据建立索引。但是，如果要直接为 .pdf 或 .doc 等文件建立索引并使其可搜索该怎么办？在 HCM，ERP 和电子商务等应用程序中有这种实时用例的需求。
这里的 input 可以支持多个 input，同时多个 worker 可以处理 filter 及 output:
Regular Expressions 搜索也即正则搜索是非常耗时的。正则表达式是一种使用 placeholder（称为运算符）匹配数据中的模式的方法。 有关regexp查询支持的运算符的列表，请参阅 Regular expression syntax。
我们知道 Elastic 安全是非常重要的。没有这个我们的数据可以被任何的人进行访问，串改，删除。Elastic Stack 的安全是由 x-pack 所提供的。在 Elastic Stack 7.0 版本之前，这个是商用的版本，需要进行安装，并购买。从Elastic Stack 7.0之后，x-pack 都已经在发布版中，所以不需要进行安装。我们只需要进行配置就可以了。
top_hits 指标聚合器跟踪要聚合的最相关文档。 该聚合器旨在用作子聚合器，以便可以按存储分区汇总最匹配的文档。
Elasticsearch 提供了一个最重要的功能就是相关性。它可以帮我们按照我们搜索的条件进行相关性计算。每个文档有一个叫做 _score 的分数。在默认没有 sort 的情况下，返回的文档时按照分数的大小从大到小进行排列的。这个分数的计算是按照如下的三个条件来进行计算的:
默认情况下，对字段值进行索引以使其可搜索，但不存储它们 (store)。 这意味着可以查询该字段，但是无法检索原始字段值。在这里我们必须理解的一点是: 如果一个字段的 mapping 中含有 store 属性为 true，那么有一个单独的存储空间为这个字段做存储，而且这个存储是独立于 _source 的存储的。它具有更快的查询。存储该字段会占用磁盘空间。如果需要从文档中提取（即在脚本中和聚合），它会帮助减少计算。在聚合时，具有store属性的字段会比不具有这个属性的字段快。 此选项的可能值为 false 和 true。
在许多的情况下，我们做 terms聚合 搜索的时候，我们想得到的是每个桶里满足条件的文档最多的搜索结果。但是有些情况，我们想寻找稀有的术语数量。尽管我们可以把我们的搜索结果按照升序来排序，但是对于很大数据的这种聚合操作很容易造成 unbunded error。在 Elasticsearch 了，Elastic提供了一种叫做 Rare Terms Aggregation 的方法。
在前面的一篇文章 “Logstash：处理多个input” 中，我们介绍了如何使用在同一个配置文件中处理两个 input 的情况。在今天这篇文章中，我们来介绍如何来处理多个配置文件的问题。对于多个配置的处理方法，有多个处理方法：
默认情况下，对象中的每个子字段都需要分别进行映射和索引。如果事先不知道子字段的名称或类型，则将动态映射它们。
Kibana 是用于在 Elasticsearch 中可视化数据的强大工具。 这是开始探索您的 Elasticsearch 数据的方法。Kibana 是一种开源分析和可视化工具，可通过基于浏览器的界面轻松搜索，可视化和探索大量数据。 除了 Elasticsearch，Logstash 和 Beats 之外，Kibana 是Elastic Stack（以前称为 ELK Stack）的核心部分。
在今天的文章里，我们来主要介绍一下 Elasticsearch 的 refresh 及 flush 两种操作的区别。如果我们从字面的意思上讲，好像都是刷新的意思。但是在 Elasticsearch 中，这两种操作是有非常大的区别的。本指南将有效解决两者之间的差异。 我们还将介绍 Lucene 功能的基础知识，例如重新打开（reopen) 和提交 (commit)，这有助于理解 refresh 和 flush 操作。
Shard 级慢速搜索日志允许将慢速搜索（查询和获取阶段）记录到专用日志文件中。日志记录是任何应用程序不可缺的一部分。 对于像 Elasticsearch 这样的分布式解决方案，它必须处理大量的请求，因此日志记录不可避免，其重要性至关重要。
开箱即用的云端全托管 ELK 服务，集成 X-Pack 特性，独有高性能自研内核、自治索引、集群巡检等优势能力，轻松构建日志分析、信息检索、数据分析等业务。
在本教程中，我们介绍了一些与 Elasticsearch 中的分片管理相关的常见问题，其解决方案以及一些最佳实践。 在某些用例中，我们结合了特殊的技巧来完成任务。
如果你要处理时间序列数据，则不想将所有内容连续转储到单个索引中。 取而代之的是，您可以定期将数据滚动到新索引，以防止数据过大而又缓慢又昂贵。 随着索引的老化和查询频率的降低，您可能会将其转移到价格较低的硬件上，并减少分片和副本的数量。
腾讯云ES目前已经提供了多可用区部署，即支持同地域跨机房的高可用容灾方案，满足了绝大多数客户的需求。但是依然会有部分客户希望进一步提升容灾级别，能够做到跨地域容灾。随着腾讯云ES双网卡功能的发布，使得跨地域容灾成为可能。接下来我将介绍下腾讯云ES实现跨地域容灾的详细步骤。
在今天的这篇文章中，我们来介绍如何在 Linux 及 MacOS 上安装 Elastic 栈中的 Logstash。
11.11云上盛惠 多款大数据产品年终钜惠 移动推送、商业智能分析BI 智能数据分析、Elasticsearch Service 云数据仓库for Apache Doris 首月秒杀 19.9元、新客首购 2.5折起 老客回购/新客复购 2.8折起 ←扫码立即参与活动 购后抽奖 100%中奖率 iPad Air 、Switch 游戏机 妲己机器人、虎年公仔、代金券 快速了解产品 1.移动推送：安全快速稳定的移动消息推送服务，支持 App 推送、应用内消息等多种消息类型，有效提升用户活跃度。 2.商业智能分
Index template定义在创建新index时可以自动应用的 settings 和 mappings。 Elasticsearch 根据与 index 名称匹配的 index 模式将模板应用于新索引。这个对于我们想创建的一系列的 Index 具有同样的 settings 及 mappings。比如我们希望每一天/月的日志的index都具有同样的设置。
我们知道 Kibana 作为 Elasticsearch 的数据呈现及分析，在 Kibana 中，search 几乎遍布所有的页面。搜索对于 Elastic 至关重要。了解如何在 Kibana 中进行搜索时非常重要的。它不仅仅限于我们对于输入字的搜索，或者对于一些词的过滤。它还包括：
rollover API 使你可以根据索引大小，文档数或使用期限自动过渡到新索引。 当 rollover 触发后，将创建新索引，写别名（write alias) 将更新为指向新索引，所有后续更新都将写入新索引。
如果你还没安装好自己的 Logstash，请参照文章 “如何安装Elastic栈中的Logstash”。同时安装我之前的文章 “Elasticsearch：设置Elastic账户安全” 为我们的 Elasticsearch 及 Kibana 设置安全密码。
1.腾讯云BI：提供从数据接入到模型分析、数据可视化呈现全流程 BI 能力，帮助经营者快速获取决策数据依据。
深夜接到客户紧急电话，反馈腾讯云kafka中有大量消息堆积未及时消费。每分钟堆积近100w条数据。但是查看es监控，各项指标都远还没到性能瓶颈。后天公司就要搞电商促销活动，到时候数据量是现在的至少2倍。这让客户很是着急。那这究竟是怎么回事呢？该从何排查才能发现问题所在呢？下面我们一起还原“案发”现场。
在 Elasticsearch 5.0 之前，如果我们想在将文档索引到 Elasticsearch 之前预处理文档，那么唯一的方法是使用 Logstash 或以编程方式/手动预处理它们，然后将它们索引到 Elasticsearch。 Elasticsearch 缺乏预处理/转换文档的能力，它只是按原样索引文档。 但是，在 Elasticsearch 5.x 之后引入一个名为 ingest node 的功能，为 Elasticsearch 本身的文档预处理和丰富之前提供了一个轻量级的解决方案。
在进行我们这个实践之前，相信大家已经安装好自己的 Logstash 环境。如果大家还没安装好Logstash，可以参照我之前的文章 “如何安装Elastic栈中的Logstash”。
我们发现一些用户经常编写了一些非常冗长和复杂的查询 - 在很多情况下，相同的查询会一遍又一遍地执行，但是会有一些不同的值作为参数来查询。在这种情况下，我们觉得使用一个 search template（搜索模板）来做这样的工作非常合适。搜索模板允许你使用可在执行时定义的参数定义查询。
在之前的文章中，我介绍了 Painless 脚本编程，并提供了有关其语法和用法的详细信息。 它还涵盖了一些最佳实践，例如，为什么使用参数，何时访问文档字段时何时使用 “doc” 值而不是 “ _source” 以及如何动态创建字段等。
在之前的文章中，我介绍了如何使用 Filebeat 把一个日志文件直接写入到 Elasticsearch 中，或通过 Logstash 的方法写到Elasticsearch 中。在今天的文章中，我们来介绍如何运用 Filebeat 来把 nginx 日志导入到 Elasticsearch 中，并进行分析。
Pinned 查询用来提升所选文档的排名，使其高于匹配给定查询的文档。 此功能通常用于引导搜索者查找精选的文档，这些文档在搜索的任何 “organic” 匹配项之上被提升。 使用存储在_id字段中的文档 ID 来标识升级或“固定”的文档。
Elasticsearch 最重要的功能之一是它试图摆脱你的方式，让你尽快开始探索你的数据。 要索引文档，你不必首先创建索引，定义映射类型和定义字段 - 你只需索引文档，那么 index，type 和 field 将自动生效。比如：
在我们开发的过程中，我们有很多时候需要用到 Reindex 接口。它可以帮我们把数据从一个 index 到另外一个 index 进行重新reindex。这个对于特别适用于我们在修改我们数据的 mapping 后，需要重新把数据从现有的 index 转到新的 index 建立新的索引，这是因为我们不能修改现有的 index 的 mapping 一旦已经定下来了。在接下来的介绍中，我们将学习如何使用 reindex 接口。
Logstash 是一种开源数据处理管道，它从一个或多个输入中提取事件，对其进行转换，然后将每个事件发送至一个或多个输出。 一些 Logstash 实现可能具有多行代码，并且可能处理来自多个输入源的事件。 为了使此类实现更具可维护性，我将展示如何通过从模块化组件创建管道来提高代码的可重用性。
这篇文章是 “Beats 入门教程 （一）”的续篇。在上一篇文章，我们主要讲述了 Beats 的一些理论方面的知识。在这篇文章中，我们将具体展示如何使用 Filebeat 及 Metriceat 把数据导入到我们的 Elasticsearch 并对他们进行分析。
导语 | 网页摘要计算，术语是 snippet computing/highlight computing。用户在输入框输入的关键词命中相关网页（ES 中的文档）后，需要根据关键词以及打分模型从网页内容筛选出 top N 的语句组成短文返回给前端手机用户，关键词红色高亮。笔者小组负责网页摘要高亮计算，本文将从模型优化及工程演变角度，还原 ES 在网页摘要技术中的应用实践。
当前微信支付对整体质量要求非常高，体现在可用性方面是需要达到 99.99%，同样账单平台也需要达到甚至超过该要求。但是在 ES 及系统环境未做优化的情况下，读写成功率是没有达到要求，在个人账单 ES 索引场景下，写成功率为 99.85%，读成功率为 99.95%，所以这里亟需优化。
在今天的文章中，我们来介绍如何使用 Java 来访问 Elasticsearch。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
