腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
Elasticsearch实验室
专栏成员
举报
25
文章
104344
阅读量
405
订阅数
订阅专栏
申请加入专栏
全部文章(25)
Elasticsearch Service(12)
其他(6)
网络安全(3)
大数据(3)
数据分析(3)
https(3)
java(2)
搜索引擎(2)
全文检索(2)
lucene/solr(2)
es 2(2)
大数据可视交互系统(2)
存储(2)
分布式(2)
官方文档(1)
机器学习(1)
go(1)
bootstrap(1)
node.js(1)
数据库(1)
云数据库 SQL Server(1)
nosql(1)
sql(1)
日志服务(1)
大数据处理套件 TBDS(1)
mongodb(1)
大数据解决方案(1)
开源(1)
缓存(1)
运维(1)
jvm(1)
小程序(1)
物联网(1)
迁移(1)
es(1)
搜索文章
搜索
搜索
关闭
Elastic Meetup 2021 深圳站回顾
大数据
Elasticsearch Service
一波未平一波又起的疫情对大家的生活、工作造成了一定影响。在信息化飞速发展的今天,小伙伴们技术交流的方式也变得多样化。2021年8月21日下午,ES 中文社区联合腾讯云在腾讯滨海大厦举办了深圳地区年度首次 Meetup,活动采用线下现场参与、腾讯会议、云+社区线上同步直播的方式进行。来自腾讯、Tapdata、字节跳动、vivo 的技术专家们给 ES 社区的小伙伴们带来了一场精彩的技术视听盛宴。
黄华
2021-08-23
1.2K
0
10分钟快速入门海量数据搜索分析引擎 Elasticsearch
Elasticsearch Service
lucene/solr
分布式
大数据
大数据可视交互系统
随着移动互联网、物联网、云计算等信息技术蓬勃发展,数据量呈爆炸式增长。如今我们可以轻易得从海量数据里找到想要的信息,其中离不开搜索引擎技术的帮助。特别是其中的索引、检索和排序机制,我们无需深入了解背后复杂的信息检索原理,即可实现基本的全文检索功能。数据量达到十亿,百亿规模仍然可以秒级返回检索结果。对于系统容灾、数据安全性、可扩展性、可维护性等我们关注的实际问题,在开源搜索引擎领域排名第一的Elasticsearch里均能得到有效解决。
石松
2020-08-23
1.9K
0
腾讯万亿级 Elasticsearch 内存效率提升解密
Elasticsearch Service
java
jvm
Elasticsearch( ES )是一款功能强大的开源分布式实时搜索引擎,在日志分析(主要应用场景)、企业级搜索、时序分析等领域有广泛应用,几乎是各大公司搜索分析引擎的开源首选方案。
morningchen
2020-06-01
7.6K
3
腾讯Elasticsearch海量规模背后的内核优化剖析
Elasticsearch Service
大数据
大数据解决方案
大数据处理套件 TBDS
大数据可视交互系统
Elasticsearch 在腾讯内部广泛应用于日志实时分析、结构化数据分析、全文检索等场景,目前单集群规模达到千级节点、万亿级吞吐,同时腾讯联合 Elastic 公司在腾讯云上提供了内核增强版 ES 云服务。海量规模、丰富的应用场景推动着腾讯对原生 ES 进行持续的高可用、高性能、低成本等全方位优化。本次分享主要剖析腾讯对 Elasticsearch 海量规模下的内核优化与实践,希望能和广大 ES 爱好者共同探讨推动 ES 技术的发展。
黄华
2020-05-09
2.6K
2
腾讯万亿级 Elasticsearch 技术解密
Elasticsearch Service
日志服务
搜索引擎
Elasticsearch(ES)作为开源首选的分布式搜索分析引擎,通过一套系统轻松满足用户的日志实时分析、全文检索、结构化数据分析等多种需求,大幅降低大数据时代挖掘数据价值的成本。腾讯在公司内部丰富的场景中大规模使用 ES,同时联合 Elastic 公司在腾讯云上提供内核增强版的 ES 云服务,大规模、丰富多样的的使用场景推动着腾讯对原生 ES 进行持续的高可用、高性能、低成本优化。今天给大家分享近期在 Elastic 中国开发者大会上的演讲内容:腾讯万亿级 Elasticsearch 技术解密。
老生姜
2019-12-30
1.2K
0
关注专栏作者,随时接收最新技术干货
生姜
腾讯 | 高级工程师
关注
老生姜
关注
luckiexie
腾讯 | 后台开发工程师
关注
用户2151382
关注
Elasticsearch跨集群数据迁移之在线迁移
网络安全
迁移
在云上PaaS服务愈发成熟的大背景下,越来越多自建Elasticsearch的业务希望迁移到云上,享用云服务统一、高标准的服务体验的同时,降低运维成本。本方案旨在通过集群融合的方式帮助用户进行在线迁移,尽量降低迁移过程对业务的影响,同时尽可能提高迁移的自动化程度。
老生姜
2019-11-28
2.7K
0
Elasticsearch X-Pack 系列之 Machine Learning 解析
Elasticsearch Service
机器学习
目前腾讯云 CES(Cloud Elasticsearch)已经和 Elastic 官方达成商务合作,引入了 X-Pack 商业套件,支持更多的商业特性,例如基于角色的访问控制权限(RBAC Security)、机器学习(ML)、跨集群复制(CCR)、应用性能监控(APM)等。为了更好的给用户提供更多 CES 底层技术支持以及和社区共同优化 ES 产品,腾讯云 ES 内核团队将逐一为大家介绍并解析相关的商业特性功能。本文将从功能、架构、源码层面给大家介绍 X-Pack 的机器学习功能。
黄华
2019-09-06
5.2K
4
如何加倍提升 Elasticsearch 查询性能
缓存
lucene/solr
我们在使用Elasticsearch进行查询的过程中发现,如果查询时间跨度大,查询数据集比较庞大,即使只是返回少量的结果,查询耗时仍然比较长。我们通过分析profile和debug跟踪整个查询流程,确认耗时的原因,针对业务特性,提出了相关的优化方案,可以对该类查询提升三到五倍的性能。
用户1644123
2019-01-05
3.3K
1
Elasitcsearch底层系列之 Node启动过程源码解析
es
数据分析
bootstrap
java
Elasticsearch Service
Elasticsearch 是一款开源的分布式搜索引擎,提供了近实时的查询能力和强大的聚合分析能力。与Elastic官方提供的其他组件(Beats、Logstash、Kibana)组合成Elastic Stack,提供了多种使用场景下数据摄入、清洗、存储、查询、可视化的完整解决方案,在搜索、日志分析、统计分析等领域有广泛应用。
morningchen
2018-12-29
2.5K
0
Elasticsearch最佳实践 之 日志场景优化
开源
Elasticsearch Service
Elasticsearch可广泛应用于日志分析、全文检索、结构化数据分析等多种场景,大幅度降低维护多套专用系统的成本,在开源社区非常受欢迎。然而Elasticsearch为满足多种不同的使用场景,底层组合使用了多种数据结构,部分数据结构对具体的用户使用场景可能是冗余的,从而导致默认情况下无法达到性能和成本最优化。
老生姜
2018-12-10
6.8K
1
Elasticsearch 底层系列之写入解析
Elasticsearch Service
分布式
存储
全文检索
数据分析
Elasticsearch(ES)是一个基于Lucene的近实时分布式存储及搜索分析系统,其应用场景广泛,可应用于日志分析、全文检索、结构化数据分析等多种场景,既可作为NoSQL数据库,也可作为搜索引擎。由于ES具备如此强悍的能力,因此吸引了很多公司争相使用,如维基百科、GitHub、Stack Overflow等。
luckiexie
2018-12-10
2.5K
0
Elasticsearch 底层系列之分片恢复解析
其他
我们是基础架构部,腾讯云 CES/CTSDB 产品后台服务的支持团队,我们拥有专业的ES开发运维能力,为大家提供稳定、高性能的服务,欢迎有需求的童鞋接入,同时也欢迎各位交流 Elasticsearch、Lucene 相关的技术!
luckiexie
2018-12-10
3.7K
5
Elasticsearch 最佳实践系列之分片恢复并发故障
node.js
https
网络安全
大家好,今天为大家分享一次 ES 的填坑经验。主要是关于集群恢复过程中,分片恢复并发数调整过大导致集群 hang 住的问题。
黄华
2018-12-10
6.6K
0
Elasitcsearch 底层系列 Lucene 内核解析之 Doc Value
其他
Elasticsearch 支持行存和列存,行存用于以文档为单位顺序存储多个文档的原始内容,在 Elasitcsearch 底层系列 Lucene 内核解析之 Stored Fields 文章中介绍了行存的细节。列存则以字段为单位顺序存储多个文档同一字段的内容,主要用于排序、聚合、范围查询等场景,新版本的 ES 绝大部分字段都会保存 doc value,可以显示指定关闭。今天我们就来剖析 ES 列存(doc value)的细节。代码解析基于 ES 6.3/Lucene 7.3 的版本。
黄华
2018-12-10
3.3K
0
Elasitcsearch 底层系列 Lucene 内核解析之Point索引
其他
Luene是一款高性能、可扩展的信息检索库,可实现对文档元信息、文档内容的搜索功能。用户可以使用Lucene 或 基于Lucene开发的成熟产品Nutch/Solr/Elasticsearch等,快速构建搜索服务,如文件搜索、网页搜索等。在Lucene概览中,我们初步介绍了其底层的核心存储文件,本文主要介绍其中的数值索引(Point索引)部分,分析数值索引的文件结构及其读写流程。
老生姜
2018-11-26
3.3K
1
Elasticsearch最佳实践之自研权限系统
Elasticsearch Service
ELKB(Elasticsearch、Logstash、Kibana、Beat的组合)是一套开源的分布式日志管理方案。凭借其检索性能高效、集群线性扩展、处理方式灵活、配置简单易上手等特点,ELKB在最近几年迅速崛起,成为实时日志处理领域的首要选择。Elasticsearch作为其中重要的一环, 主要提供分布式、可扩展且实时的数据储存分析与搜索功能。随着Elasticsearch的广泛使用,为了做好数据共享、访问隔离,防止用户误操作、数据泄露等,权限控制方面的需求愈来愈多。
技术姐
2018-10-28
3.5K
0
Elasticsearch底层系列之Shard Allocation机制
其他
Elasticsearch由一些Elasticsearch进程(Node)组成集群,用来存放索引(Index)。为了存放数据量很大的索引,Elasticsearch将Index切分成多个分片(Shard),在这些Shard里存放一个个的文档(document)。通过这一批shard组成一个完整的index。并且,每个Shard可以设置一定数量的副本(Replica),写入的文档同步给副本Shard,副本Shard可以提供查询功能,分摊系统的读负载。在主Shard所在Node(ES进程)挂掉后,可以提升一个副本Shard为主Shard,文档继续写在新的主Shard上,来提升系统的容灾能力。
技术姐
2018-09-11
2.2K
0
Elasitcsearch 底层系列 Lucene 内核解析之 Stored Fields
其他
Lucene 的 stored fields 主要用于行存文档需要保存的字段内容,每个文档的所有 stored fields 保存在一起,在查询请求需要返回字段原始值的时候使用。Elasticsearch(ES) 一些内置的字段默认开启了 store 属性,例如 _id、_source 字段。_id 字段用于标识文档,不能关闭。 _source 字段保存原始的文档 json 内容,可以关闭。用户定义的其它字段需要在 ES 的 mapping 中显示设置 field 的 store 属性为 true,该字段才会被 store。在查询的时候返回该字段的原始值。设置方法请参考:
用户1644123
2018-09-04
3.6K
0
基于Elastic Stack搭建日志分析平台
小程序
物联网
(本次课程是通过小程序对外推广的,所以PPT是竖版的。电脑端浏览体验可能不太好,望大家见谅)
用户1644123
2018-08-25
1.5K
0
Mysql数据导入Elasticsearch最佳实践
go
官方文档
https
网络安全
云数据库 SQL Server
Elasticsearch(ES)可用于全文检索、日志分析、指标分析、APM等众多场景,而且搭建部署容易,后期弹性扩容、故障处理简单。ES在一定程度上实现了一套系统支持多个场景的希望,大幅度降低使用多套专用系统的运维成本(当然ES不是万能的,不能满足事务等场景)。正是因为其通用性和易用性,ES自2010年发布首个版本以来得到爆发式的发展,广泛应用于各类互联网公司的不同业务场景,在数据库的专业排名中(DB Engines)上升至第8位。
技术姐
2018-08-20
12.3K
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档