本文是系列文章第一篇。介绍Elasticsearch的一些非常基础但实战开发确非常有用的技术点。了解这些技术点会帮助你设计更易于维护的数据索引,预先知道PB级大数据索引实战中的坑,提升工作效率。
本文从别名分类、索引别名实践、索引别名的好处、索引别名常见问题及坑解读、字段别名实践一把 五个方面
进行详细解读。
别名在Elasticsearch中有两种分类。
官方释义
: 索引别名可以指向一个或多个索引,并且可以在任何需要索引名称的API中使用。 别名为我们提供了极大的灵活性。它们允许我们执行以下操作:
1)在正在运行的集群上的一个索引和另一个索引之间透明切换;
2)对多个索引进行分组组合(例如,lastthreemonths的索引别名:是过去3个月索引 logstash201903, logstash201904, logstash_201905的组合);
3)在索引中的文档子集上创建“视图”(结合业务场景,会提升检索效率)。
通俗解释
: 索引别名类似:windows的快捷方式,linux的软链接,mysql的视图。
注意
:实际业务场景使用别名会很方便、灵活、快捷、业务松耦合!!
在Elasticsearch Mapping定义的6.4+版本才有的字段类型。
通俗解释
:
试想一下有一种业务场景。比如在实际的业务开发中:需要对Facebook、twitter行采集,采集入库的是两个业务团队。
他们对content,分别使用了两个字段。其中一个是,content。另外一个是cont。 这时候存储到elasticsearch会有两个字段。
这样如果我们在检索、写业务代码的时候,是不是要写两个不同的字段来处理呢? 如果有可能写成一个字段,代码方面就很避开业务耦合,就很方便了。
我认为这是字段别名的由来。
POST visitor_logs_2017,visitor_logs_2018/_search
POST visitor_logs_*/_search
实战中,我们不需要知道操作的实际索引名称,我们可以透明地更改别名引用的索引而不会影响使用别名的用户。
POST /_aliases?pretty{ "actions": [ { "add": { "index": "visitor_logs_2017", "alias": "visitor_logs" } }, { "add": { "index": "visitor_logs_2018", "alias": "visitor_logs" } } ]}
GET /visitor_logs/_search
场景: 实战中,可能需要基于时间的数据保留策略(利用rollover机制实现),并从系统中删除旧数据。 使用索引别名:
推荐阅读:
试想一下:如果不是基于时间的索引,而使用大索引,删除历史数据会发生什么?
答案:
实战中,索引的设计可能不是一步到位。 随着业务的扩展,可能会在开发的中后期,调整索引Mapping结构, 比如:
通常的做法,都需要借助:reindex操作完成索引的迁移。 如果要确保线上环境的可靠运行且用户无感知(即无需告知用户,不影响用户的业务),使用别名指向更改前和更改后的索引是 绝佳方案
。
实战举例:
POST /_aliases?pretty{ "actions": [ { "remove": { "index": "visitor_logs_2018", "alias": "visitor_logs" } }, { "add": { "index": "visitor_logs_2018_01", "alias": "visitor_logs" } } ]}
试想一下,如果没有索引别名呢?
答案:
会报错:
no write index is defined for alias[xxx]....
注意:索引别名不是在任何地方都通用。写入或更新数据的时候需要指明物理索引,不要向别名写入数据。
或者问题:如何通过索引别名查找实际索引名称?
GET _cat/aliases
返回信息:
visitor_logs visitor_logs_2017 - - -.kibana .kibana_1 - - -visitor_logs visitor_logs_2018 - -
`
是一致的。
前提:索引和别名指向相同的数据,相同的检索条件。
原理:索引别名只是物理索引的软链接名称而已。
敲定时间范围
,然后在指定范围的别名下检索。
核心原理:物理上基于时间做了分隔,再加上冷热数据分离机制,会极大缩小了检索样本。POST /_aliases{ "actions" : [ { "add" : { "index" : "test1", "alias" : "alias2", "filter" : { "term" : { "user" : "kimchy" } } } } ]}
路由机制参考官方文档即可。
星友的问题:
“Aliasdatatype,这个数据类型,在现实工作中的使用场景是什么?看官方文档,没有很好理解?”
字段别名原理第一部分已详细解释,不再赘述。 这里实践一把,加深理解。
PUT trips{ "mappings": { "_doc": { "properties": { "distance": { "type": "long" }, "route_length_miles": { "type": "alias", "path": "distance" }, "transit_mode": { "type": "keyword" } } } }}
注意: 当用户使用检索时,实际可以使用routelengthmile字段替代distance做检索,以达到distance一样的效果。
中后期
才发现索引别名的妙处。正如文中分析:1、高效索引管理;2、用户无感知维护数据修改更新。一致的Mapping和数据结构
,以提升检索效率。物理索引
。你的实际Elasticsearch业务场景,有哪些非常基础但实战开发非常有用的技术点呢? 欢迎留言留下你的思考,让我们一起精进!
参考:
https://cambium.consulting/articles/2018/2/22/our-favorite-elasticsearch-features-part-2-index-aliases
本文分享自 铭毅天下Elasticsearch 微信公众号,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!