腾讯云ElasticSearch迁移场景介绍

说明

本文描述问题及解决方法同样适用于 腾讯云 Elasticsearch Service（ES）。

背景

腾讯云 Elasticsearch Service (ES) 凭借多年的运营经验和优质的线上服务，以其低成本、高性能、高可靠性和高扩展性的特点，已经成为越来越多客户的不二之选。那么，哪些场景可以迁移到腾讯云 ES？不同的场景应该使用什么方案？它们之间有什么差异？让我们在本文中一一展开。

ES 常见迁移场景

ES 迁移方案介绍

ES 标准迁移方案介绍

ES迁移主推Snapshot方案，如有其他特殊场景，可参考Logstash及在线融合方案。具体方案对比如下（方案超链接可点击）：

ES 其他迁移方案介绍

其他服务 to es 迁移方案如下：

ES 迁移方案概览

Snapshot方案

使用Snapshot从自建ES迁移至腾讯云ES集群方案概览：

Logstash方案

使用Logstash迁移数据至腾讯云ES集群方案概览：

在线融合方案

使用在线融合迁移数据至腾讯云ES集群方案概览：

常见迁移问题案例

删除快照导致的业务异常

① 问题案例：

删除快照导致集群 shard lock。

② 说明：

快照在进行中时，删除快照的操作会非常重，可能会对集群稳定性造成影响。删除快照有如下问题：

• 可能会引起索引 shard lock；
• 快照在进行中时，DELETE 快照很大几率会超时或无法成功，只能通过重启集群解决；
• 如已发起快照删除，在删除操作完成之前，无法发起新的快照请求

③ 解决方案：

• Reopen 索引，尝试脱离 shard lock 状态；
• 如 reopen 无效，则需滚动重启对应节点。

④ 避免方式：

在快照进行中时，应避免对快照做删除操作。如发生误备份的情况，也建议等备份结束再进行删除。

索引只读导致的业务全面不可写

① 问题案例：

源端索引 index block write / read only 属性备份后被携带到目标端。

② 说明：

如果是采用源端索引只读的方式停写，该索引属性会被同步到快照里，在恢复时也会携带禁写属性到目标端集群，所以在恢复后需要回滚禁写属性，否则会导致业务不可写。

③ 解决方案：

数据在目标端恢复之后，使用 PUT settings 接口对目标端索引全量解除禁写。

④ 规避方法：

最后一次增量前的切割操作，建议是业务主动停写。如只能通过禁写的方式停写，则务必需要在切割前对目标端集群执行一个解除禁写的操作。

索引滚动导致的迁移失败

① 问题案例：

在快照备份过程中，日志滚动属性发生变化。

② 说明：

在日志场景有 rollover 的情况下，如果 is_write_index 属性发生变化，则会发生恢复失败的问题，具体表现为日志里会抛异常：

Caused by: java.lang.IllegalStateException: alias [xxxxx] has more than one write index [xxxxx-2023.10.25-000001, xxxxx-2023.10.26-000002]

③ 解决方案：

取消目标端索引旧的 is_write_index 属性：

POST_aliases
{
  "actions": [
    {
      "add": {
        "index": "xxxx-2023.10.25-000001",
        "alias": "xxxx",
        "is_write_index": false
      }
    }
  ]
}

④ 规避方法：

• 对于滚动频繁的场景，每次恢复前检查一下索引可写属性，避免冲突；
• 在日志场景有 rollover 的情况下，建议业务切割上云之后，再同步 ILM（索引生命周期管理） 任务，否则会发生目标集群 ILM 提前触发 rollover 的可能，也会导致 is_write_index 属性冲突问题。