基于SCF实现Elasticsearch的快照生命周期管理(SLM)

原创

bellen

修改于 2020-07-20 11:48:55

1.4K1

修改于 2020-07-20 11:48:55

基于SCF实现Elasticsearch的快照生命周期管理(SLM)

在ES 7.4版本后，我们拥有了SLM(快照生命周期管理)的功能，但是只有X-PACK商业版才能使用该功能，快照生命周期管理的实现也比较简单，实际上就是制定计划定时执行快照，我们可以通过编写脚本然后配置crontab任务来实现SLM。本文主要介绍如何利用腾讯云的SCF(云函数)来实现SLM并且结合ILM(索引生命周期管理)降低集群整体的分片数量和数据存储量，从而降低集群压力，减少存储成本。

实施步骤

1. 创建COS仓库

我们把快照保存到腾讯云的COS对象存储中，首先需要调用ES的API创建一个COS repository:

PUT _snapshot/cos-repo
{
    "type": "cos",
    "settings": {
        "app_id": "xxxxxxx",
        "access_key_id": "xxxxxx",
        "access_key_secret": "xxxxxxx",
        "bucket": "xxxxxx",
        "region": "ap-guangzhou",
        "compress": true,
        "chunk_size": "500mb",
        "base_path": "/"
    }
}

更详细的基于COS备份和恢复ES数据的步骤可以参考使用 COS 进行备份及恢复.

2. 创建SCF云函数

如图，基于名为"ES写入函数"的模板，创建一个新的函数：

点击"下一步"进入函数编辑界面，直接复制如下函数代码粘贴到编辑框，修改ES的vip和用户名密码，以及索引前缀名称等信息：

# -*- coding: utf8 -*-
import datetime
from elasticsearch import Elasticsearch

ESServer = Elasticsearch(["x.x.x.x:9200"],http_auth=('username', 'password'))
# 需要进行备份的索引名称前缀，需要进行修改
esPrefix = "my-index-"
# 备份多少天前的索引
beforeOfDay = 7

# cos仓库名称
cosRepository = "cos-repo"
# 快照名称前缀
cosSnapshotPrefix = "snapshot-"


def check_or_create_snapshot():
    today = datetime.datetime.now()
    offset = datetime.timedelta(days=-beforeOfDay)
    re_date = (today + offset).strftime('%Y-%m-%d');

    params = {}
    params["ignore_unavailable"] = "true"
    getResult = ESServer.snapshot.get(cosRepository, cosSnapshotPrefix+ re_date, params = params)
    snapshots = getResult["snapshots"]
    if len(snapshots) != 0:
        if snapshots[0]["state"] == "SUCCESS":
            print "snapshot-"+ re_date +" executed finished!"
        else:
            print "snapshot-"+ re_date +" is running!"
    else:
        body = {}
        # 可以选择备份按天创建的索引
        body["indices"] = esPrefix + re_date
        # 也可以选择备份按小时创建的所有索引
        # body["indices"] = esPrefix + re_date + "-*"
        body["ignore_unavailable"] = "true"
        body["include_global_state"] = "false"
        createResult = ESServer.snapshot.create(cosRepository, cosSnapshotPrefix+ re_date,body)
        if createResult["accepted"] == True:
            print "create [snapshot-"+ re_date +"] success!"
            return
        else:
            print "create [snapshot-"+ re_date +"] failed!" + str(createResult)


def main_handler(event,context):
    check_or_create_snapshot()

点击"完成"即可完成云函数的创建。

3. 配置云函数

创建完云函数后，需要进行配置才能使用，如下图，可以配置函数的私有网络VPC和Subnet(选择和ES相同的VPC和Subnet):

4. 测试云函数

配置完云函数后，可以对函数代码进行测试，保证能够正常运行；如果需要进行编辑，可以直接编辑然后点击"保存并测试":

5. 配置触发器

配置触发器，每小时执行一次函数：

6. 查看函数监控

可以查看函数的运行监控信息：

也可以查看函数的运行日志：

7. 配置函数告警

在云监控的控制台配置SCF的监控告警，可以及时获取函数的执行情况：

8. 配置ILM

在ES的kibana中配置ILM(X-PACK商业版支持), 我们的场景是索引创建7天后将其移动到warm节点，15天后将副本调低为0，因为使用了上述基于SCF实现的SLM功能，因为数据已经备份再COS中了，副本数可以降低为0，这样做的好处一是可以降低集群整体的分片数量，避免影响集群性能；二是可以降低存储成本。