前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >ES 脚本实现

ES 脚本实现

原创
作者头像
franyang
发布2019-07-04 22:53:32
8K0
发布2019-07-04 22:53:32
举报
文章被收录于专栏:腾讯云Elasticsearch Service

在我的上篇文章ES 脚本介绍中介绍了ES 脚本的基本概念和使用,而本文将对其内部实现做一个分析。

本文的分析使用的ES源码为6.4.3版本。

在分析前,我们先来看一个在ES update API中使用脚本文档进行更新的例子:

代码语言:txt
复制
POST test/_update/1
{
    "script" : {
        "source": "ctx._source.counter += params.count",
        "lang": "painless",
        "params" : {
            "count" : 4
        }
    }
}

此API中定义了一个脚本:

  • 指定painless作为脚本语言
  • 指定参数count,值为4
  • 指定脚本源码:"ctx._source.counter += params.count", 使文档字段counter的值加上参数count的值

接下来,我们从update API的入口出发,来看这个脚本最终是如何被执行的。

调用栈分析

每个Rest接口都有uri和相应的RestAction,在构造函数中被注册,对更新接口来说,其uri格式和RestAction分别是:/{index}/{type}/{id}/_updateRestUpdateAction

请求在RestUpdateAction的prepareRequest方法中被简单处理后,经过NodeClient转发,最终在TransportUpdateAction类中执行实际操作。

大部分RestAction只负责转发,实际则由相应的TransportAction处理

由于更新是单(single)操作,在TransportUpdateAction 将通过TransportInstanceSingleOperationAction:查找请求中的文档id对应shard,再转发给拥有相应shard的node去执行,见TransportInstanceSingleOperationAction:170行:

转发的请求最终进入TransportUpdateAction类的shardOperation方法。

在shardOperation方法中,执行的操作为:

  1. 调用updateHelper.prepare 获取要更新的文档结果
  2. 执行更新操作

而在第一步调用updateHelper.prepare时,会根据更新API的请求内容,构造更新后的文档内容:

对于脚本请求,则调用prepareUpdateScriptRequest方法处理文档。

prepareUpdateScriptRequest方法

  • 构造更新脚本上下文(update Context):设置可以在脚本中访问的内置字段、变量
  • 执行脚本获取执行结果
  • 使用结果构造更新后的文档

executeScript方法:

  • 调用 scriptService.compile(script, ExecutableScript.UPDATE_CONTEXT): 编译可执行脚本
  • 调用 executableScript.run(): 运行脚本

更新脚本属于其中一种可执行脚本ExecutableScript,其它的还包括:

脚本执行框架

在单独分析更新脚本的执行后,这里我们再来剖析ES的脚本框架。

脚本interface

对于在不同类型API中执行的脚本,其执行方式也有所不同(包括返回值类型、参数等不同),ES为其都声明了相应的interface。比如上述的Update API中的脚本对应于ExecutableScript interface。

其他interface还包括:FilterScript(用于query filter)、IngestScript(用于Ingest Script Processor)、SearchScript(用于搜索、聚合等请求中的请求)等

ScriptService

在上述executeScript方法中可以看到,更新接口中的脚本是通过scriptService.compile方法编译的。实际上,所有API中的脚本、所有的脚本语言,也都是通过此方法编译的。其内部逻辑主要包括:

  • 获取脚本语言对应的脚本执行引擎ScriptEngine
  • 查询缓存的脚本。若不存在,则使用ScriptEngine重新编译脚本

ScriptEngine

ScriptService类内部封装了用于执行不同脚本语言的执行引擎ScriptEngine,实现类包括PainlessScriptEngineExpressionScriptEngineMustacheScriptEngine

PainlessScriptEngine

这里以Painless脚本语言为例进行分析。在ScriptService中会调用相应语言ScriptEngine的compile方法,以下为PainlessScriptEngine的compile方法实现:

对于可执行脚本,其执行逻辑为:

  • 编译painless脚本代码:使用ANTLR4ASM 库,生成GenericElasticsearchScript对象painlessScript
    • 调用GenericElasticsearchScript的execute方法将执行执行脚本,产生输出结果
  • 使用可执行的脚本对象painlessScript构造ScriptImpl类(实现了SearchScript接口)对象并返回

关于painless脚本代码是如果使用ANTLR4ASM 库解析和编译的,读者可自行阅读代码:P

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 调用栈分析
  • 脚本执行框架
    • 脚本interface
      • ScriptService
        • ScriptEngine
          • PainlessScriptEngine
          相关产品与服务
          Elasticsearch Service
          腾讯云 Elasticsearch Service(ES)是云端全托管海量数据检索分析服务,拥有高性能自研内核,集成X-Pack。ES 支持通过自治索引、存算分离、集群巡检等特性轻松管理集群,也支持免运维、自动弹性、按需使用的 Serverless 模式。使用 ES 您可以高效构建信息检索、日志分析、运维监控等服务,它独特的向量检索还可助您构建基于语义、图像的AI深度应用。
          领券
          问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档