首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >ONNX Runtime嵌入内核+算子下推:库内AI计算的执行链路拆解

ONNX Runtime嵌入内核+算子下推:库内AI计算的执行链路拆解

作者头像
这个DBA有点耶
发布于 2026-11-11 17:57:38
发布于 2026-11-11 17:57:38
40
举报
概述
外挂向量库的RAG架构,一次语义检索要在应用层和向量库之间走两次网络往返:查业务表拿上下文,再拿上下文去向量库做相似度匹配,最后在应用层拼装。金仓KES AI数据库把AI推理算子下推到数据库执行引擎中,关系过滤与向量相似度计算在同一执行计划中协同完成。本文拆解“计算向数据移动”的范式转变、ONNX Runtime嵌入内核的工程路径,以及算子融合如何把延迟从“两次往返”压到“一次执行”。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 一、外挂方案的链路成本:两次往返,两次序列化
  • 二、库内计算推理的工程路径:把ONNX Runtime装进内核
  • 三、算子融合:关系过滤和向量计算在同一条执行计划里
  • 四、延迟降低的工程解释
  • 五、边界:不是所有查询都能融合
  • 六、小结
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档