帮你快速理解、总结文档立即下载

概述

最近更新时间:2026-06-11 20:38:32

我的收藏

操作场景

智能路由策略是 AI 网关在多模型服务场景下的流量分发能力。通过配置智能路由策略,您可以:
实现多模型服务的负载均衡和流量分配。
根据模型名称自动匹配对应的后端服务。
基于权重配置灵活控制流量比例。
根据用户请求的语义内容自动分发到最优模型。
根据请求参数(如 Header)将不同租户/环境的流量隔离路由。
通过服务标签筛选可用服务,实现模型过滤。
根据实时延迟情况自动选择响应最快的服务。
支持 A/B 测试、灰度发布等场景。
配合 Fallback 机制实现高可用。
本文档指导您如何在 AI 网关控制台配置和使用智能路由策略。

前置条件

已创建 AI 网关实例;
已创建至少一个模型服务(内置供应商或自定义模型服务);
已创建模型 API。

路由策略概述

AI 网关支持多种智能路由策略:
路由策略
使用场景
决策依据
适用范围
按模型名称路由
多模型服务精确匹配
请求中的 model 字段与模型服务配置的模型名称匹配
单模型 API 需访问不同供应商的相同模型
权重路由
负载均衡、A/B 测试、灰度发布
按配置的权重比例随机分配流量
同一模型的多实例部署或多供应商混合部署
意图识别路由
按语义内容分类分发
调用意图识别模型分析请求语义,识别意图后路由
多任务模型分发、按问题复杂度分级服务
参数路由
多租户隔离、环境隔离、用户分流
根据请求 Header 参数值匹配路由规则
需按租户/环境/用户类型将流量路由到不同服务
基于标签路由
模型标签筛选
通过模型服务标签(Key-Value)自动筛选可用服务
模型众多,需要通过标签筛选
延迟优先路由
跨地域多线路选路、响应体验优化
根据模型服务实时延迟监测数据选择最优路径
多地域部署、多 IDC 接入场景