操作场景
智能路由策略是 AI 网关在多模型服务场景下的流量分发能力。通过配置智能路由策略,您可以:
实现多模型服务的负载均衡和流量分配。
根据模型名称自动匹配对应的后端服务。
基于权重配置灵活控制流量比例。
根据用户请求的语义内容自动分发到最优模型。
根据请求参数(如 Header)将不同租户/环境的流量隔离路由。
通过服务标签筛选可用服务,实现模型过滤。
根据实时延迟情况自动选择响应最快的服务。
支持 A/B 测试、灰度发布等场景。
配合 Fallback 机制实现高可用。
本文档指导您如何在 AI 网关控制台配置和使用智能路由策略。
前置条件
已创建 AI 网关实例;
已创建至少一个模型服务(内置供应商或自定义模型服务);
已创建模型 API。
路由策略概述
AI 网关支持多种智能路由策略:
路由策略 | 使用场景 | 决策依据 | 适用范围 |
按模型名称路由 | 多模型服务精确匹配 | 请求中的 model 字段与模型服务配置的模型名称匹配 | 单模型 API 需访问不同供应商的相同模型 |
权重路由 | 负载均衡、A/B 测试、灰度发布 | 按配置的权重比例随机分配流量 | 同一模型的多实例部署或多供应商混合部署 |
意图识别路由 | 按语义内容分类分发 | 调用意图识别模型分析请求语义,识别意图后路由 | 多任务模型分发、按问题复杂度分级服务 |
参数路由 | 多租户隔离、环境隔离、用户分流 | 根据请求 Header 参数值匹配路由规则 | 需按租户/环境/用户类型将流量路由到不同服务 |
基于标签路由 | 模型标签筛选 | 通过模型服务标签(Key-Value)自动筛选可用服务 | 模型众多,需要通过标签筛选 |
延迟优先路由 | 跨地域多线路选路、响应体验优化 | 根据模型服务实时延迟监测数据选择最优路径 | 多地域部署、多 IDC 接入场景 |