操作场景
自定义供应商模型探测支持在创建自定义模型服务时,通过探测能力自动发现供应商提供的模型列表,避免手动逐个配置模型名称。适用于以下场景:
快速接入:对接 OpenAPI 兼容协议的自定义供应商时,快速获取可用模型列表。
批量导入:供应商提供多个模型时,一键导入所有模型名称,避免手动录入。
版本同步:定期探测供应商的模型列表,自动同步新增或下线的模型。
兼容性验证:验证自定义供应商的 API Endpoint 和协议兼容性,确保配置正确。
说明:
模型探测仅支持 OpenAI 兼容协议的供应商,通过调用供应商的
/v1/models 接口获取模型列表。前置条件
1. 已创建 AI 网关实例且处于运行中状态。
2. 准备好自定义供应商的 API Endpoint 和访问凭证。
3. 供应商需支持 OpenAI 兼容协议的模型列表查询接口(
/v1/models)。操作步骤
场景一:创建自定义模型服务时发起模型探测
步骤 1:进入模型服务创建页
1. 登录微服务平台控制台,在左侧导航栏单击云原生智能网关 > 实例列表;
2. 在实例列表页面,单击需要配置的网关实例的“ID”,进入该网关实例的基本信息页面;
3. 在左侧导航栏单击模型管理,然后单击模型服务页签,在服务列表中单击新建。
步骤 2:选择自定义供应商
1. 在 模型供应商 区域,选择 自定义供应商;
2. 配置基本信息。
步骤 3:发起模型探测
在配置完成基本信息后,在 模型配置 区域单击 发起模型探测:

步骤 4:确认并导入模型
1. 在探测结果列表中勾选需要导入的模型;
2. 单击 确定 或类似确认按钮;
3. 系统将选中的模型导入到模型配置中。

场景二:已有服务重新探测
对于已创建的自定义模型服务,可以重新发起模型探测以同步供应商的模型更新。
操作步骤
1. 进入目标模型服务的编辑页面;
2. 在 模型策略 区域单击 发起模型探测;
3. 查看探测结果,勾选新增的模型或取消勾选已下线的模型;
4. 保存配置。
注意事项
1. API 接口要求:模型探测通过调用供应商的
/v1/models 接口获取模型列表,请确保供应商支持该接口。2. 访问凭证:探测时需要使用供应商的 API Key 等访问凭证进行认证。
3. 探测失败处理:探测失败时(如网络不可达、认证失败、接口不兼容),页面会显示具体错误信息,不影响后续手动配置模型。
4. 重新探测的频率:建议定期(如每周)重新探测一次,同步供应商的模型更新。但注意不要过于频繁,避免对供应商造成不必要的负担。
5. 模型名称准确性:导入的模型名称为供应商返回的原始名称,请确认与实际调用时使用的 model 参数一致。