应用接入多个供应商
应用只需写一个模型 ID,网关就会在提供该模型的多个通道之间选择和回退,平台提供的服务商通道和你通过 BYOK 接入的通道都算在内。需要在一个模型失败后改用另一个模型时,使用虚拟模型的备用模型或工作空间默认模型。不同通道可能使用不同的上游协议,对同一请求的处理也会不同,所以上线前要逐个通道验证。
一个模型 ID,多个通道
模型广场中的一个模型可以有多个来源:
- 平台来源:平台提供的服务商通道,「接入来源」中显示为「三方服务」。一个模型可能由多家服务商提供,平台新上架的来源默认开通。
- BYOK 来源:当前账号管理员在 自带密钥(BYOK) 中用你自己在服务商处的 API Key 接入的通道,配置生效后默认开通。接入和映射方法见BYOK 接入与测试连接和模型映射与来源配置。
只有已开通的来源参与调用。在模型详情的「服务商与价格」中,每个来源单独显示状态、开关和价格;同一服务商同时有平台来源和 BYOK 来源时,分别标为「平台价」和「BYOK 参考价」。来源的开通、停用见如何选择模型。
图 1:模型广场左侧的「接入来源」可分别筛出「三方服务」和「BYOK」来源;「专属可用模型」是当前工作空间已开通的模型。 截图为演示数据,点击图片可查看原图。
网关如何在通道之间选择
直接调用模型 ID 时,网关按以下设置给该模型的通道排序:
| 设置 | 位置 | 作用 |
|---|---|---|
| 仅用此 BYOK | BYOK 的「使用配置」 | 该模型只使用这个通道的 BYOK 凭证,失败后不再使用平台凭证、其他通道或默认模型 |
| 优先使用此 Channel | BYOK 的「使用配置」 | 把这个通道排在最前,失败后照常回退 |
| 多渠道选路策略 | 智能路由 | 其余通道按「最低价」「负载均衡」「最高吞吐」「最低延迟」排序,新建工作空间默认「最低价」 |
| Channel 排序策略 | 虚拟模型 | 通过虚拟模型调用时,代替多渠道选路策略 |
- 一个通道下先尝试你的 BYOK 凭证(按 BYOK 中设置的顺序),再尝试平台凭证(该通道的平台来源已开通时)。
- 「最低价」和「负载均衡」会把同一 API Key 对同一模型的调用保持在同一个通道上(保持期 30 分钟,每次调用续期),以提高上游提示词缓存的命中率。
- 请求中没有可以指定通道的参数。需要让一部分调用使用不同的排序时,为它们创建虚拟模型并设置「Channel 排序策略」。
各选项的排序方式见通道选择与路由策略。
图 2:智能路由中设置多渠道选路策略和默认模型,修改后自动保存。 截图为演示数据,点击图片可查看原图。
失败后的回退
- 同一模型内:上游返回非 2xx、连接失败或等待超时时,网关在开始向客户端输出内容之前,自动换下一个凭证或通道。
- 跨模型:虚拟模型按「默认模型 → 备用模型(按填写顺序)→ 工作空间默认模型」的顺序尝试;直接调用模型 ID 时,全部通道失败后由工作空间默认模型接手(已在智能路由中设置时)。
- 不会回退的情况:流式输出已经开始、通道开启了「仅用此 BYOK」、网关拒绝了请求(如余额不足 402、安全围栏拦截 403、模型不支持当前接口或输入 400)。图像、视频和语音接口只在同一模型的通道之间回退。
完整规则见失败重试与备用模型。
上线前的兼容性检查
同一个请求落到不同通道时,结果可能不同。建议在测试工作空间中,于模型详情里只保留一个来源开启,逐个通道运行同一组真实任务,并核对下表:
| 检查项 | 原因 |
|---|---|
| 结构化输出 | 发往 Anthropic 协议通道时,response_format、seed、n、logprobs 等字段会在转换中被去掉 |
| Responses 接口 | /v1/responses 请求原样转发,只有提供 Responses 接口的通道能处理,Anthropic 协议通道没有该接口 |
| 工具调用与流式 | 核对 tool_calls 的参数结构,以及流式输出是否以 data: [DONE](或 message_stop)正常结束 |
| 推理参数 | reasoning_effort、enable_thinking、thinking_budget 分属不同服务商,网关不相互换算 |
| 提示词缓存 | 各通道的缓存命中率不同;Anthropic 的 cache_control 标记只在发往 Anthropic 协议通道时保留 |
| 价格与限额 | 每个来源单独计价;BYOK 凭证还受服务商自身的额度和限流约束 |
协议转换的完整规则见模型能力与兼容性,缓存优化见降低成本与优化缓存。
验证实际路由
调用后在请求日志中打开记录,查看「模型(实际)」和「服务商」。当前账号管理员和工作空间管理员还能在「路由追踪」中看到「路由策略」「全部候选」和「上游调用尝试」,后者记录每次实际尝试的状态码和换下一个候选的原因,见查看实际路由。
配置了 BYOK,为什么请求仍走平台通道?
答: 在「最低价」等策略下,平台通道可能排在你的 BYOK 通道前面。需要优先使用 BYOK 时,请账号管理员在该 BYOK 的「使用配置」中打开「优先使用此 Channel」;需要只用 BYOK 时打开「仅用此 BYOK」,开启后该通道的平台来源在模型广场中显示为「仅允许 BYOK」。
同一模型的回答质量或速度时好时坏,怎么排查?
答: 在日志中按模型筛选,对比不同请求的「服务商」、首 Token 和总延迟,确认是否落在不同通道。找到表现不佳的来源后,可以在模型详情中停用它,或调整多渠道选路策略。

