应用接入多个供应商

应用只需写一个模型 ID,网关就会在提供该模型的多个通道之间选择和回退,平台提供的服务商通道和你通过 BYOK 接入的通道都算在内。需要在一个模型失败后改用另一个模型时,使用虚拟模型的备用模型或工作空间默认模型。不同通道可能使用不同的上游协议,对同一请求的处理也会不同,所以上线前要逐个通道验证。

一个模型 ID,多个通道

模型广场中的一个模型可以有多个来源:

  • 平台来源:平台提供的服务商通道,「接入来源」中显示为「三方服务」。一个模型可能由多家服务商提供,平台新上架的来源默认开通。
  • BYOK 来源:当前账号管理员在 自带密钥(BYOK) 中用你自己在服务商处的 API Key 接入的通道,配置生效后默认开通。接入和映射方法见BYOK 接入与测试连接和模型映射与来源配置。

只有已开通的来源参与调用。在模型详情的「服务商与价格」中,每个来源单独显示状态、开关和价格;同一服务商同时有平台来源和 BYOK 来源时,分别标为「平台价」和「BYOK 参考价」。来源的开通、停用见如何选择模型。

模型广场左侧的「接入来源」可分别筛出「三方服务」和「BYOK」来源;「专属可用模型」是当前工作空间已开通的模型。

图 1:模型广场左侧的「接入来源」可分别筛出「三方服务」和「BYOK」来源;「专属可用模型」是当前工作空间已开通的模型。 截图为演示数据,点击图片可查看原图。

网关如何在通道之间选择

直接调用模型 ID 时,网关按以下设置给该模型的通道排序:

设置 位置 作用
仅用此 BYOK BYOK 的「使用配置」 该模型只使用这个通道的 BYOK 凭证,失败后不再使用平台凭证、其他通道或默认模型
优先使用此 Channel BYOK 的「使用配置」 把这个通道排在最前,失败后照常回退
多渠道选路策略 智能路由 其余通道按「最低价」「负载均衡」「最高吞吐」「最低延迟」排序,新建工作空间默认「最低价」
Channel 排序策略 虚拟模型 通过虚拟模型调用时,代替多渠道选路策略
  • 一个通道下先尝试你的 BYOK 凭证(按 BYOK 中设置的顺序),再尝试平台凭证(该通道的平台来源已开通时)。
  • 「最低价」和「负载均衡」会把同一 API Key 对同一模型的调用保持在同一个通道上(保持期 30 分钟,每次调用续期),以提高上游提示词缓存的命中率。
  • 请求中没有可以指定通道的参数。需要让一部分调用使用不同的排序时,为它们创建虚拟模型并设置「Channel 排序策略」。

各选项的排序方式见通道选择与路由策略。

智能路由中设置多渠道选路策略和默认模型,修改后自动保存。

图 2:智能路由中设置多渠道选路策略和默认模型,修改后自动保存。 截图为演示数据,点击图片可查看原图。

失败后的回退

  • 同一模型内:上游返回非 2xx、连接失败或等待超时时,网关在开始向客户端输出内容之前,自动换下一个凭证或通道。
  • 跨模型:虚拟模型按「默认模型 → 备用模型(按填写顺序)→ 工作空间默认模型」的顺序尝试;直接调用模型 ID 时,全部通道失败后由工作空间默认模型接手(已在智能路由中设置时)。
  • 不会回退的情况:流式输出已经开始、通道开启了「仅用此 BYOK」、网关拒绝了请求(如余额不足 402、安全围栏拦截 403、模型不支持当前接口或输入 400)。图像、视频和语音接口只在同一模型的通道之间回退。

完整规则见失败重试与备用模型。

上线前的兼容性检查

同一个请求落到不同通道时,结果可能不同。建议在测试工作空间中,于模型详情里只保留一个来源开启,逐个通道运行同一组真实任务,并核对下表:

检查项 原因
结构化输出 发往 Anthropic 协议通道时,response_format、seed、n、logprobs 等字段会在转换中被去掉
Responses 接口 /v1/responses 请求原样转发,只有提供 Responses 接口的通道能处理,Anthropic 协议通道没有该接口
工具调用与流式 核对 tool_calls 的参数结构,以及流式输出是否以 data: [DONE](或 message_stop)正常结束
推理参数 reasoning_effort、enable_thinking、thinking_budget 分属不同服务商,网关不相互换算
提示词缓存 各通道的缓存命中率不同;Anthropic 的 cache_control 标记只在发往 Anthropic 协议通道时保留
价格与限额 每个来源单独计价;BYOK 凭证还受服务商自身的额度和限流约束

协议转换的完整规则见模型能力与兼容性,缓存优化见降低成本与优化缓存。

验证实际路由

调用后在请求日志中打开记录,查看「模型(实际)」和「服务商」。当前账号管理员和工作空间管理员还能在「路由追踪」中看到「路由策略」「全部候选」和「上游调用尝试」,后者记录每次实际尝试的状态码和换下一个候选的原因,见查看实际路由。

配置了 BYOK,为什么请求仍走平台通道?

答: 在「最低价」等策略下,平台通道可能排在你的 BYOK 通道前面。需要优先使用 BYOK 时,请账号管理员在该 BYOK 的「使用配置」中打开「优先使用此 Channel」;需要只用 BYOK 时打开「仅用此 BYOK」,开启后该通道的平台来源在模型广场中显示为「仅允许 BYOK」。

同一模型的回答质量或速度时好时坏,怎么排查?

答: 在日志中按模型筛选,对比不同请求的「服务商」、首 Token 和总延迟,确认是否落在不同通道。找到表现不佳的来源后,可以在模型详情中停用它,或调整多渠道选路策略。