Auto 智能路由

把请求的 model 写成 lyrouter/auto,网关会按这次请求的任务难度,在工作空间已开通的模型中挑选实际调用的模型。它适合允许模型变化的对话和编程助手等场景;对输出结构或模型行为要求严格的应用,请直接写模型 ID,或使用虚拟模型固定模型。

调用 Auto

每个工作空间都可以直接调用 lyrouter/auto,GET /v1/models 也会列出这个名称。环境变量的设置见完成第一次模型调用:

curl "$LYROUTER_BASE_URL/v1/chat/completions" \
  -H "Authorization: Bearer $LYROUTER_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"lyrouter/auto","messages":[{"role":"user","content":"用 Python 写一个快速排序函数"}]}'
  • 支持的接口:/v1/chat/completions、/v1/messages 和 /v1/responses。图像、视频和语音接口不支持 Auto,会返回 403 Model is not available in the model plaza,请改用具体的模型 ID。
  • 首字延迟:网关先识别任务类型,再转发请求,因此首字延迟会比直接调用模型略长。

如何挑选模型

  1. 识别任务类型:网关根据最后一条用户消息判断意图,例如「开发调试」「内容转换」。
  2. 映射到难度层:每类意图对应一个难度层。
  3. 排序候选:该难度层的模型按平台设定的优先级排在前面,候选范围内的其他模型按模型 ID 的字母顺序排在后面。识别不出任务类型时,全部候选按字母顺序排列。
难度层 意图类别 优先选择的模型类型
困难(hard) 开发调试、分析计算、决策规划、流程自动化、审阅校验、治理合规 旗舰推理与编程模型,例如 deepseek/deepseek-v4-pro、qwen/qwen3.7-max
中等(medium) 内容创作、总结归纳、抽取结构化、创意媒体、沟通与工单、学习练习 均衡的主力模型,例如 anthropic/claude-sonnet-4.6、qwen/qwen3.7-plus
简单(easy) 咨询解答、内容转换 速度快、价格低的小模型,例如 anthropic/claude-haiku-4.5、deepseek/deepseek-v4-flash
  • 优先级清单由平台维护,工作空间不能修改。清单中的模型只有在候选范围内、并且本工作空间已开通时才会被选中。
  • 网关按排序依次尝试候选模型,一个模型的所有通道都失败后才进入下一个模型,最后是工作空间的默认模型。
  • 同一模型的多个通道不按「多渠道选路策略」排序;BYOK 中的「优先使用此 Channel」「仅用此 BYOK」仍然生效。

设置候选范围

当前账号管理员在 智能路由 页面「Auto 智能路由」一行点击 高级设置,在抽屉中设置候选范围,再点击 保存 Auto 设置。普通成员看不到这个页面,但可以直接调用 lyrouter/auto。

  • 全部已开通模型(默认):本工作空间在模型广场中已开通的全部模型都是候选。
  • 指定模型范围:勾选已开通的模型,或在搜索框输入模型 ID 或通配规则后按 Enter 录入,例如 anthropic/* 匹配所有以 anthropic/ 开头的模型。手动录入项带「手动」标记。

Auto 高级设置中的候选范围决定可选模型;成本 / 质量权衡与请求覆盖开关目前不影响调用。

图 1:Auto 高级设置中的候选范围决定可选模型;成本 / 质量权衡与请求覆盖开关目前不影响调用。 截图为演示数据,点击图片可查看原图。

  • 只在已开通模型里筛选:录入本工作空间没有开通的模型 ID,它不会成为候选。范围内没有任何可用模型时,请求返回 503 all routed candidates exhausted;设置了默认模型时,改由默认模型回答。
  • 建议只保留对话模型:选中的模型不支持当前接口时(例如向量或图像模型被选到对话接口上),请求直接返回 400 unsupported_model_api,不会改用下一个候选。使用「全部已开通模型」且工作空间开通了非对话模型时,建议改为「指定模型范围」。
  • 只影响 lyrouter/auto:直接写模型 ID 的调用不受候选范围限制。要限制工作空间能调用哪些模型,请在模型广场停用模型,或使用模型授权。

抽屉中的「成本 / 质量权衡」滑块和「允许请求覆盖空间路由设置」开关目前只保存、不影响调用:Auto 只按任务难度挑选模型,请求中也没有可以覆盖路由设置的参数。

验证

调用后在请求日志中打开这条记录,「路由追踪」中:

  • 「虚拟模型」显示 lyrouter/auto;
  • 「路由策略」显示 intent:hard、intent:medium 或 intent:easy,没有识别出任务类型时显示 intent;
  • 「模型(实际)」显示实际回答的模型。

建议用一组固定的测试任务比较实际模型、延迟和费用,再决定是否在生产中使用 Auto。