Auto 智能路由
把请求的 model 写成 lyrouter/auto,网关会按这次请求的任务难度,在工作空间已开通的模型中挑选实际调用的模型。它适合允许模型变化的对话和编程助手等场景;对输出结构或模型行为要求严格的应用,请直接写模型 ID,或使用虚拟模型固定模型。
调用 Auto
每个工作空间都可以直接调用 lyrouter/auto,GET /v1/models 也会列出这个名称。环境变量的设置见完成第一次模型调用:
curl "$LYROUTER_BASE_URL/v1/chat/completions" \
-H "Authorization: Bearer $LYROUTER_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"lyrouter/auto","messages":[{"role":"user","content":"用 Python 写一个快速排序函数"}]}'
- 支持的接口:
/v1/chat/completions、/v1/messages和/v1/responses。图像、视频和语音接口不支持 Auto,会返回 403Model is not available in the model plaza,请改用具体的模型 ID。 - 首字延迟:网关先识别任务类型,再转发请求,因此首字延迟会比直接调用模型略长。
如何挑选模型
- 识别任务类型:网关根据最后一条用户消息判断意图,例如「开发调试」「内容转换」。
- 映射到难度层:每类意图对应一个难度层。
- 排序候选:该难度层的模型按平台设定的优先级排在前面,候选范围内的其他模型按模型 ID 的字母顺序排在后面。识别不出任务类型时,全部候选按字母顺序排列。
| 难度层 | 意图类别 | 优先选择的模型类型 |
|---|---|---|
困难(hard) |
开发调试、分析计算、决策规划、流程自动化、审阅校验、治理合规 | 旗舰推理与编程模型,例如 deepseek/deepseek-v4-pro、qwen/qwen3.7-max |
中等(medium) |
内容创作、总结归纳、抽取结构化、创意媒体、沟通与工单、学习练习 | 均衡的主力模型,例如 anthropic/claude-sonnet-4.6、qwen/qwen3.7-plus |
简单(easy) |
咨询解答、内容转换 | 速度快、价格低的小模型,例如 anthropic/claude-haiku-4.5、deepseek/deepseek-v4-flash |
- 优先级清单由平台维护,工作空间不能修改。清单中的模型只有在候选范围内、并且本工作空间已开通时才会被选中。
- 网关按排序依次尝试候选模型,一个模型的所有通道都失败后才进入下一个模型,最后是工作空间的默认模型。
- 同一模型的多个通道不按「多渠道选路策略」排序;BYOK 中的「优先使用此 Channel」「仅用此 BYOK」仍然生效。
设置候选范围
当前账号管理员在 智能路由 页面「Auto 智能路由」一行点击 高级设置,在抽屉中设置候选范围,再点击 保存 Auto 设置。普通成员看不到这个页面,但可以直接调用 lyrouter/auto。
- 全部已开通模型(默认):本工作空间在模型广场中已开通的全部模型都是候选。
- 指定模型范围:勾选已开通的模型,或在搜索框输入模型 ID 或通配规则后按 Enter 录入,例如
anthropic/*匹配所有以anthropic/开头的模型。手动录入项带「手动」标记。
图 1:Auto 高级设置中的候选范围决定可选模型;成本 / 质量权衡与请求覆盖开关目前不影响调用。 截图为演示数据,点击图片可查看原图。
- 只在已开通模型里筛选:录入本工作空间没有开通的模型 ID,它不会成为候选。范围内没有任何可用模型时,请求返回 503
all routed candidates exhausted;设置了默认模型时,改由默认模型回答。 - 建议只保留对话模型:选中的模型不支持当前接口时(例如向量或图像模型被选到对话接口上),请求直接返回 400
unsupported_model_api,不会改用下一个候选。使用「全部已开通模型」且工作空间开通了非对话模型时,建议改为「指定模型范围」。 - 只影响
lyrouter/auto:直接写模型 ID 的调用不受候选范围限制。要限制工作空间能调用哪些模型,请在模型广场停用模型,或使用模型授权。
抽屉中的「成本 / 质量权衡」滑块和「允许请求覆盖空间路由设置」开关目前只保存、不影响调用:Auto 只按任务难度挑选模型,请求中也没有可以覆盖路由设置的参数。
验证
调用后在请求日志中打开这条记录,「路由追踪」中:
- 「虚拟模型」显示
lyrouter/auto; - 「路由策略」显示
intent:hard、intent:medium或intent:easy,没有识别出任务类型时显示intent; - 「模型(实际)」显示实际回答的模型。
建议用一组固定的测试任务比较实际模型、延迟和费用,再决定是否在生产中使用 Auto。
