智能路由是一种通过动态分析用户请求内容,在模型备选集中自动匹配最合适模型进行处理,帮助企业在复杂场景中实现 AI 资源的最优配置。
概述
智能路由的 model-code 固定为 auto-model 前缀,后接 8 位随机字符(如 auto-model-abcd1234)。客户端通过该 model-code 发起请求 → 路由服务动态分析请求内容并从备选集中自动匹配最合适的模型 → 实际模型推理 → 响应返回(x-dashscope-resolved-model 标注实际模型,保留真实 token 用量)。
适用范围:
| 维度 | 说明 |
|---|---|
| 地域 | 北京(cn-beijing)+ 新加坡(ap-southeast-1) |
| 模型类型 | 仅文本输入 |
| 调用协议 | 仅支持 OpenAI 兼容接口(Chat Completions),不支持 DashScope 协议与 Anthropic 协议 |
| 访问域名 | 仅支持 maas.aliyuncs.com(https://{WorkspaceId}.{region}.maas.aliyuncs.com/compatible-mode/v1,region 为 cn-beijing 或 ap-southeast-1),不支持 dashscope.aliyuncs.com(含 compatible-mode) |
| 计费 | 按量计费 |
| 限流 | 按实际路由模型在账号和业务空间限流 |
- 最大化模型效果:针对不同任务自动匹配最优模型,尤其适配对效果有极致需求的用户。
- 精准降低成本:简单任务自动路由至轻量模型,复杂任务匹配高阶模型,避免「大材小用」的资源浪费,实现成本与需求的精准适配。
- 化解模型选择难题:无需用户手动开展复杂的模型评测与对比,平台全程自动筛选最优解,大幅降低模型选型门槛。
- 极简使用体验:与常规模型接入流程完全一致,通过 model-code 即可调用,无需额外修改代码。
创建智能路由
在百炼控制台「模型推理 > 专属部署」下,点击「部署新模型」进入创建页,在「部署模式」中选择「智能路由」创建。
前提条件
- 已开通百炼工作空间。
- 目标路由模型版本已发布,且当前账号已开通该版本及备选模型的调用权限。
操作步骤
- 填写服务名称(必填,最长 50 字符)。
- 在部署模式中选择「智能路由」。
- 在路由模型版本下拉中选择一个已发布版本(由平台维护)。
- 在路由策略中选择「效果优先」或「成本优先」。
- 在模型备选集中勾选备选模型(至少 2 个)。
- 点击确认部署完成创建。
model-code(形如 auto-model-XXXXXXXX),客户端以该 model-code 发起调用。model-code 删除后不复用。
路由策略
路由策略决定每条请求由备选模型集内哪个模型执行。两种策略均按请求内容动态匹配(非固定路由),创建时选定。
策略 | 选模机制 | 适用场景 |
|---|---|---|
效果优先(EFFECT_FIRST) | 每条请求选备选集内效果最强的模型 | 关键业务、复杂推理、高质量内容生成等质量要求严苛的场景 |
成本优先(COST_FIRST) | 在满足效果下限前提下智能调度轻量级模型 | 成本敏感、高并发、对延迟与单位成本更关注的场景 |
备选模型配置
备选模型集是路由服务选模时可挑选的范围。创建智能路由时,在「模型备选集」区域从备选列表中勾选参与路由的模型,至少选择 2 个备选模型,否则无法部署。
- model-router-2026-0908
备选模型 | 上下文 | 输入价 | 输出价 | 缓存命中输入价 |
|---|---|---|---|---|
| 1M | 12 | 36 | 1.5 |
| 1M | 0.8 | 2.7 | 0.1 |
| 1M | 2 | 8 | 0.4 |
| 1M | 0.2 | 0.8 | 0.04 |
| 1M | 12 | 36 | 2.4 |
| 1M | 9 | 27 | 0.9 |
| 1M | 3 | 9 | 0.3 |
| 1M | 20 | 100 | 2 |
| 1M | 8 | 28 | 2 |
调用智能路由
智能路由创建后,调用方式与普通模型一致——仅需将请求中的 model 参数替换为智能路由的 model-code(如 auto-model-abcd1234),客户端零代码改动接入。
调用示例:
x-dashscope-resolved-model 值为实际调用模型的标识,可验证路由是否生效;响应体保留实际执行模型名与真实 token 用量,计费按实际路由到的模型。
计费:按实际路由到的模型计费,智能路由服务本身暂不收费。
故障自动切换
智能路由内置故障自动切换,默认启用、无需配置。目标模型不可用时,路由服务用备选集内其他模型重新发起整个请求,不在推理中途切换。
以下情况不触发故障自动切换,错误直接透出实际模型的原始信息:
- 429(限流)
- 400/403/404/500 等确定性错误(换模型大概率同样失败)
- 超时或网络异常
- 流式已开始返回内容后出错
实时过滤规则
路由服务对备选集做实时过滤:
- 过滤当前账号无调用权限的模型。
- 过滤已下线的模型。
- 过滤与当前请求参数不兼容的模型(如请求携带
response_format,则只路由到支持该参数的备选模型)。
使用限制
| 限制项 | 说明 |
|---|---|
| 调用协议 | 仅 OpenAI 兼容接口 |
| 请求类型 | 仅支持文本 Chat Completions 输入;不支持图片、视频输入、图像生成(文生图)、Batch 批量推理、Embedding/Rerank 等非生成接口 |
| 上下文长度 | 上限 = 备选集内模型的最小上下文窗口;超长直接报错,不触发故障自动切换 |
| 限流 | 按实际路由模型在账号和业务空间的 RPM/TPM 限流;故障自动切换时只计最终成功模型的消耗 |
参数说明
response_format:只路由到支持该参数的备选模型。enable_search:只路由到支持该参数的备选模型。reasoning_effort:默认仅路由到支持该参数的备选模型,该参数仅支持none、minimal、low、medium、high、xhigh、max枚举值。enable_thinking:设置为false关闭思考,倾向选择 non-thinking 模型;设置为true自动排除 non-thinking 模型并自动开启 thinking。max_tokens:设置后会自动转换为max_completion_tokens参数传递给备选模型,路由时仅选择支持max_completion_tokens参数的备选模型。
| 参数 | 说明 |
|---|---|
top_logprobs | 限制返回 logprobs 数量 |
logit_bias | token 偏置 |
stop | 停止序列 |
tool_choice | 工具选择 |
parallel_tool_calls | 并行工具调用 |
logprobs | 是否返回 logprobs |
top_p | 核采样 |
temperature | 采样温度 |
presence_penalty | 存在惩罚 |
n | 生成数量 |
thinking_budget | 思考预算长度 |
缓存
智能路由不支持显式缓存参数:
- 若请求配置了显式缓存标识,系统会忽略显式缓存相关参数。
- 显式缓存不参与计费。
管理路由服务
查看详情
部署成功后,在专属部署列表点击服务名进入详情页,可查看:
- 基本信息:服务名称、
model-code、运行状态、路由策略标签。 - 路由配置:路由版本、路由策略、备选集与备选模型列表。
- 计费方式:按量计费,按实际使用模型单价计费。
- 部署配置:各备选模型的 TPM/RPM 限流配额。
修改路由配置
在详情页「路由配置」区域点击「编辑」,可修改路由模型版本、路由策略与备选模型。切换路由版本时备选模型集随之变更,修改后几分钟内生效、不影响线上请求。
选定具体版本后,线上业务的路由行为将保持长期稳定;升级版本前请务必做全面评估,避免对业务产生影响。当前版本为 model-router-2026-0908。路由版本默认不自动更新。
删除服务
在专属部署列表中删除智能路由服务。model-code 删除后不复用,需重新创建。
智能路由效果
本章介绍智能路由的运行效果指标与监控方式。效果指标在详情页「智能路由效果」标签页查看,调用监控在模型监控页面查看。
路由效果指标
在详情页「智能路由效果」标签页查看以下指标。页面显示的指标为预估值,仅供参考,不能用于出账,实际账单以「费用用量」为准:
指标 | 含义 | 异常处理 |
|---|---|---|
路由请求总量 | 路由服务接收的请求总数(含故障自动切换成功) | 突增排查上游限流/异常 |
路由成功率 | 成功转发请求 ÷ 总请求 × 100% | 下降则排查备选模型可用性 |
实际模型成本(预估) | 按实际模型目录价估算的全量成本(阶梯计费取最低档,峰谷定价取峰值,不含免费额度,与实际账单有偏差) | 上升则检查路由策略与备选集 |
基线模型成本(预估) | 假设全部由基线模型处理的对照成本(同口径估算) | — |
节约金额 | 基线成本 − 实际成本(正值表示路由节约) | — |
计费请求数 | 产生费用的成功请求数 | — |
花费占比 | 单模型成本 ÷ 总成本 | 异常则检查备选集分布 |
成本说明
成本分析数据约有 1 小时延迟,非实时统计。
上述成本均按目录价估算全量成本,不含账号折扣优惠与免费额度,仅供衡量智能路由节约效果参考。
阶梯计费模型取最低档目录价,峰谷定价模型取峰值价格。
实际账单金额可在「费用用量」中查看。
模型监控
如需查看更细粒度的调用监控,可前往模型监控页面。
该页面展示 auto-model 维度的模型监控和日志,不展示实际路由到的各模型的独立监控。