路由配置
在左侧推理(Inference)下打开路由(Routes,页面标题为模型路由(Model Routes))。2.0 使用三层拓扑:客户端请求先按模型、路由组、协议与操作命中请求入口(Surface);请求入口指向一个路由池(Route Pool);路由池内包含多个具体的上游目标(Upstream targets)。这样,聊天、图片、音频等操作可以使用独立的故障转移池和路由策略。
列表支持多条件筛选;筛选结果会反映在浏览器地址栏,便于复制链接给同事查看同一视图。

在管理台里要做什么
Section titled “在管理台里要做什么”- 打开路由(Routes)。
- 请求入口(Surface):选择客户端模型与
route_group(常用default),再指定入口协议和operation,例如openai.chat、anthropic.messages、openai.images.generations;Gemini 流式与非流式统一选择gemini.models.generate。 - 路由池(Route Pool):让请求入口指向一个故障转移池;可设置路由池的默认策略,也可点击各
priority层的策略(Policy)芯片,单独覆盖该层。未设置时继续继承模型或全局策略。 - 上游目标(Upstream Target):选择供应商(Provider),填写上游实际模型名与
operation,设置priority(数字越大越先尝试)、weight和启用状态。 - 计费:在上游目标中设置用户计费(Charged cost)和供应成本(Metered cost)相对目录标准价的基础倍率;如需对齐供应商的高峰价和闲时价,再配置每日时段(Daily schedule)倍率,时区见 系统配置。
- 保存后:用调试台(Playground)针对单条路由做上游试跑;若要验证“真实密钥 + 网关入口”整条链路,请用模拟器(Simulator)。
与客户端的关系
Section titled “与客户端的关系”客户端只需传 model 及协议要求的请求体,无需写死供应商信息。可使用基础模型 ID,或用 baseId:group 选择路由组。
路由顺序与四种策略
Section titled “路由顺序与四种策略”路由池先按上游目标的 priority 降序分层,数字越大越先尝试;同一 priority 层再按生效策略与 weight 排序:
| 策略 | 特点与适用场景 |
|---|---|
hash_affinity(默认) | 同一用户、模型、分组与协议会稳定首选同一供应商,提示词缓存(Prompt Cache)命中率高;短时流量可能不完全均匀。 |
weighted_random | 按 weight 加权随机分流,负载均衡性高,适合比例分摊或 A/B;缓存亲和较弱。 |
weight_priority | 同层按 weight 从高到低固定排序,适合可预测的主备结构;首选供应商承担大部分流量。 |
weighted_round_robin | 按 weight 轮转,更均匀;计数器按运行实例维护,多实例间不全局同步。 |
跨供应商硬主备请使用不同的 priority。策略覆盖顺序为:当前 priority 层覆盖 → 路由池默认 → 模型能力规则 → 模型协议规则 → 模型默认 → 全局 ROUTE_STRATEGY → hash_affinity。
供应商粘性(Provider sticky)是路由池级的跨请求成功记忆,不是第五种层内策略:
- 无有效绑定时,仍按
priority与上面的四种策略选路;成功后记录上游目标。 - 有效绑定会在空闲 TTL 内跨
priority优先尝试;默认 TTL 为 3600 秒,每次成功会续期。 - 429、401 / 403、5xx、524 或网络错误会解绑并继续常规故障转移;400、404 与图片客户端取消不会解绑。
- 供应商粘性默认关闭。在拓扑视图(Topology)的路由组或路由池节点中,点击供应商粘性状态芯片(关闭时显示粘性 · 关闭,英文 UI 为 Sticky · Off),打开供应商粘性设置;你可以在此启用或关闭该功能、调整 TTL、查看绑定分布与权重、按用户解绑或让整个路由池的绑定失效。
hash_affinity 是无状态哈希,尽量让同一用户稳定首选同一供应商;供应商粘性则持久记住上次成功的上游目标,并在 D1、Postgres、MySQL 中跨 Worker isolate 或 Node 实例共享。
故障转移与熔断
Section titled “故障转移与熔断”可重试的 429、401 / 403、5xx 与网络错误会继续尝试下一个上游目标;供应商会按错误类型进入不同冷却时间。若所有候选都处于熔断状态,Proxy 返回 429 并携带 Retry-After。
调试台直连单个上游目标,不经过路由池策略、故障转移、用户计费或请求日志;完整行为请用真实代理调用或模拟器验证。图片生成路由须为 OpenAI 协议,见图片生成 / 编辑。