跳转到内容

路由配置

在左侧 Inference → Routes 打开路由页。模型路由决定:当客户端传入某个 model(以及可选的 路由组)时,网关按什么顺序尝试哪条「模型 + 供应商 + 上游模型名」组合。同一路由组内可配置多条路由,按 优先级 依次尝试,实现故障时的自动切换。

列表支持多条件筛选;筛选结果会反映在浏览器地址栏,便于复制链接给同事查看同一视图。

OctaFuse Admin Routes 页面中按供应商分组展示模型路由配置。
Routes 页面会按供应商和模型展示路由卡片;同一个模型可以有多条启用/备用路由,用于优先级和故障切换。
  1. 打开 Routes
  2. 新建路由:选择模型、供应商、上游实际模型名称、协议类型(须与供应商页为该协议配置的访问地址一致)、路由组(常用 default)、优先级(数字越小越优先)、状态(仅 启用 的路由参与对外服务)。
  3. 计费:在路由的 Billing 面板配置 用户计费 / 供应成本 相对目录标准价的基础倍率;如需对齐供应商高峰 / 闲时价,再配置 Daily schedule(每日时段倍率,时区见 系统配置 的业务时区)。
  4. 保存后:用 Playground 针对单条路由做上游试跑;若要验证「真实密钥 + 网关入口」整条链路,请用 Simulator

客户端只需传 model 及协议要求的请求体,无需写死供应商信息。调整上游或优先级时,优先改路由页即可。

路由边界:priority、weight 与粘性

Section titled “路由边界:priority、weight 与粘性”
控制什么
Route priority同一 route_group 内先试哪条上游 route(数字越小越先)。Route 没有 weight。
Provider Key weight命中某条 route 后,在该 Provider 的多把 Key 间、余量接近时加权随机。见 供应商配置
粘性(sticky)Models 上按「协议 × 路由组」opt-in。开启后,同一用户尽量连续命中同一把上游 Key,提升上游 prompt cache 命中率;软限流可短等待,上游硬错误仍会 failover。

Playground 用于直连上游试跑单条路由,不会模拟网关对同组多条路由的自动切换,也 不走 sticky;完整路由行为以真实 Proxy 调用为准。图片生成路由须为 OpenAI 协议,见 图片生成 / 编辑