跳转到内容

路由配置

在左侧推理(Inference)下打开路由(Routes,页面标题为模型路由(Model Routes))。2.0 使用三层拓扑:客户端请求先按模型、路由组、协议与操作命中请求入口(Surface);请求入口指向一个路由池(Route Pool);路由池内包含多个具体的上游目标(Upstream targets)。这样,聊天、图片、音频等操作可以使用独立的故障转移池和路由策略。

列表支持多条件筛选;筛选结果会反映在浏览器地址栏,便于复制链接给同事查看同一视图。

OctaFuse 管理后台路由(Routes)页面展示请求入口、路由组、策略与多个上游目标的拓扑关系。
路由页面把客户端入口、路由策略与上游目标放在同一条链路中展示;同一模型可以按协议、操作与路由组拆分。
  1. 打开路由(Routes)。
  2. 请求入口(Surface):选择客户端模型与 route_group(常用 default),再指定入口协议和 operation,例如 openai.chatanthropic.messagesopenai.images.generations;Gemini 流式与非流式统一选择 gemini.models.generate
  3. 路由池(Route Pool):让请求入口指向一个故障转移池;可设置路由池的默认策略,也可点击各 priority 层的策略(Policy)芯片,单独覆盖该层。未设置时继续继承模型或全局策略。
  4. 上游目标(Upstream Target):选择供应商(Provider),填写上游实际模型名与 operation,设置 priority(数字越大越先尝试)、weight 和启用状态。
  5. 计费:在上游目标中设置用户计费(Charged cost)和供应成本(Metered cost)相对目录标准价的基础倍率;如需对齐供应商的高峰价和闲时价,再配置每日时段(Daily schedule)倍率,时区见 系统配置
  6. 保存后:用调试台(Playground)针对单条路由做上游试跑;若要验证“真实密钥 + 网关入口”整条链路,请用模拟器(Simulator)

客户端只需传 model 及协议要求的请求体,无需写死供应商信息。可使用基础模型 ID,或用 baseId:group 选择路由组。

路由池先按上游目标的 priority 降序分层,数字越大越先尝试;同一 priority 层再按生效策略与 weight 排序:

策略特点与适用场景
hash_affinity(默认)同一用户、模型、分组与协议会稳定首选同一供应商,提示词缓存(Prompt Cache)命中率高;短时流量可能不完全均匀。
weighted_randomweight 加权随机分流,负载均衡性高,适合比例分摊或 A/B;缓存亲和较弱。
weight_priority同层按 weight 从高到低固定排序,适合可预测的主备结构;首选供应商承担大部分流量。
weighted_round_robinweight 轮转,更均匀;计数器按运行实例维护,多实例间不全局同步。

跨供应商硬主备请使用不同的 priority。策略覆盖顺序为:当前 priority 层覆盖 → 路由池默认 → 模型能力规则 → 模型协议规则 → 模型默认 → 全局 ROUTE_STRATEGYhash_affinity

供应商粘性(Provider sticky)是路由池级的跨请求成功记忆,不是第五种层内策略:

  • 无有效绑定时,仍按 priority 与上面的四种策略选路;成功后记录上游目标。
  • 有效绑定会在空闲 TTL 内跨 priority 优先尝试;默认 TTL 为 3600 秒,每次成功会续期。
  • 429、401 / 403、5xx、524 或网络错误会解绑并继续常规故障转移;400、404 与图片客户端取消不会解绑。
  • 供应商粘性默认关闭。在拓扑视图(Topology)的路由组或路由池节点中,点击供应商粘性状态芯片(关闭时显示粘性 · 关闭,英文 UI 为 Sticky · Off),打开供应商粘性设置;你可以在此启用或关闭该功能、调整 TTL、查看绑定分布与权重、按用户解绑或让整个路由池的绑定失效。

hash_affinity 是无状态哈希,尽量让同一用户稳定首选同一供应商;供应商粘性则持久记住上次成功的上游目标,并在 D1、Postgres、MySQL 中跨 Worker isolate 或 Node 实例共享。

可重试的 429、401 / 403、5xx 与网络错误会继续尝试下一个上游目标;供应商会按错误类型进入不同冷却时间。若所有候选都处于熔断状态,Proxy 返回 429 并携带 Retry-After

调试台直连单个上游目标,不经过路由池策略、故障转移、用户计费或请求日志;完整行为请用真实代理调用或模拟器验证。图片生成路由须为 OpenAI 协议,见图片生成 / 编辑