路由配置
在左侧 Inference → Routes 打开路由页。模型路由决定:当客户端传入某个 model(以及可选的 路由组)时,网关按什么顺序尝试哪条「模型 + 供应商 + 上游模型名」组合。同一路由组内可配置多条路由,按 优先级 依次尝试,实现故障时的自动切换。
列表支持多条件筛选;筛选结果会反映在浏览器地址栏,便于复制链接给同事查看同一视图。
在管理台里要做什么
Section titled “在管理台里要做什么”- 打开 Routes。
- 新建路由:选择模型、供应商、上游实际模型名称、协议类型(须与供应商页为该协议配置的访问地址一致)、路由组(常用
default)、优先级(数字越小越优先)、状态(仅 启用 的路由参与对外选路)。 - 价格:如需单独覆盖默认定价,可在表单中使用分层价格编辑器(以界面为准)。
- 保存后:用 Playground 针对单条路由做上游试跑;若要验证「真实密钥 + 网关入口」整条链路,请用 Simulator。
与客户端的关系
Section titled “与客户端的关系”客户端只需传 model 及协议要求的请求体,无需写死供应商信息。调整上游或优先级时,优先改路由页即可。
Playground 用于直连上游试跑单条路由,不会模拟网关对同组多条路由的自动切换;完整切换行为以真实 Proxy 调用为准。