跳转到内容

模型配置

在左侧 Inference → Models 打开模型页。模型是网关门面目录:客户端请求里的 model 会先到这一步维护的条目,再结合 路由配置 决定走哪条上游。页面上可新建、编辑、导入预设,并编辑分层定价;列表中会提示与该模型相关的路由情况。

  1. 打开 Models
  2. 新建或编辑:设置与客户端、路由中一致的 模型标识展示名称厂商 等表单字段;按需填写上下文长度、输出上限等(以界面为准)。
  3. 从目录导入:使用内置模型目录批量预填,导入后请核对并保存。
  4. 定价:在页面中的分层定价编辑器里维护各档位价格(界面金额单位会随全局计费币种设置变化)。
  5. 保存后:务必在 路由配置 中为该模型添加至少一条 启用(active) 的路由,否则客户端无法正常选路。

可使用 基础模型标识,或使用 基础模型标识:路由组(例如 my-model:free)以指定路由组;路由组名称须与路由页配置一致。更完整的协议说明见 GitHub 技术参考