模型配置
在左侧 Inference → Models 打开模型页。模型是网关门面目录:客户端请求里的 model 会先到这一步维护的条目,再结合 路由配置 决定走哪条上游。页面上可新建、编辑、导入预设,并编辑分层定价;列表中会提示与该模型相关的路由情况。
在管理台里要做什么
Section titled “在管理台里要做什么”- 打开 Models。
- 新建或编辑:设置与客户端、路由中一致的 模型标识、展示名称、厂商 等表单字段;按需填写上下文长度、输出上限等(以界面为准)。
- 从目录导入:使用内置模型目录批量预填,导入后请核对并保存。
- 定价:在页面中的分层定价编辑器里维护各档位价格(界面金额单位会随全局计费币种设置变化)。
- 保存后:务必在 路由配置 中为该模型添加至少一条 启用(active) 的路由,否则客户端无法正常选路。
客户端 model 怎么写
Section titled “客户端 model 怎么写”可使用 基础模型标识,或使用 基础模型标识:路由组(例如 my-model:free)以指定路由组;路由组名称须与路由页配置一致。更完整的协议说明见 GitHub 技术参考。