跳转到内容

OctaFuse 2.1:把智能体工具也纳入统一网关

发布于

过去谈 AI 网关,我们更关心模型调用:如何统一 OpenAI、Anthropic、Gemini 等协议,如何在多个供应商(Provider)之间完成路由和故障转移(Failover),以及如何管理密钥、预算、Token 与调用日志。

但当智能体真正进入业务后,模型只负责“思考”,搜索网页、抓取正文、深度检索和垂直检测等工具则负责“行动”。如果每项工具都要维护各自的密钥、价格、账单和日志,系统很快又会变成一组彼此割裂的孤岛。

OctaFuse Gateway 2.1 的重点,就是把模型之外的智能体能力也纳入统一网关。

四类智能体工具(Agent Tools),一个产品入口

Section titled “四类智能体工具(Agent Tools),一个产品入口”

2.1 版本已经覆盖四类常用能力:

工具用途
网页搜索(Web Search)联网搜索与结果聚合
网页抓取(Web Fetch)抽取网页正文
深度搜索(Web Deep Search)将检索与正文读取组合为一次调用
AI 率检测(AI Detection)检测文本的 AI 生成概率

这些工具统一通过 /v1/tools/* 对外提供服务,共享用户 API Key 鉴权、预算预检、调用计费、请求日志和审计能力。

对智能体来说,只需持有一把 OctaFuse 用户密钥;对运营人员来说,可以在管理后台(Admin)中独立选择每种工具的引擎、凭证和价格,而不会把供应商的实现细节暴露给客户端。

2.1 新增端点:

POST /v1/tools/ai-detection

调用方提交待检测文本后,网关会依次完成:

  1. 校验用户 API Key 并进行预算预检。
  2. 对长文本自动分段。
  3. 调用当前启用的检测引擎。
  4. 汇总整体评分和分段结果。
  5. 成功后写入费用、扣减预算并记录日志。

首个实现接入腾讯云 TMS,按字符计费单元结算。技术分段与计费单元彼此独立,因此未来替换或增加检测引擎时,客户端协议无需随之变化。

三账本:成本、目录价和用户实付分开看

Section titled “三账本:成本、目录价和用户实付分开看”

一句“本次调用花了 0.01”无法说明这是供应商成本、公开价格,还是用户最终扣费。2.1 将智能体工具的记账方式统一为三种口径:

账本含义
metered供应侧实际成本
standard对外目录标准价
charged用户实际计费

只有 charged 会累加到用户的 budget_spent。三种口径拆开后,可以直接计算单次调用的成本、收入与利润空间,也让业务系统不再自行实现一套工具扣费逻辑。

2.1 同时提供只读接口:

GET /v1/tools/pricing

门户或客户端可以在调用前查询币种、计费方式、计费粒度以及三种账本价格。接口不会返回引擎密钥,也不会暴露当前启用的引擎名称;客户端购买的是稳定的 OctaFuse 工具能力,而不是某一家供应商的内部实现。

管理后台从“能配置”走向“能运营”

Section titled “管理后台从“能配置”走向“能运营””

围绕智能体工具,管理后台补齐了完整的管理闭环:

  • 工具(Tools)配置页统一控制敏感凭证的显示与隐藏
  • 调用记录同时展示供应成本、目录价、用户计费与利润
  • 请求日志(Request Logs)区分模型请求与智能体工具调用
  • 日志记录实际使用的引擎供应商,方便排查
  • 调试台(Playground)/ 模拟器(Simulator)支持 AI 率检测联调
  • 被模型路由引用的供应商无法误删

底层新增共享包 @octafuse/tool-engines,让代理和管理后台的调试台复用同一组工具引擎客户端,也为后续扩展更多工具与供应商建立清晰边界。

2.0 解决的是“模型请求应该怎么走”;2.1 开始回答“智能体调用了什么能力、上游成本是多少、用户应该支付多少、整条链路能否审计”。

如果你的智能体已经不只会聊天,还会搜索、抓取、分析并调用外部能力,那么这些调用同样值得拥有统一的入口、预算和账本。

如果 OctaFuse 对你的项目有帮助,欢迎在 GitHub 上点一个 Star。你的关注和反馈,会帮助我们继续扩展统一的 AI 能力治理体验。