跳转到内容
OctaFuse OctaFuse
capability.routelive

Upstream capabilities

LLM推理模型chat · code · reasoning
IMG图像模型generate · edit · vision
VID视频模型generate · edit · understand
EXT外部能力search · fetch · tools
OctaFuseCapability Gateway
routekeysbudgetfailoverbillingaudit

Unified access

TXTChat APIOpenAI · Anthropic · Gemini
IMGImages APIgenerations · edits
TOOLTools API可扩展的 Agent 能力
ADMAdmin API用户 · Key · 预算 · 日志
4 能力类型N+ 上游服务1 统一网关4 访问面

AI Gateway & Control PlaneOctaFuse

统一 AI 能力，掌控每一次调用。
快速开始 阅读文档

AI 能力正在从文本模型扩展到图片生成、Agent Tools、私有模型与更多专用服务。供应商、兼容端点、Coding Plan、自托管服务和团队内部账号，各有自己的 Base URL、密钥、额度、价格与日志；应用真正需要的是一个稳定入口、一套可控路由、清楚的预算和可追溯的调用记录。

OctaFuse 是可自托管的 AI 能力网关与运营控制面。 你可以统一接入官方 Provider、第三方兼容端点、图片生成、Agent Tools、私有模型服务与多把上游 Key，并在自己的系统里管理路由、粘性、限流、熔断、预算、计费、审计和管理 API。对客户端而言，仍然是一个 Gateway URL 和一把用户 Key。

应用场景

Section titled “应用场景”

个人开发者与工具链

把模型订阅、Coding Plan、图片生成、Agent Tools 与备用上游汇总成一个 Gateway。Cursor、CLI、脚本或自研工具只需要配置一个 Gateway URL 和一把用户 Key。

AI 应用与 Agent 团队

业务代码面向稳定模型 ID 和统一协议开发。模型切换、灰度路线、备用 Provider、失败降级和默认参数都放在网关层调整。

团队平台与 IT 管理

为部门、项目、成员或客户分别创建用户与 API Key，配置预算周期、状态和 metadata，让模型调用治理从业务服务里独立出来。

API 代理与分销服务

接入多个上游 Provider 和多把上游 Key，对下游客户发独立 Key，并通过请求日志、成本口径和审计记录做分客户管理。

私有与混合模型入口

把自托管兼容服务、内部模型、Ollama / vLLM 旁路和公网模型放在同一套路由体系后面，对外暴露一致的访问方式。

成本与稳定性运营

通过模型、Provider、用户和可靠性维度观察用量与失败情况，再决定默认路线、备用路线、预算策略、按时段调价和上游 Key 配额。

功能特性

Section titled “功能特性”

三协议统一入口

支持 OpenAI Chat Completions、Anthropic Messages、Gemini generateContent / streamGenerateContent；Agent / SDK 用需鉴权的 GET /v1/models，门户可用公开 GET /catalog/models。

图片生成 / 编辑

OpenAI 兼容 POST /v1/images/generations 与 edits；目录价支持 token 分项与按张（per_image）。Playground / Simulator 可联调出图与计费日志。

Agent Tools

面向 Agent 的可扩展产品 API（/v1/tools/*）。当前提供联网类工具（Search / Fetch / Deep Search），后续可继续接入更多工具；Admin → Tools 配置引擎 Key，按次计费、失败不扣费。

模型路由与 Route Group

客户端可用稳定模型 ID，也可通过 baseId:group 指定路由组。同一模型可按协议、route group、route priority 挂多条上游；Route 没有 weight。

预置 Provider 与 Models

Admin 可一键导入大量供应商 / 模型预设：除官方模型厂外，还覆盖聚合平台与各类 Coding / Token Plan，预填 Base URL 与模型目录价等信息，无需到处查找再手工维护。

Provider Key 池调度

同一 Provider 可维护多把上游 Key。命中 route 后，按 key priority、余量、key weight（余量接近时）、熔断与 粘性（sticky） 调度并 failover。

限流、熔断与粘性

上游 Key 可配置 RPM / TPM / 最大并发。429、401 / 403、5xx 和网络错误会进入不同冷却策略；可按模型开启粘性绑定，让同一用户尽量复用同一把 Key，提升 prompt cache 命中率。

用户 Key、预算与计费

预算与周期归属 User，User 下可创建多把 active API Key。Proxy 转发前校验预算；每次请求同时记 供应成本、目录标准价、用户计费 三笔账。路由可配基础倍率与每日时段倍率（业务时区下的高峰 / 闲时），适配各家模型按时段定价。

日志、审计与 Analytics

请求日志记录协议、模型、route group、Provider、Provider Key、token、状态和成本；审计日志记录预算扣减、周期重置与用户 / Key 生命周期。

Playground 与 Simulator

Playground 在 Admin 内测试单条 route；Simulator 用真实用户 Key 模拟客户端调用，检查鉴权、路由、计费与日志链路。

部署与系统集成

默认 Cloudflare Workers + D1（个人与小流量通常可在免费额度内运行）；也可 Node / Docker + PostgreSQL 或 MySQL 8。外部门户可通过 /api/admin/* 自动开通用户、发 Key、同步预算。

下一步

Section titled “下一步”

默认路径是 Cloudflare：本机 Wrangler + 本地 D1 跑通后，用一条 CLI 部署到你的账号；再配置 Provider、模型与 route，创建用户 Key，把客户端指向 Gateway Base URL。