跳转到内容
OctaFuse OctaFuse

AI GatewayOctaFuse

一个 Base URL，一个 API Key——把分散的模型供应商、Coding Plan 与 Token Plan 汇总成统一接入入口。
快速开始 阅读文档 GitHub

概述

Section titled “概述”

OctaFuse 是开源 AI Gateway：把分散在不同供应商、不同计划里的模型能力，汇总成一个统一的调用入口。

  • 上游：OpenAI、Anthropic、Gemini、OpenRouter、各类 Coding / Token / Agent Plan，以及 Ollama、vLLM 等自托管模型——在网关层统一接入；
  • 下游：客户端只需记住 一个 Base URL 和 一个 API Key，按 OpenAI / Anthropic / Gemini 等常用协议调用，无需关心背后路由到哪家供应商。

无论你是个人开发者管理多个 plan 与密钥，还是团队需要为部门或客户单独发 Key 并做预算与审计，OctaFuse 都能在同一套网关上承载。

典型场景

Section titled “典型场景”

个人开发者

买了多个 Coding Plan、Token Plan 或 Agent 订阅，却要维护一堆不同的 Base URL 和 API Key？OctaFuse 把上游供应商汇总到 一个网关，客户端只改一处配置即可切换模型、做降级或备份路由。

团队与企业

在一个地方统一接入不同 Provider，为下游部门、项目或外部客户分别创建 API Key，并配套预算上限、计费口径、请求日志与审计轨迹——把模型调用的治理从业务代码里抽离出来。

更多适用场景

Section titled “更多适用场景”
  • AI 应用 / Agent 开发者：业务代码只面向统一协议与 Base URL，在网关层做模型切换、灰度、降级与 failover。
  • API 代理 / 分销型服务商：接入多个上游 Provider，为下游客户独立发 Key，结合预算、计费与日志做分客户管理。
  • 内网 / 私有模型聚合：把 Ollama、vLLM 或内部模型服务与公网大模型放在同一网关后面，对外暴露统一入口。
  • 教学、实验室与小团队：管理员统一配置模型与额度，成员只拿一个 Key 使用，避免每人单独维护供应商账号。
  • 成本与稳定性敏感团队：通过路由、日志与 Analytics 对比不同模型 / Provider 的成本与可靠性，再决定默认路由与备用路由。

为什么选择 OctaFuse

Section titled “为什么选择 OctaFuse”

模型供应越来越碎片化——调用入口、API Key、额度、账单和日志分散在不同供应商与工具里，切换模型或排查问题都要改多处配置。

在调研多个开源与商业方案后，我们反复看到几类共性痛点：

  • Provider 覆盖偏窄，难以同时接入公有云、第三方推理与自托管模型。
  • 协议入口单一，团队已在用的 Anthropic、Gemini 等形态往往需要额外适配。
  • 计费与审计能力不足，难以按路由、用户或成本口径灵活建模与对账。

OctaFuse 作为可自主部署、可持续演进的网关层来应对上述问题：

  • 支持接入更多上游供应商（含各类 Plan 与本地 / 内部模型），并在同一网关上承载多种客户端协议。
  • 支持按业务需要定义路由、计费口径与审计方式，便于个人汇总或多团队分账。
  • 通过标准 Admin API 与上层系统集成，减少业务代码与供应商细节的耦合。

核心能力

Section titled “核心能力”

统一接入入口

客户端只需一个 Base URL 和一个 API Key。网关兼容 OpenAI、Anthropic、Gemini 等常用协议形态，背后可路由到任意已配置的上游。

密钥与预算管理

为用户或下游场景单独创建 API Key，设置预算上限与周期重置；客户端可通过 GET /v1/me 查询额度状态。

智能路由与容错

Provider / Model / Route 分层管理；支持 route group 与按优先级的 failover，在上游异常时自动切换。

计费与对账

metered_cost、standard_cost、charged_cost 三套成本口径——供给侧计量、目录价与实际对用户扣费可分别对齐。

审计与观测

全局与 按 Key 的请求日志，以及用户级审计轨迹，便于追溯调用链路与排查问题。

错误告警

管理台可配置 飞书、企业微信 机器人 Webhook；Proxy 转发失败时主动推送，及时发现上游异常、限流或 Key 欠费。

用量分析

管理台按时间范围汇总模型、供应商、用户用量及可靠性概况，便于成本感知与上游稳定性对比。

联调与自检

Playground 对单条路由试调用（不占用户额度）；Simulator 在浏览器内用真实 Key 模拟客户端调用，验收鉴权、选路、计费与日志。

灵活部署

Cloudflare（Worker + Pages + D1）或自托管（Docker / Node + Postgres / MySQL）。本地 Docker 数分钟即可跑通。

Admin API 集成

通过 /api/admin/* 与门户、业务系统对接——自动开通用户、创建 Key、同步预算，让应用层专注 AI 能力本身。

支持的部署模式

Section titled “支持的部署模式”

可按 合规、延迟、运维习惯与数据落点 在下述形态中取舍：

  • 本地 / 内网 Docker：最快上手，适合 PoC、个人汇总密钥与内网联调。
  • Cloudflare 托管：边缘就近、托管 D1 元数据与配置。
  • 自有基础设施：数据驻留、网络边界或与现有 Postgres / MySQL 运维体系对齐。

更多选型说明见 文档首页 中的线上部署章节。开源协议为 GNU AGPL v3，许可全文见 LICENSE。

适合谁

Section titled “适合谁”
  • 个人开发者与独立创作者：汇总多个 plan 与供应商密钥，用一个网关统一调用。
  • AI 应用 / Agent 团队：需要模型切换、灰度、降级，且不想把供应商细节写进业务代码。
  • 平台工程 / IT 管理：需要统一 Provider、分 Key、预算、计费与审计的组织。
  • 对外提供 AI 能力的服务商：为不同客户独立发 Key 并管理用量与成本。

5 分钟跑起来

Section titled “5 分钟跑起来”

本地 Docker 是最快的体验路径——配置上游 Provider，拿到统一 Base URL 与 API Key，即可在 Cursor、CLI 或自研应用中接入。