AI Gateway & Control PlaneOctaFuse

AI 能力正在从文本模型扩展到图片生成、智能体工具（Agent Tools）、私有模型与更多专用服务。供应商（Provider）、兼容端点、Coding Plan、自托管服务和团队内部账号，各有自己的基础地址（Base URL）、密钥、额度、价格与日志；应用真正需要的是一个稳定入口、一套可控路由、清楚的预算和可追溯的调用记录。

OctaFuse 是可自托管的 AI 能力网关与运营控制面。 你可以统一接入 Chat、Responses、图片生成与编辑、ASR、TTS、实时语音、智能体工具和私有模型服务，并通过请求入口（Request Surface）→ 路由池（Route Pool）→ 上游目标（Upstream Target）管理路由、故障转移、供应商熔断、预算、计费、审计和管理 API。对客户端而言，仍然只需一个网关地址（Gateway URL）和一把用户 API 密钥。

应用场景

个人开发者与工具链

把模型订阅、Coding Plan、图片生成、智能体工具与备用上游汇总到一个网关。Cursor、CLI、脚本或自研工具只需配置一个网关地址和一把用户 API 密钥。

AI 应用与智能体团队

业务代码面向稳定模型 ID 和统一协议开发。模型切换、灰度路由、备用供应商、失败降级和默认参数都在网关层调整。

团队平台与 IT 管理

为部门、项目、成员或客户分别创建用户与 API 密钥，配置预算周期、状态和元数据（metadata），让模型调用治理从业务服务中独立出来。

API 代理与分销服务

接入多个上游供应商；同一供应商有多个账号时，可创建多条供应商配置。为下游客户签发独立密钥，并通过请求日志、成本口径和审计记录按客户管理。

私有与混合模型入口

把自托管兼容服务、内部模型、Ollama / vLLM 旁路和公网模型放在同一套路由体系后面，对外暴露一致的访问方式。

成本与稳定性运营

从模型、供应商、用户和可靠性维度观察用量与失败情况，再调整路由池策略、priority / weight、预算方案与分时调价。

功能特性

多协议与多模态统一入口

支持 OpenAI Chat、Responses、Images、Audio 与 Models，Anthropic Messages、Gemini generateContent / streamGenerateContent，以及 DashScope 原生音频；门户可用公开 GET /catalog/models 发现能力。

图片生成 / 编辑

OpenAI 兼容 POST /v1/images/generations 与 edits；目录价明确区分 Token 与按张（per_image）计费，客户端取消、Gateway 超时和明确的上游失败不扣费。

智能体工具

面向智能体的可扩展产品 API（/v1/tools/*）。网页搜索（Web Search）支持博查、Tavily、CleverSee、腾讯云 WSA；网页抓取（Web Fetch）支持 Firecrawl、Tavily Extract、Jina Reader；深度搜索（Web Deep Search）支持 Firecrawl Search、Jina Search。

请求入口 → 路由池 → 上游目标

客户端请求先按协议与 operation 命中请求入口，再进入路由池；路由池内按 priority 分层，同层根据策略与 weight 排序上游目标，失败后自动切换。

预置供应商与模型

管理后台（Admin）可一键导入项目级 Vertex AI、BytePlus、百炼国际站、Meta Model API、Cerebras、SambaNova、Hugging Face、Vercel 等供应商，以及大量模型、聚合平台和 Coding / Token Plan 预设。

单密钥供应商与预置导入

一条供应商配置维护一把上游 API 密钥及其启用状态；同一供应商的多个账号用多条供应商配置表示。管理后台可一键导入供应商 / 模型模板，再补齐真实密钥并挂载路由。

四种策略、供应商粘性与熔断

支持 hash_affinity、weighted_random、weight_priority、weighted_round_robin，并可按路由池的 priority 层覆盖。可选的供应商粘性（Provider sticky）可跨请求记住成功的上游目标；429、401 / 403 与连续 5xx 会触发供应商级冷却。

用户 API 密钥、预算与计费

按外部系统（External system）→ 用户（User）→ API 密钥（API Key）分层治理。模型请求同时记录 供应成本、目录标准价、用户计费；每日时段命中后可直接覆盖默认倍率，旧配置仍兼容叠乘语义。

日志、审计与分析

请求日志记录协议 / operation、模型、route_group、请求入口、路由池、上游目标、供应商、Token、状态和三类成本；审计日志记录预算扣减、周期重置与用户 / 密钥生命周期。

调试台与模拟器

调试台通过内置请求样例测试单条路由，并观察流式响应与 Gemini 工具调用；模拟器按客户端请求入口选择协议，使用真实用户 API 密钥检查鉴权、路由、计费与日志链路。

部署与系统集成

默认 Cloudflare Workers + D1（个人与小流量通常可在免费额度内运行）；也可使用 Node / Docker + PostgreSQL 或 MySQL 8。外部门户可通过 /api/admin/* 自动开通用户、签发密钥并同步预算。

下一步

默认路径是 Cloudflare：在本机通过 Wrangler + 本地 D1 跑通后，用一条 CLI 命令部署到你的账号；再配置供应商、模型与路由，创建用户 API 密钥，并把客户端指向网关基础地址（Gateway Base URL）。

• 快速开始 — 本地 D1 → Cloudflare 上云
• OctaFuse 动态 — 版本发布、产品进展与实践分享
• 供应商配置 · 模型配置 · 路由配置
• 供应商目录（Provider Catalog） · 模型目录（Model Catalog） — 查询网关内置、可直接导入的静态预设
• 图片生成 · 智能体工具 · 分析
• 请求日志 · 审计日志 · 系统配置
• Cloudflare 部署 · Docker 部署
• GitHub 技术参考 — API、架构、迁移和运维文档索引
• 源码仓库 · 贡献指南