公告AI接口网提供各类可接入的人工智能接口
AI接口网AI 接口选型与接入工程手册
首页/接入实战/自建 AI 网关:把六家供应商收口到一个地址

自建 AI 网关:把六家供应商收口到一个地址

2026-11-22约 8 分钟读完网关架构路由

当你的系统接了 2 家以上供应商,业务代码里开始出现 if-else 判断走哪家时,就该上网关层了。它不一定要用开源项目,几百行的自建服务往往更贴合。

网关该做什么,不该做什么

该做不该做
统一入口与鉴权(对内发自己的 key)做模型能力增强(应在业务层)
按角色路由到具体模型做 prompt 模板管理(变化太频繁)
失败重试与跨供应商降级做长时任务队列(用专门的任务系统)
用量与成本记账(按 key/用户/功能)做内容审核(应在业务侧或专门服务)
超时、并发、限流控制做模型效果评测(离线做)

核心路由逻辑

python
ROLES = {
  "primary":  [("deepseek", "deepseek-chat"), ("qwen", "qwen-plus")],
  "reason":   [("deepseek", "deepseek-reasoner")],
  "cheap":    [("doubao", "doubao-lite"), ("qwen", "qwen-turbo")],
}

def route(role, messages, **kw):
    last = None
    for prov, model in ROLES[role]:          # 按优先级依次尝试
        for attempt in range(2):             # 每家最多两次
            try:
                return call(prov, model, messages, **kw)
            except Retryable as e:           # 429 / 5xx / 超时
                last = e
                sleep(backoff(attempt))
            except Fatal as e:               # 400 / 401 / 404
                raise
    raise UpstreamDown(last)
重试边界
「Fatal 直接抛出」很重要:参数错、鉴权错重试一百次也不会成功,反而拖长用户等待、放大账单。只有限流、超时、5xx 才值得重试。

记账:网关最被低估的价值

统一在网关记 usage,你才能回答这些问题:「这个功能一个月烧多少钱」「哪个客户用得最多」「换模型后成本降了多少」。字段建议至少包含:

csv
ts, app_id, user_id, role, provider, model,
prompt_tokens, completion_tokens, cached_tokens,
latency_ms, ttft_ms, status, retry_count, cost_cny

有了这张表,成本优化就从「凭感觉」变成「看数据」:找出 TOP10 消耗方,看它们的输入长度、命中率、重试率,优化点自然浮出来。

安全:网关是唯一持有真 key 的地方

  • 真 key 只存在网关的环境变量里,业务侧只拿网关签发的内部 token。
  • 内部 token 带作用域(可用哪些 role、每日额度),泄露后损失可控。
  • 网关对外只暴露 HTTPS,且只允许内网/固定出口访问。
  • 所有请求留审计日志(谁在什么时候调了什么),保留 30~90 天。

部署形态

规模建议
单体应用、1~2 家供应商不加网关,直接在配置层做角色映射
3 家以上、多业务线独立网关服务(Go/Node 均可),内网部署
多租户 SaaS网关 + 每租户 token + 配额 + 账单导出
强合规场景网关 + 全量审计 + 内容审核前置

本站的工具页有一个「多供应商故障转移配置生成器」,填入你的供应商与模型,会直接生成上面这种路由配置的骨架。

说明
文中价格、配额、限额均为撰写时的公开口径,会随厂商调整变化;用于估算量级,不构成报价。具体以各厂商官方文档与合同为准。