当你的系统接了 2 家以上供应商,业务代码里开始出现 if-else 判断走哪家时,就该上网关层了。它不一定要用开源项目,几百行的自建服务往往更贴合。
| 该做 | 不该做 |
|---|---|
| 统一入口与鉴权(对内发自己的 key) | 做模型能力增强(应在业务层) |
| 按角色路由到具体模型 | 做 prompt 模板管理(变化太频繁) |
| 失败重试与跨供应商降级 | 做长时任务队列(用专门的任务系统) |
| 用量与成本记账(按 key/用户/功能) | 做内容审核(应在业务侧或专门服务) |
| 超时、并发、限流控制 | 做模型效果评测(离线做) |
ROLES = {
"primary": [("deepseek", "deepseek-chat"), ("qwen", "qwen-plus")],
"reason": [("deepseek", "deepseek-reasoner")],
"cheap": [("doubao", "doubao-lite"), ("qwen", "qwen-turbo")],
}
def route(role, messages, **kw):
last = None
for prov, model in ROLES[role]: # 按优先级依次尝试
for attempt in range(2): # 每家最多两次
try:
return call(prov, model, messages, **kw)
except Retryable as e: # 429 / 5xx / 超时
last = e
sleep(backoff(attempt))
except Fatal as e: # 400 / 401 / 404
raise
raise UpstreamDown(last)统一在网关记 usage,你才能回答这些问题:「这个功能一个月烧多少钱」「哪个客户用得最多」「换模型后成本降了多少」。字段建议至少包含:
ts, app_id, user_id, role, provider, model,
prompt_tokens, completion_tokens, cached_tokens,
latency_ms, ttft_ms, status, retry_count, cost_cny有了这张表,成本优化就从「凭感觉」变成「看数据」:找出 TOP10 消耗方,看它们的输入长度、命中率、重试率,优化点自然浮出来。
| 规模 | 建议 |
|---|---|
| 单体应用、1~2 家供应商 | 不加网关,直接在配置层做角色映射 |
| 3 家以上、多业务线 | 独立网关服务(Go/Node 均可),内网部署 |
| 多租户 SaaS | 网关 + 每租户 token + 配额 + 账单导出 |
| 强合规场景 | 网关 + 全量审计 + 内容审核前置 |
本站的工具页有一个「多供应商故障转移配置生成器」,填入你的供应商与模型,会直接生成上面这种路由配置的骨架。