所有团队都说要「避免锁定」,但真正换过一次供应商的人都知道:难点不在接口,而在过去两年里积累的那些「假设」。
| 位置 | 具体表现 | 换供应商时的后果 |
|---|---|---|
| 模型名 | model="gpt-5-mini" 散落在 40 个文件里 | 逐个改,漏一个就在运行时 404 |
| 响应解析 | 直接取 choices[0].message.content 并 json.loads | 新模型多返回一个字段或格式微调,全线崩 |
| 参数假设 | 默认 temperature=1、默认 max_tokens 无限 | 换家后行为完全不同,输出变长变短 |
| 能力假设 | 假定工具调用一定返回合法 JSON | 弱一点的模型返回带解释的文字,解析失败 |
| 计费假设 | 预算按单一 token 单价算 | 新供应商缓存/思考 token 计费不同,预算失真 |
role=primary),配置把角色映射到具体模型。换供应商 = 改配置。{text, tool_calls, usage, finish_reason} 这个统一结构。{
"roles": {
"primary": {"provider": "deepseek", "model": "deepseek-chat", "timeout": 30},
"fallback": {"provider": "qwen", "model": "qwen-plus", "timeout": 20},
"reason": {"provider": "deepseek", "model": "deepseek-reasoner", "timeout": 90}
},
"providers": {
"deepseek": {"base_url": "https://api.deepseek.com/v1", "key_env": "DS_KEY"},
"qwen": {"base_url": "https://dashscope.aliyuncs.com/compatible-mode/v1", "key_env": "QWEN_KEY"}
}
}业务代码只写 chat(role="primary", messages=...)。要换模型,改这个文件里的 model 字符串,重启即生效。
锁定程度是可以量化的:从决定换供应商到线上全量切换,需要多少人天。如果超过 2 人天,说明抽象层没做够。
建议每季度做一次演练:把 10% 流量切到备用供应商,跑一周。你会发现一堆平时看不见的问题——错误码语义不同、并发上限不同、长文本截断策略不同。这些问题在真正故障那天发现,代价是事故。