单一供应商的风险不是「会不会出故障」,而是「出故障时你有没有第二条路」。而第二条路能不能用,取决于你提前做了多少准备。
| 层级 | 做法 | 切换速度 | 效果 |
|---|---|---|---|
| L1 同协议换家 | 备用供应商也走 OpenAI 协议,改 base_url + model | 秒级(配置) | 业务不中断,效果可能略降 |
| L2 降级到小模型 | 同一家内切到便宜/小模型 | 秒级 | 可用但质量下降 |
| L3 兜底话术 | 返回「当前繁忙,请稍后再试」+ 转人工 | 即时 | 保住体验底线 |
三层要同时具备。只有 L1 时,如果备用供应商也挂了,你就直接 500;只有 L3 时,用户会觉得产品很烂。
触发备用的条件(任一满足):
- 连续 3 次可重试错误
- 最近 60 秒错误率 > 30%
- P95 延迟 > 阈值(如 20s)持续 1 分钟
- 熔断器处于打开状态
不触发(直接报错):
- 400 / 401 / 403 / 404(自身问题,备用也救不了)故障期间切到备用,单价可能完全不同(备用贵 3 倍)。如果不设上限,一次两小时的故障可能烧掉一个月预算。建议:故障期间对非核心功能直接关闭,只保核心链路。