公告AI接口网提供各类可接入的人工智能接口
AI接口网AI 接口选型与接入工程手册
首页/可靠性与运维/多供应商故障转移:让「这家挂了」不再等于「产品挂了」

多供应商故障转移:让「这家挂了」不再等于「产品挂了」

2026-11-22约 7 分钟读完故障转移架构高可用

单一供应商的风险不是「会不会出故障」,而是「出故障时你有没有第二条路」。而第二条路能不能用,取决于你提前做了多少准备。

三个层级的故障转移

层级做法切换速度效果
L1 同协议换家备用供应商也走 OpenAI 协议,改 base_url + model秒级(配置)业务不中断,效果可能略降
L2 降级到小模型同一家内切到便宜/小模型秒级可用但质量下降
L3 兜底话术返回「当前繁忙,请稍后再试」+ 转人工即时保住体验底线

三层要同时具备。只有 L1 时,如果备用供应商也挂了,你就直接 500;只有 L3 时,用户会觉得产品很烂。

备用模型能否接住的三个检验

  1. 提示词兼容性:备用模型对 system prompt 的遵循度是否够?同样的 prompt 在两家上的输出格式可能完全不同。
  2. 工具调用兼容性:如果业务依赖 function calling,备用模型必须也支持,且返回结构一致。
  3. 长度与上下文:备用模型的上下文更小时,长输入会被截断或报错——这是切换后最常见的故障。
必须演练
上线前必须做一次「拔线演练」:把主供应商的 key 改错,观察系统是否自动切到备用、用户是否只感知到「稍慢」。没演练过的切换路径,在真实故障时大概率不工作。

切换的判定条件

规则
触发备用的条件(任一满足):
  - 连续 3 次可重试错误
  - 最近 60 秒错误率 > 30%
  - P95 延迟 > 阈值(如 20s)持续 1 分钟
  - 熔断器处于打开状态

不触发(直接报错):
  - 400 / 401 / 403 / 404(自身问题,备用也救不了)

一个容易忽略的点:成本会变

故障期间切到备用,单价可能完全不同(备用贵 3 倍)。如果不设上限,一次两小时的故障可能烧掉一个月预算。建议:故障期间对非核心功能直接关闭,只保核心链路。

说明
文中价格、配额、限额均为撰写时的公开口径,会随厂商调整变化;用于估算量级,不构成报价。具体以各厂商官方文档与合同为准。