接口调用失败时,最危险的本能反应是「马上重试」。在限流或服务端过载时,重试会成倍放大压力,把局部故障变成全站雪崩。
| 类别 | 典型状态 | 该不该重试 |
|---|---|---|
| 可重试 | 429、500、502、503、504、连接超时、读超时 | 是,但要有退避与上限 |
| 不可重试 | 400、401、403、404、413、422 | 否,重试只会增加延迟与日志噪音 |
| 半可重试 | 流式中断、finish_reason 异常 | 是,但要注意已计费 |
连接超时:3~5 秒 (TCP/TLS 握手,太快会误杀正常请求)
读超时: 按 P99 生成时间 × 1.5(普通对话 30~60s,推理模型 90~180s)
最大重试:2 次 (含首次共 3 次;再多用户已经在骂了)
退避策略:指数 + 抖动
delay = min(base * 2^attempt, cap) * (0.5 + random()*0.5)
base = 0.5s, cap = 8s抖动(jitter)不是可选项。固定退避会让所有失败的客户端在同一毫秒重试,形成「重试风暴」。
重试链必须有一个总预算。比如「总耗时不超过 45 秒」,超过就直接失败并返回兜底。否则三次重试叠加超时,用户等了 3 分钟拿到一个错误页。
deadline = now() + 45s
for attempt in range(3):
remaining = deadline - now()
if remaining < 3s: break
try:
return call(timeout=min(remaining, per_try_timeout))
except Retryable:
sleep(backoff(attempt))
raise UpstreamTimeout()流式请求「已收到部分内容」时重试要谨慎:可能已经生成并计费了一半,重试会重复计费;前端也可能已经渲染了半截文字。建议:
当某个供应商连续失败(如 1 分钟内 20 次失败),应该直接熔断:接下来 30 秒内所有请求直接走备用供应商,不再尝试主供应商。这样既保护了用户,也给了上游恢复时间。