公告AI接口网提供各类可接入的人工智能接口
AI接口网AI 接口选型与接入工程手册
首页/可靠性与运维/超时与重试:参数设错,重试就是事故放大器

超时与重试:参数设错,重试就是事故放大器

2026-11-22约 7 分钟读完超时重试熔断

接口调用失败时,最危险的本能反应是「马上重试」。在限流或服务端过载时,重试会成倍放大压力,把局部故障变成全站雪崩。

先把错误分成两类

类别典型状态该不该重试
可重试429、500、502、503、504、连接超时、读超时是,但要有退避与上限
不可重试400、401、403、404、413、422否,重试只会增加延迟与日志噪音
半可重试流式中断、finish_reason 异常是,但要注意已计费

四个参数怎么定

参数
连接超时:3~5 秒        (TCP/TLS 握手,太快会误杀正常请求)
读超时:  按 P99 生成时间 × 1.5(普通对话 30~60s,推理模型 90~180s)
最大重试:2 次              (含首次共 3 次;再多用户已经在骂了)
退避策略:指数 + 抖动
   delay = min(base * 2^attempt, cap) * (0.5 + random()*0.5)
   base = 0.5s, cap = 8s

抖动(jitter)不是可选项。固定退避会让所有失败的客户端在同一毫秒重试,形成「重试风暴」。

总时长封顶

重试链必须有一个总预算。比如「总耗时不超过 45 秒」,超过就直接失败并返回兜底。否则三次重试叠加超时,用户等了 3 分钟拿到一个错误页。

python
deadline = now() + 45s
for attempt in range(3):
    remaining = deadline - now()
    if remaining < 3s: break
    try:
        return call(timeout=min(remaining, per_try_timeout))
    except Retryable:
        sleep(backoff(attempt))
raise UpstreamTimeout()

流式的特殊处理

流式请求「已收到部分内容」时重试要谨慎:可能已经生成并计费了一半,重试会重复计费;前端也可能已经渲染了半截文字。建议:

  • 没收到任何内容就断开 → 直接重试,代价低。
  • 收到内容后断开 → 不要整段重试,改为「续写」(把已生成内容作为 assistant 消息,要求继续)。
  • 重试时给前端发一个明确事件,让它清空已渲染内容,避免「两段话拼在一起」。

熔断:比重试更重要

当某个供应商连续失败(如 1 分钟内 20 次失败),应该直接熔断:接下来 30 秒内所有请求直接走备用供应商,不再尝试主供应商。这样既保护了用户,也给了上游恢复时间。

半开策略
熔断状态要能自动半开:30 秒后放 5% 流量试探,成功则恢复,失败则继续熔断。手动恢复在这种场景下不可行——故障往往发生在深夜。
说明
文中价格、配额、限额均为撰写时的公开口径,会随厂商调整变化;用于估算量级,不构成报价。具体以各厂商官方文档与合同为准。