可靠性与运维
超时、重试、退避、熔断、多供应商故障转移、灰度与可观测。让接口在生产环境里不成为单点。
共 5 篇
01
重试不是「失败就再来一次」。什么时候重试、重试几次、退避多久、总时长封顶,四个参数都要算。
7 分钟
02
主备切换的关键不是技术,而是「备用模型能不能接住业务」。三个层级,按成本递增。
7 分钟
03
传统 APM 不够用。AI 调用要看 TTFT、token 消耗、finish_reason 分布和缓存命中率。
6 分钟
04
换模型比换代码风险更高,因为错误是「软」的——接口 200,内容却不对。灰度必须按质量而不只按流量。
6 分钟
05
标称 RPM 5,000 的接口,压测可能只跑到 800。差的这部分来自并发模型、连接复用和重试。
7 分钟