看清「重试 3 次」到底会让用户等多久、成功率提升多少、以及该不该继续重试。
退避按「基础 × 2^次数」计算,并假设 50% 的随机抖动。失败率独立假设在实际中偏乐观。
重试不是「失败就再来一次」。什么时候重试、重试几次、退避多久、总时长封顶,四个参数都要算。…
传统 APM 不够用。AI 调用要看 TTFT、token 消耗、finish_reason 分布和缓存命中率。…
标称 RPM 5,000 的接口,压测可能只跑到 800。差的这部分来自并发模型、连接复用和重试。…