容量规划要回答两个问题:我的系统能扛多少,以及上游能给我多少。两个数字都要测,不能只看文档。
# 一个极简的并发压测(Python)
import concurrent.futures as cf, time, statistics
def one(_):
t0 = time.time()
try:
r = call_short() # max_tokens=5
return (r.status, time.time() - t0)
except Exception as e:
return (type(e).__name__, time.time() - t0)
for conc in (10, 50, 100, 200):
with cf.ThreadPoolExecutor(conc) as ex:
res = list(ex.map(one, range(conc * 4)))
lat = sorted(x[1] for x in res)
ok = sum(1 for x in res if x[0] == 200) / len(res)
print(conc, f"ok={ok:.2f}", f"p95={lat[int(len(lat)*0.95)]:.2f}s")| 原因 | 表现 | 对策 |
|---|---|---|
| TPM 先撞墙 | RPM 远未到但已 429 | 按 TPM 算配额,减小单请求 token |
| 连接数限制 | 并发上不去,延迟飙升 | 复用连接池,控制同时在线请求数 |
| 上游排队 | 延迟随并发线性上升 | 错峰,或分散到多家 |
| 重试放大 | 压测时错误率越压越高 | 压测期间关掉重试 |
| 共享配额被占 | 同账号其它业务在跑 | 按业务分 key / 分账号 |
经验值:实际峰值流量 × 2.5 ≤ 压测出的上限。系数 2.5 里包含重试放大(1.2)、突发(1.5)和上游波动(1.4)的复合效应。