公告AI接口网提供各类可接入的人工智能接口
AI接口网AI 接口选型与接入工程手册
首页/可靠性与运维/容量规划与压测:官方标称的配额,实际能跑多少

容量规划与压测:官方标称的配额,实际能跑多少

2026-11-22约 7 分钟读完压测容量性能

容量规划要回答两个问题:我的系统能扛多少,以及上游能给我多少。两个数字都要测,不能只看文档。

压测怎么做(不烧太多钱)

  1. 用最短的请求(如「回复 ok」),把输出 token 压到 5 以内,这样单位成本最低。
  2. 逐步加压:10 → 50 → 100 → 200 并发,每档跑 60 秒。
  3. 记录每档的成功率、P95 延迟、429 比例。
  4. 找到「429 比例开始超过 5%」的那一档,就是实际上限。
python
# 一个极简的并发压测(Python)
import concurrent.futures as cf, time, statistics

def one(_):
    t0 = time.time()
    try:
        r = call_short()          # max_tokens=5
        return (r.status, time.time() - t0)
    except Exception as e:
        return (type(e).__name__, time.time() - t0)

for conc in (10, 50, 100, 200):
    with cf.ThreadPoolExecutor(conc) as ex:
        res = list(ex.map(one, range(conc * 4)))
    lat = sorted(x[1] for x in res)
    ok  = sum(1 for x in res if x[0] == 200) / len(res)
    print(conc, f"ok={ok:.2f}", f"p95={lat[int(len(lat)*0.95)]:.2f}s")

为什么实际值低于标称值

原因表现对策
TPM 先撞墙RPM 远未到但已 429按 TPM 算配额,减小单请求 token
连接数限制并发上不去,延迟飙升复用连接池,控制同时在线请求数
上游排队延迟随并发线性上升错峰,或分散到多家
重试放大压测时错误率越压越高压测期间关掉重试
共享配额被占同账号其它业务在跑按业务分 key / 分账号

容量冗余怎么留

经验值:实际峰值流量 × 2.5 ≤ 压测出的上限。系数 2.5 里包含重试放大(1.2)、突发(1.5)和上游波动(1.4)的复合效应。

自己的服务也别忽略

  • 同步调用的接口,每个请求占用一个 worker。AI 调用耗时长,worker 很容易被打满。
  • 用异步/协程模型(asyncio、Go goroutine、Swoole)能显著提高同机并发。
  • PHP-FPM 场景下,一个 60 秒的 AI 调用会占住一个进程——这是很多传统站点接 AI 后「整站变慢」的真正原因。
传统站点必看
PHP 站点接 AI 的正确姿势:前端请求先返回「任务已受理」,后台用队列异步调用,前端轮询或走 SSE 拿结果。不要在主请求里同步等 30 秒。
说明
文中价格、配额、限额均为撰写时的公开口径,会随厂商调整变化;用于估算量级,不构成报价。具体以各厂商官方文档与合同为准。