上线前最常见的误判是:看到官方写「RPM 5,000」就以为能扛 5,000 并发。RPM 是每分钟请求数,不是并发数;而且真正卡住你的往往是 TPM。
| 配额 | 含义 | 什么时候会先撞上 |
|---|---|---|
| RPM | 每分钟请求数 | 短请求、高并发(如分类、打标) |
| TPM | 每分钟 token 数(输入+输出) | 长文本、长输出(如摘要、写作) |
| RPD | 每天请求数 | 低频但全天分布的批量任务 |
| 并发连接数 | 同时在处理的请求数 | 长耗时请求(推理模型、长文生成) |
已知:目标 QPS、平均请求 token 数(输入+输出)。
RPM 需求 = QPS × 60
TPM 需求 = QPS × 60 × 平均总 token
例:QPS = 5,平均输入 1,200 + 输出 300 = 1,500 token
RPM = 300
TPM = 5 × 60 × 1,500 = 450,000
若官方配额 RPM 2,000 / TPM 200,000
→ RPM 够,TPM 只有需求的 44%,必然限流结论:长文本场景下 TPM 几乎总是先撞墙的那个。申请配额时要按 TPM 算,而不是按 RPM。
理论上够用不代表实际够用,因为流量不是均匀的。经验做法: