公告AI接口网提供各类可接入的人工智能接口
AI接口网AI 接口选型与接入工程手册
首页/成本与配额/从 QPS 反推 TPM/RPM:配额到底该申请多少

从 QPS 反推 TPM/RPM:配额到底该申请多少

2026-11-22约 6 分钟读完配额容量限流

上线前最常见的误判是:看到官方写「RPM 5,000」就以为能扛 5,000 并发。RPM 是每分钟请求数,不是并发数;而且真正卡住你的往往是 TPM。

两个配额的含义

配额含义什么时候会先撞上
RPM每分钟请求数短请求、高并发(如分类、打标)
TPM每分钟 token 数(输入+输出)长文本、长输出(如摘要、写作)
RPD每天请求数低频但全天分布的批量任务
并发连接数同时在处理的请求数长耗时请求(推理模型、长文生成)

换算过程

已知:目标 QPS、平均请求 token 数(输入+输出)。

计算
RPM 需求 = QPS × 60
TPM 需求 = QPS × 60 × 平均总 token

例:QPS = 5,平均输入 1,200 + 输出 300 = 1,500 token
RPM = 300
TPM = 5 × 60 × 1,500 = 450,000

若官方配额 RPM 2,000 / TPM 200,000
→ RPM 够,TPM 只有需求的 44%,必然限流

结论:长文本场景下 TPM 几乎总是先撞墙的那个。申请配额时要按 TPM 算,而不是按 RPM。

安全系数

理论上够用不代表实际够用,因为流量不是均匀的。经验做法:

  • 按峰值 QPS(不是日均)计算,峰值通常为日均的 3~5 倍。
  • 留 30% 余量,应对重试、缓存未命中、单条超长请求。
  • 长耗时请求(>30 秒)单独算并发:并发数 ≈ QPS × 平均耗时(秒)。QPS 1、耗时 60 秒 → 需要 60 个并发连接。

配额不够时的四个办法

  1. 多 key 分摊:同一供应商的多账号轮询,能线性放大配额(注意合并计费与合规)。
  2. 多供应商分流:按角色把流量分到 2~3 家,每家的配额都能用满。
  3. 削峰:把非实时任务(报表、批量摘要)放到夜间,用夜间富余配额。
  4. 降级:把长请求切分、把输出上限调低、把简单请求路由到配额更宽松的小模型。
沟通技巧
申请配额时给厂商一个清晰的数字:「峰值 TPM 60 万,RPM 800,需要稳定支撑」。含糊说「我们量比较大」通常只会拿到默认档。
说明
文中价格、配额、限额均为撰写时的公开口径,会随厂商调整变化;用于估算量级,不构成报价。具体以各厂商官方文档与合同为准。