做 AI 成本预算时,绝大多数人只比较「输入/输出每百万 token 多少钱」。但真实账单里,还有七个变量在悄悄放大数字。
输入 ¥2 / 输出 ¥8 是常见结构。这意味着控制输出长度比压缩输入更有效。很多团队花大量精力精简 prompt,却让模型写一篇 2,000 字的长文。
推理模型的内部思考过程会计入输出。一次请求思考 3,000 tokens,就按 3,000 个输出 token 收费,即使最终回答只有 200 字。
多数视觉模型把图片换算成 token,高分辨率大图可能是低分辨率的 4~10 倍。上传前压缩到任务所需的最小分辨率,往往不影响效果。
前缀里只要有一个可变字符(时间戳、请求 ID),缓存命中率就是 0。你以为开了缓存,实际一分没省。
超时重试时,第一次请求可能已经生成了一部分(并已计费),第二次又完整计费。重试率 20% 就意味着 20% 的额外成本,这还不算延迟损失。
多轮对话每轮都要重发全部历史。10 轮对话的总输入量不是 10 倍单轮,而是约 55 倍单轮(1+2+…+10)。长会话必须做历史压缩。
总输入 ≈ n(n+1)/2 × 单轮token
n=10, 单轮500 → 55 × 500 = 27,500 tokens
n=30, 单轮500 → 465 × 500 = 232,500 tokens ← 单次会话就烧掉 23 万 token批处理接口常有 50% 折扣,但要求 24 小时内完成、不支持流式、部分模型不支持。如果你的业务能等,这是最省的一招;如果不能等,别把它算进预算。
| 问题 | 健康值 | 不健康的表现 |
|---|---|---|
| 输出/输入 token 比 | 0.2~0.5 | > 1,说明输出失控 |
| 缓存命中率 | > 50%(有固定前缀时) | 接近 0 |
| 重试率 | < 3% | > 10% |
| 平均对话轮数 | 按产品定,通常 3~6 | 超过 10 且无压缩 |
| 单用户月成本 | 与 LTV 匹配 | 高于客单价 |