「用最便宜的模型」和「用最强的模型」都是偷懒的答案。真实业务里,请求的难度分布是极不均匀的:大部分是重复的、简单的,少数是复杂的。
假设一个客服问答系统,日均 3 万次调用,输入平均 1,200 tokens,输出平均 300 tokens。按难度分:
| 档位 | 占比 | 样例 | 当前做法 | 合理做法 |
|---|---|---|---|---|
| 简单 | 62% | 查订单状态、退换货政策、营业时间 | 旗舰模型 | 小模型 + 知识库直出 |
| 中等 | 31% | 多轮追问、需要结合两条政策 | 旗舰模型 | 主力档模型 |
| 复杂 | 7% | 投诉、跨订单争议、需要推理 | 旗舰模型 | 旗舰或推理模型 + 人工兜底 |
用三档参考价:小模型输入 ¥0.8 / 输出 ¥2,主力输入 ¥2.4 / 输出 ¥9.6,旗舰输入 ¥9 / 输出 ¥72(每百万 tokens)。
单次成本 = 输入 tokens × 输入单价 / 1e6 + 输出 tokens × 输出单价 / 1e6
小模型: 1200×0.8/1e6 + 300×2/1e6 = 0.00096 + 0.0006 = ¥0.00156
主力档: 1200×2.4/1e6 + 300×9.6/1e6 = 0.00288 + 0.00288 = ¥0.00576
旗舰档: 1200×9/1e6 + 300×72/1e6 = 0.0108 + 0.0216 = ¥0.0324全量旗舰:3 万 × 0.0324 = ¥972/天。分级之后:
0.62 × 30000 × 0.00156 = ¥29.0
0.31 × 30000 × 0.00576 = ¥53.6
0.07 × 30000 × 0.0324 = ¥68.0
合计 ≈ ¥150.6/天,约为全量旗舰的 15.5%最后一句话:降本的第一顺位不是换便宜模型,而是少调用模型。缓存、检索直出、模板化回答,这三件事的效果永远比换供应商大。