大多数生产系统里,input token 有 60%~90% 是完全重复的:固定的 system prompt、固定的工具定义、固定的知识片段。厂商的上下文缓存就是为这个设计的。
服务端把 prompt 的前缀做成可复用的 KV 缓存。下次请求如果前缀完全一致(逐字节),就直接复用,只对新增部分计费。命中部分的价格通常是正常输入价的 10%~50%。
[固定] system prompt(角色、规则、输出格式)
[固定] tools 定义
[固定] 知识库片段(若每次都带同一批)
[变化] 对话历史
[变化] 当前用户问题把「会变的东西」全部放到后面。反面例子:
错误:system = "现在是 2026-11-23 14:32:07。你是客服助手……"
每次请求时间戳不同 → 缓存永远不命中
正确:system = "你是客服助手……"
user = "当前时间 2026-11-23 14:32:07。问题:……"system prompt 3,000 tokens + 知识片段 5,000 tokens = 8,000 tokens 固定前缀,每天 20,000 次调用。输入单价 ¥2/百万,缓存命中价按 20% 算:
不缓存:8,000 × 20,000 = 1.6e8 tokens/天
× ¥2/1e6 = ¥320/天
缓存命中 90%:
命中部分 1.44e8 × ¥0.4/1e6 = ¥57.6
未命中 1.6e7 × ¥2/1e6 = ¥32.0
合计 ≈ ¥89.6/天,省 72%prompt_cache_hit_tokens),务必记录,否则无法验证是否生效。连续发两次完全相同的长 prompt,比较两次响应里 usage 的缓存字段。第二次命中量应该接近第一次的全部输入量。如果两次都是 0,检查前缀里是否有隐藏的可变内容(时间戳、请求 ID、随机种子)。