公告AI接口网提供各类可接入的人工智能接口
AI接口网AI 接口选型与接入工程手册
首页/接入实战/前缀缓存:让重复的 system prompt 便宜一个数量级

前缀缓存:让重复的 system prompt 便宜一个数量级

2026-11-22约 7 分钟读完缓存成本优化

大多数生产系统里,input token 有 60%~90% 是完全重复的:固定的 system prompt、固定的工具定义、固定的知识片段。厂商的上下文缓存就是为这个设计的。

缓存的机制

服务端把 prompt 的前缀做成可复用的 KV 缓存。下次请求如果前缀完全一致(逐字节),就直接复用,只对新增部分计费。命中部分的价格通常是正常输入价的 10%~50%。

两个硬条件
关键词是「前缀」和「逐字节一致」。只要开头有一个字符不同(时间戳、随机 ID、用户名),整段缓存就失效。这是最常见的踩坑点。

正确的 prompt 结构

结构
[固定]  system prompt(角色、规则、输出格式)
[固定]  tools 定义
[固定]  知识库片段(若每次都带同一批)
[变化]  对话历史
[变化]  当前用户问题

把「会变的东西」全部放到后面。反面例子:

对比
错误:system = "现在是 2026-11-23 14:32:07。你是客服助手……"
      每次请求时间戳不同 → 缓存永远不命中

正确:system = "你是客服助手……"
      user   = "当前时间 2026-11-23 14:32:07。问题:……"

能省多少:一个算例

system prompt 3,000 tokens + 知识片段 5,000 tokens = 8,000 tokens 固定前缀,每天 20,000 次调用。输入单价 ¥2/百万,缓存命中价按 20% 算:

计算
不缓存:8,000 × 20,000 = 1.6e8 tokens/天
        × ¥2/1e6 = ¥320/天

缓存命中 90%:
        命中部分 1.44e8 × ¥0.4/1e6 = ¥57.6
        未命中 1.6e7  × ¥2/1e6   = ¥32.0
        合计 ≈ ¥89.6/天,省 72%

四个工程细节

  • 缓存有效期通常只有几分钟到一小时,低频调用享受不到。适合高频、连续的流量。
  • usage 里会区分命中量(如 prompt_cache_hit_tokens),务必记录,否则无法验证是否生效。
  • 不要把工具定义放在可变位置:工具列表的顺序、字段顺序都影响字节一致性。
  • 多轮对话缓存的是「历史 + 前缀」,所以历史越长,后续轮次省得越多——这也是长对话成本非线性增长的原因之一。

怎么验证缓存生效

连续发两次完全相同的长 prompt,比较两次响应里 usage 的缓存字段。第二次命中量应该接近第一次的全部输入量。如果两次都是 0,检查前缀里是否有隐藏的可变内容(时间戳、请求 ID、随机种子)。

说明
文中价格、配额、限额均为撰写时的公开口径,会随厂商调整变化;用于估算量级,不构成报价。具体以各厂商官方文档与合同为准。