「把整份资料塞进上下文」确实优雅:不用切分、不用向量库、不用担心召回漏掉。但它有三个硬约束,任何一个都可能让方案不可行。
假设一个知识库 80 万字,约 60 万 tokens。用户每次提问都把全库塞进去:
输入成本 = 600,000 × 单价 / 1e6
按 ¥2/百万: ¥1.2 / 次
按 ¥9/百万: ¥5.4 / 次
一天 1,000 次提问 → ¥1,200 ~ ¥5,400 / 天而 RAG 每次只塞 5 段、约 3,000 tokens:输入成本 ¥0.006~0.027 / 次,差两个数量级。长上下文的「省事」是用钱买的。
上下文越长,模型读 prompt 的时间越长。60 万 tokens 的输入,首 token 延迟常在 5~20 秒区间,且随并发升高而恶化。交互式产品基本无法接受。
RAG 的 3,000 tokens 输入,首 token 延迟通常在 0.5~2 秒。这中间差的是「用户会不会关掉页面」。
长上下文不等于「模型真的读到了」。业界反复验证过的现象是:关键信息位于超长上下文的中段时,模型的利用率明显低于开头和结尾。资料越长,这个衰减越明显。
RAG 的本质是把「大海捞针」变成「给你三根针,判断哪根对」,任务难度完全不同。
| 场景 | 推荐 | 原因 |
|---|---|---|
| 资料 < 5 万字,且每次都要全量理解(如审一份合同) | 长上下文 | 切分反而破坏上下文关系 |
| 资料 > 50 万字,或持续增长 | RAG | 成本与延迟都不可行 |
| 需要引用出处、逐条溯源 | RAG | 检索片段天然带位置信息 |
| 跨多份文档做全局归纳(如「这群文档的共同风险」) | 长上下文 + 分层摘要 | 检索无法覆盖全局 |
| 高并发 C 端问答 | RAG + 缓存 | 长上下文成本随 QPS 线性爆炸 |
生产系统里更常见的是混合结构:先用检索把候选缩到 20 段,再用一次长上下文调用做「重排 + 归纳」,最后用短上下文生成答案。既控制了成本,又保留了全局视角。
本站的成本计算器里有一个「上下文预算分配器」,可以直接算你当前的 system prompt、历史对话、检索片段各占多少,以及还剩多少给输出。