公告AI接口网提供各类可接入的人工智能接口
AI接口网AI 接口选型与接入工程手册
首页/选型对比/长上下文还是 RAG:先算这三个数再决定

长上下文还是 RAG:先算这三个数再决定

2026-11-22约 8 分钟读完长上下文RAG架构

「把整份资料塞进上下文」确实优雅:不用切分、不用向量库、不用担心召回漏掉。但它有三个硬约束,任何一个都可能让方案不可行。

第一个数:单次成本

假设一个知识库 80 万字,约 60 万 tokens。用户每次提问都把全库塞进去:

计算
输入成本 = 600,000 × 单价 / 1e6
按 ¥2/百万:  ¥1.2 / 次
按 ¥9/百万:  ¥5.4 / 次
一天 1,000 次提问 → ¥1,200 ~ ¥5,400 / 天

而 RAG 每次只塞 5 段、约 3,000 tokens:输入成本 ¥0.006~0.027 / 次,差两个数量级。长上下文的「省事」是用钱买的。

第二个数:首 token 延迟

上下文越长,模型读 prompt 的时间越长。60 万 tokens 的输入,首 token 延迟常在 5~20 秒区间,且随并发升高而恶化。交互式产品基本无法接受。

RAG 的 3,000 tokens 输入,首 token 延迟通常在 0.5~2 秒。这中间差的是「用户会不会关掉页面」。

第三个数:有效召回率

长上下文不等于「模型真的读到了」。业界反复验证过的现象是:关键信息位于超长上下文的中段时,模型的利用率明显低于开头和结尾。资料越长,这个衰减越明显。

RAG 的本质是把「大海捞针」变成「给你三根针,判断哪根对」,任务难度完全不同。

所以怎么选

场景推荐原因
资料 < 5 万字,且每次都要全量理解(如审一份合同)长上下文切分反而破坏上下文关系
资料 > 50 万字,或持续增长RAG成本与延迟都不可行
需要引用出处、逐条溯源RAG检索片段天然带位置信息
跨多份文档做全局归纳(如「这群文档的共同风险」)长上下文 + 分层摘要检索无法覆盖全局
高并发 C 端问答RAG + 缓存长上下文成本随 QPS 线性爆炸

最常见的错误:把它当成二选一

生产系统里更常见的是混合结构:先用检索把候选缩到 20 段,再用一次长上下文调用做「重排 + 归纳」,最后用短上下文生成答案。既控制了成本,又保留了全局视角。

长上下文的前提
如果非要在长上下文上做,务必开启前缀缓存(prompt caching)。同一份资料被反复提问时,缓存命中能把输入成本降一个数量级,这是让长上下文方案在经济上成立的关键。

本站的成本计算器里有一个「上下文预算分配器」,可以直接算你当前的 system prompt、历史对话、检索片段各占多少,以及还剩多少给输出。

说明
文中价格、配额、限额均为撰写时的公开口径,会随厂商调整变化;用于估算量级,不构成报价。具体以各厂商官方文档与合同为准。